Inkrementalität: was Ihre Medien wirklich bewirken

Was Inkrementalität bedeutet

Inkrementalität, im Englischen incrementality, ist der Teil eines Ergebnisses, den die Werbung verursacht hat. Nicht die Verkäufe, die stattfanden, während die Kampagne lief, nicht die Verkäufe, die eine Plattform ihren Klicks zugerechnet hat, sondern die Verkäufe, die es ohne sie nicht gegeben hätte. Alles andere, die Bestellungen der Kunden, die ohnehin gekommen wären, ist Basis, und ein Kanal, der sich die Basis zuschreibt, sieht besser aus, als er ist.

Die Idee braucht ein Kontrafaktisches: das, was ohne die Werbung geschehen wäre. Niemand beobachtet es direkt, deshalb ist Inkrementalität im Marketing immer die Schätzung einer Differenz, zwischen dem, was geschehen ist, und dem, was geschehen wäre, und die ganze Disziplin besteht darin, diese zweite Zahl sauber zu schätzen. Es gibt zwei Wege. Ein Experiment erzeugt sie absichtlich, indem es die Werbung einer Gruppe vorenthält, die sich wie der Rest verhalten hätte. Ein Modell schätzt sie aus der Historie, indem es die Medien von allem anderen trennt, was die Verkäufe bewegt hat. Beide liefern eine inkrementelle Wirkung mit einem Intervall, und das Intervall ist Teil der Antwort.

Inkrementalität wird an einem Ergebnis gemessen, das dem Unternehmen wichtig ist, Umsatz, Bestellungen, Anmeldungen, Ladenbesuche, und auf einem Ausgabenniveau. Ein Kanal ist nicht inkrementell oder nicht; er trägt bei einem bestimmten Ausgabenniveau einen bestimmten Betrag bei, und dieser Betrag ändert sich mit den Ausgaben. Der marginale inkrementelle ROAS überträgt diese Idee vom Durchschnitt auf den nächsten Euro: Er beschreibt den zusätzlichen Umsatz, den der nächste eingesetzte Euro bewirkt, und ist die Zahl, nach der ein Plan Budget verschiebt.

Warum die Plattform-Attribution den inkrementellen Umsatz überschätzt

Plattform-Dashboards melden zugerechnete Verkäufe: die Conversions, die ihr Tracking mit einer Impression oder einem Klick verbinden konnte, nach einer Regel gutgeschrieben. Die Attribution überschneidet sich zwischen Kanälen, weil mehrere Plattformen denselben Nutzer sehen und jede den Verkauf beansprucht; sie zählt Kunden mit, die ohnehin konvertiert hätten, weil die Regel kein Kontrafaktisches kennt; und der gemeldete ROAS bleibt auf gesättigten Kanälen hoch, weil der Durchschnittsertrag noch lange gesund aussieht, nachdem der nächste Euro aufgehört hat, etwas zu bringen. Addiert man die von jedem Kanal gemeldeten Verkäufe, kann die Summe die Verkäufe übersteigen, die das Unternehmen tatsächlich gemacht hat.

Retargeting ist der Lehrbuchfall: Es erreicht Menschen, die bereits Interesse gezeigt haben, also ist seine zugerechnete Conversion-Rate hoch, und sein inkrementeller Umsatz kann klein sein. Markensuchen sind ein anderer: Fernsehen erzeugt Markensuchen, und die Suchplattform meldet die daraus entstehenden Verkäufe als ihre eigenen. In beiden Fällen lügt das Dashboard nicht über das, was es erfasst hat. Es beantwortet eine andere Frage als die, die ein Budget braucht. Zugerechneter Umsatz sagt, welche Kontaktpunkte auf dem Pfad lagen. Inkrementeller Umsatz sagt, was das Geld verändert hat.

Drei Wege, Inkrementalität zu messen: Geo-Lift, Holdouts, kalibriertes MMM

Geo-Lift. Ein Geo-Lift-Experiment verändert die Werbung in einigen Regionen und in anderen nicht: meist ein Holdout, bei dem ein Kanal in den Testregionen für einen festen Zeitraum pausiert. Eine synthetische Kontrolle, eine gewichtete Kombination der unbehandelten Regionen, die den Verlauf der Testregionen vor der Änderung möglichst gut abbildet, liefert das Kontrafaktische, und die Lücke während des Tests ist die inkrementelle Wirkung. Das funktioniert ohne Daten auf Nutzerebene, weshalb es das Arbeitspferd für Offline-Kanäle ist, für Kanäle, die ihr Tracking verloren haben, und für die digitalen Kanäle, deren Plattformzahlen am wenigsten vertraut wird. Das Design steht vor dem Start fest: KPI, nach Messbarkeit gewählte Regionen, Dauer, Analysemethode und die kleinste Wirkung, die der Test erkennen könnte.

Holdouts. Wo die Einheit ein Nutzer oder ein Kunde ist statt einer Region, wird die Werbung einer zufällig gewählten Gruppe vorenthalten. Lift-Studien der Plattformen tun das innerhalb einer Plattform, wobei die Plattform die Randomisierung übernimmt; ein Holdout in einer Kundenliste tut es für E-Mail oder Retargeting; ein A/B-Test für eine Anzeige oder ein Angebot. Diese Tests beantworten eine enge Frage: die inkrementelle Wirkung dieses Kanals, auf dem Publikum dieser Plattform, bei diesen Ausgaben. Sie sehen nicht über Kanäle hinweg, und eine Plattform, die ihren eigenen Lift misst, misst innerhalb ihres eigenen Publikums und ihrer eigenen Regeln, also sollten Design und Ergebnis geprüft werden.

Kalibriertes MMM. Ein Media-Mix-Modell schätzt den inkrementellen Beitrag jedes Kanals, jede Woche, aus der aggregierten Historie, und das ist seine Stärke und seine Schwäche zugleich: Es deckt den ganzen Mix ab, aber es beobachtet nur, und ein gut angepasstes Modell kann trotzdem dem falschen Kanal den Erfolg zuschreiben, wenn sich Kanäle gemeinsam bewegen. Die Kalibrierung ist die Abhilfe. Der gemessene Ertrag eines Geo-Tests oder eines Holdouts wird zum Prior für den Koeffizienten dieses Kanals in der nächsten Modellschätzung, sodass die Kurve des Modells am getesteten Punkt verankert ist und ihr weiterer Verlauf weiterhin vom Modell geschätzt wird. Weichen Modell und Test um mehr als ein Drittel voneinander ab, hat das Modell auf diesem Kanal ein Identifikationsproblem, und der Plan sollte das sagen.

Die drei sind keine Rivalen. Experimente messen; das Modell verallgemeinert die Messungen auf jede Woche und jeden Kanal; und das nächste Experiment geht dorthin, wo das Modell am unsichersten ist.

Wie man ein Inkrementalitätsergebnis liest: das Intervall zählt

Ein Inkrementalitätstest liefert eine Schätzung und ein Intervall, und das Intervall ist keine Dekoration. Zwei rein illustrative Beispiele: Ein gemessener Lift von 12 % mit einem Intervall von 3 % bis 21 % stützt eine positive Wirkung unter den Testbedingungen und sagt wenig über ihre Größe; ein Lift von 4 % mit einem Intervall von minus 2 % bis 10 % ist von null nicht zu unterscheiden, und die 4 % ohne ihr Intervall zu melden behauptet mehr, als der Test gezeigt hat. Der Plan sollte die Spanne tragen und sagen, wann sie die Null kreuzt.

Ein Ergebnis zu lesen heißt auch, das Design zu lesen. Wurde der Test entworfen, bevor er lief, oder wurde eine Ausgabenkürzung, die aus anderen Gründen geschah, im Nachhinein gemessen? Eine nachträglich untersuchte Ausgabenkürzung kann die Messung wert sein, aber sie wurde nicht als Test entworfen, ihr Übergang war womöglich nicht sauber, und ihre Regionen wurden nicht nach Messbarkeit gewählt, also sollte sie ausdrücklich als retrospektive Messung ausgewiesen werden. Hat der Eingriff tatsächlich stattgefunden: Sanken die Ausgaben in den Testregionen zum Stichtag auf null, oder hat ein allmähliches Herunterfahren die Grenze verwischt? Wurden beide Placebo-Prüfungen durchgeführt und berichtet: ein Zeit-Placebo in einem früheren Zeitraum ohne Eingriff und ein Regions-Placebo in unbehandelten Regionen? Und war der Test groß genug, um die Wirkung zu sehen, die der Plan sehen musste? Ein Holdout in zwei kleinen Regionen über drei Wochen erkennt nur eine sehr große Wirkung, und der Design-Schritt ist dazu da, das zu sagen, bevor das Geld ausgegeben ist. Und war der Eingriff real? National eingekaufte Medien oder Übertragungseffekte über eine Regionsgrenze hinweg behandeln auch die Kontrollregionen.

Schließlich misst ein Test eine Ausgabenänderung auf einem Niveau. Er verankert die Wirkungskurve an diesem Punkt; die Form des Rests der Kurve kommt weiterhin aus dem Modell. Ein Kanal, der bei der Hälfte seines Budgets inkrementell war, ist es beim Doppelten nicht unbedingt.

Inkrementeller Umsatz, inkrementeller Lift, inkrementeller Wert: dieselbe Idee, drei Wörter

Das Vokabular variiert stärker als der Begriff. Inkrementelle Verkäufe oder inkrementelle Bestellungen sind die Einheiten, die die Werbung verursacht hat. Inkrementeller Umsatz ist dasselbe in Geld. Inkrementeller Lift ist die Wirkung, ausgedrückt relativ zum Kontrafaktischen: Ein Lift von 12 % heißt, dass das Ergebnis der Testgruppe 12 % über dem lag, was es gewesen wäre. Inkrementeller Wert ist der weitere Begriff, gebraucht, wenn das Ergebnis kein Umsatz ist, sondern Anmeldungen, Besuche oder Kundenwert. Inkrementeller ROAS ist inkrementeller Umsatz geteilt durch die Ausgaben, die ihn verursacht haben, und marginaler inkrementeller ROAS dasselbe Verhältnis, auf den nächsten Euro gelesen.

Zwei Begriffe werden oft damit verwechselt. Lift allein ist das, was Plattformen das Ergebnis ihrer eigenen Lift-Studien nennen, ein Inkrementalitätsmaß, beschränkt auf das Publikum und die Regeln dieser Plattform. Und Uplift meint in der Modellierung meist ein Modell, das vorhersagt, welche Einzelpersonen auf eine Maßnahme reagieren, eine andere Frage als die, wie viel ein Kanal in der Summe beiträgt. Wenn ein Bericht eines dieser Wörter verwendet, ist die nützliche Frage immer dieselbe: inkrementell gegenüber welchem Kontrafaktischen, wie gemessen, bei welchen Ausgaben, mit welchem Intervall.

Inkrementalität, Attribution oder MMM

Die Attribution arbeitet auf Nutzerebene und verteilt den Erfolg jeder beobachteten Conversion nach einer Regel auf die Kontaktpunkte, die sie erfasst hat. Sie ist feinkörnig und schnell, und sie ist das übliche Werkzeug für die Optimierung innerhalb eines Kanals: welches Keyword, welche Zielgruppe, welche Anzeige. Sie misst Korrelation entlang eines Pfads, nicht Kausalität, und sie sieht nicht, was sie nicht erfassen kann, was Offline-Medien und einen wachsenden Teil der Nutzer ausschließt.

Ein Inkrementalitätstest misst Kausalität direkt, für einen Kanal, auf einem Ausgabenniveau, in einem Zeitraum. Es ist die einzige Methode, die misst, was ein Kanal bewirkt, unter den Bedingungen des Tests. Ihre Grenzen sind Kosten und Reichweite: eine Frage auf einmal, ein sauberer Eingriff und ein Ergebnis, das ein Punkt auf der Kurve ist, nicht die Kurve.

Marketing Mix Modeling arbeitet auf aggregierter Ebene, wöchentlich und je Kanal, online und offline, und beantwortet die Budgetfrage über den gesamten Mix. Es beobachtet nur, es braucht Historie und Variation, und seine Auflösung endet beim Kanal und bei der Woche. Mit Experimenten kalibriert, ist es die Methode, die eine Handvoll gemessener Punkte in einen Plan für jeden Kanal verwandelt.

Die praktische Anordnung ist eine Hierarchie: Experimente kalibrieren das Modell, das Modell verteilt das Budget auf die Kanäle, und die Attribution optimiert innerhalb jedes Kanals, wobei ihre Zahlen als zugerechnet gelesen werden, nicht als inkrementell. Die Pillar-Seite zu Marketing Mix Modeling geht die Modellseite dieser Anordnung im Detail durch.

Wie der Kuwalyst Media Planner Inkrementalitätstests nutzt

Der Media Planner schlägt Experimente als Empfehlungen vor, vom ersten Plan an. Ist die marginale Spanne eines Kanals zu breit, um eine Budgetverschiebung zu bemessen, oder haben seine Ausgaben nie genug variiert, damit das Modell ihn identifizieren kann, schlägt die Ansicht Tune den Geo-Holdout vor, der sie verengen würde: die Regionen, die Dauer und die erwartete Verengung des Intervalls. Wer die Empfehlung annimmt, setzt das Experiment auf die Zeitachse des Plans. Für eine Marke, die mit Benchmarks beginnt, listet der Plan die Benchmarks, von denen er abhängt, geordnet danach, wie stark sich die Projektion bewegen würde, wenn sie falsch wären, und schlägt den Test oder die Datenanbindung vor, die jeden davon durch einen gemessenen Wert ersetzen würde.

Das Ergebnis landet im selben Arbeitsbereich, als gemessen gekennzeichnet, neben der Zahl des Modells, als projiziert gekennzeichnet, und der Plan zeigt beide. Der gemessene inkrementelle Ertrag wird zum Prior für den Koeffizienten des Kanals in der nächsten Anpassung, und die oben beschriebene Disziplin gilt jedes Mal: Das Design wird vor dem Start festgelegt und gespeichert, die Placebo-Prüfungen und die Ausgabenprüfung werden durchgeführt und berichtet, und ein Zuwachs, dessen Spanne die Null kreuzt, wird als von null nicht unterscheidbar ausgewiesen. Es ist dieselbe Disziplin, die Kuwalyst anwendet, wenn Agenturen es bitten, ihre eigene Geo-Lift-Messung zu prüfen, und der Grund, warum Marken am Ende sagen können, welche ihrer Zahlen gemessen und welche modelliert wurden.