MMM, Attribution oder Inkrementalität?

Die drei Methoden in einer Tabelle

MMM oder Attributionsmodell: Mit diesem Vergleich fangen die meisten Messteams an, und der Inkrementalitätstest ist die dritte Methode, die entscheidet, worüber die ersten beiden uneins sind. Die drei beantworten verschiedene Fragen, auf verschiedenen Ebenen, mit Belegen verschiedener Art. Die Wahl beginnt mit der Frage, die Sie beantwortet brauchen.

	Multi-Touch-Attribution (MTA)	Marketing Mix Modeling (MMM)	Inkrementalitätstest
Einheit	Der Nutzer, entlang eines erfassten Pfads	Der Kanal, je Woche, aggregiert	Eine Region, eine Nutzergruppe oder eine Filialgruppe, behandelt gegen unbehandelt
Was gemessen wird	Welche erfassten Kontaktpunkte jeder Conversion vorausgingen, nach einer Regel gutgeschrieben	Eine Schätzung dessen, was jeder Kanal im Zeitraum zum Umsatz beigetragen hat, und des Ertrags des nächsten Euros	Was eine Änderung der Werbung bewirkt hat, auf einem Ausgabenniveau, in einem Zeitraum
Was nötig ist	Tracking der Kontaktpunkte auf Nutzerebene	Zwei bis drei Jahre wöchentliche Ausgaben je Kanal, Verkäufe und Kontrollvariablen, mit Variation in den Ausgaben	Ein sauberer Eingriff, vergleichbare Gruppen und genug Größe, um die Wirkung zu erkennen
Sieht Offline-Medien	Nein	Ja	Ja, wenn die Einheit geografisch ist
Kausal	Nein: Korrelation entlang eines Pfads	Beobachtend: braucht Kalibrierung	Ja, unter den Bedingungen des Tests
Latenz	Täglich	Eine Anpassung dauert Wochen; Neuanpassung, sobald Experimente ausgewertet sind	Ein Test läuft Wochen und beantwortet eine Frage
Bester Einsatz	Optimierung innerhalb eines Kanals: Keyword, Zielgruppe, Anzeige	Budgetverteilung auf die Kanäle	Messung der inkrementellen Wirkung eines Kanals unter Testbedingungen, und Kalibrierung des Modells
Typischer Fehler	Kanäle überschätzen, die Menschen erreichen, die ohnehin konvertiert hätten	Dem falschen Kanal den Erfolg zuschreiben, wenn sich Kanäle gemeinsam bewegen	Zu klein oder zu kurz testen, oder eine Kürzung messen, die nicht als Test entworfen war

Die Spalten sind keine Alternativen, aus denen man eine wählt. Es sind drei Instrumente, und ein Messaufbau, dem eines fehlt, hat in der Regel einen blinden Fleck, den die beiden anderen nicht abdecken können.

Das Attributionsmodell: was Multi-Touch-Attribution misst, was sie übersieht

Multi Touch Attribution verfolgt Einzelpersonen über die Kontaktpunkte, die ihr Tracking sehen kann, und verteilt den Erfolg jeder Conversion nach einer Regel auf sie: Last Click, linear, zeitlich abnehmend, positionsbasiert oder eine datengetriebene Gewichtung, die auf den Pfaden angepasst wird. Sie ist feinkörnig, täglich verfügbar und in Plattformen und Analysewerkzeuge eingebaut. Für die Wahl zwischen zwei Keywords, zwei Zielgruppen oder zwei Anzeigen innerhalb eines Kanals ist sie das übliche Instrument.

Was sie übersieht, ist strukturell. Sie sieht nur, was sie erfassen kann, und das schließt Fernsehen, Radio, Außenwerbung und Print aus, und einen wachsenden Teil der Nutzer, den Einwilligungsregeln und Tracking-Beschränkungen aus dem Pfad nehmen. Sie zählt Korrelation entlang eines Pfads, nicht Kausalität: Ein Kontaktpunkt, der vor einer Conversion erscheint, bekommt Erfolg gutgeschrieben, ob die Conversion ohne ihn stattgefunden hätte oder nicht, und deshalb sehen Retargeting und Markensuchen in der Attribution so gut aus. Und ihre Regeln verteilen den Erfolg nur unter den beobachteten Kontaktpunkten, nie an die unbeobachteten, sodass die zugerechneten Verkäufe aller Kanäle zusammen mehr ergeben als die Verkäufe des Unternehmens. Multi-Touch gegen Single-Touch ist eine Wahl zwischen Regeln; keine Regel fügt ein Kontrafaktisches hinzu.

Für die Frage, die ein Budget braucht, fällt der Vergleich Marketing Mix Modeling gegen Attribution Marketing eindeutig aus: Ein Attributionsmodell kann nicht sagen, was ein Kanal beigetragen hat, sondern nur, an welchen Conversions er beteiligt war.

Marketing Mix Modeling: was es misst, was es übersieht

Ein Media-Mix-Modell erklärt den wöchentlichen Umsatz als Basis plus den Beitrag jedes Kanals, nach Adstock für die Nachwirkung und Sättigung für den abnehmenden Grenzertrag, mit Kontrollvariablen für Preis, Promotions, Saisonalität und den Rest. Es arbeitet mit aggregierten Daten, braucht kein Nutzer-Tracking und sieht Offline-Medien neben den digitalen, was es zum Instrument für die Budgetverteilung auf die Kanäle macht. Seine Ausgabe je Kanal ist eine Wirkungskurve, und die Steigung dieser Kurve bei den aktuellen Ausgaben, der marginale inkrementelle ROAS, ist die Zahl, nach der ein Plan Budget verschiebt.

Was es übersieht, folgt aus seiner Arbeitsweise. Es beobachtet nur: Ein gut angepasstes Modell kann trotzdem dem falschen Kanal den Erfolg zuschreiben, wenn sich zwei Kanäle immer gemeinsam bewegen, und alle geben im vierten Quartal mehr aus. Es braucht Historie und Variation, typischerweise zwei bis drei Jahre Wochendaten, und ein Kanal, dessen Ausgaben sich nie geändert haben, ist gar nicht identifizierbar. Seine Auflösung endet beim Kanal und bei der Woche: Es wird weder eine Anzeige noch ein Keyword wählen. Und jenseits des Ausgabenbereichs, den es gesehen hat, sind seine Kurven Extrapolationen. Media-Mix-Modell gegen Attributionsmodell ist deshalb kein Wettbewerb, sondern Arbeitsteilung, mit einem blinden Fleck, der bleibt: Die Zuschreibung des Modells selbst muss gegen etwas geprüft werden, das Kausalität misst.

Inkrementalitätstest: was er misst, was er übersieht

Ein Inkrementalitätstest erzeugt das Kontrafaktische absichtlich. Einige Einheiten erhalten eine Änderung der Werbung und vergleichbare Einheiten nicht, und die Differenz im Ergebnis, mit ihrem Intervall, ist das, was die Änderung bewirkt hat. Die Einheit, die ohne Nutzerdaten funktioniert, ist die Geografie: Ein Geo-Lift-Experiment pausiert oder verstärkt einen Kanal in einigen Regionen und liest die Lücke gegen eine synthetische Kontrolle aus den übrigen ab. Lift-Studien der Plattformen, Holdouts in Kundenlisten und A/B-Tests tun dasselbe auf Nutzerebene, innerhalb einer Plattform oder einer Liste.

Was er misst, ist das eine, was die beiden anderen nicht können: Kausalität, unter den Bedingungen des Tests. Was er übersieht, ist alles außerhalb dieser Bedingungen. Ein Test beantwortet eine Frage, für einen Kanal, auf einem Ausgabenniveau, in einem Zeitraum; er ist ein Punkt auf der Wirkungskurve, nicht die Kurve. Er kostet Geld und Zeit, braucht eine klar abgegrenzte Intervention und eine ausreichende Testgröße, um die gesuchte Wirkung zu erkennen, und eine Ausgabenkürzung aus anderen Gründen wird durch eine nachträgliche Auswertung nicht zu einem geplanten Experiment. Und eine Plattform, die ihren eigenen Lift misst, misst innerhalb ihres eigenen Publikums und ihrer eigenen Regeln. Lift gegen Inkrementalität ist in diesem Sinn der Unterschied zwischen der Zahl einer Plattform und der Zahl eines entworfenen Experiments.

Welche wann: unsere Meinung

Nutzen Sie alle drei, in einer Hierarchie, und lassen Sie keine die Arbeit einer anderen tun.

Experimente kalibrieren das Modell. Der gemessene Ertrag eines Geo-Tests oder eines Holdouts wird zum Prior für den Koeffizienten dieses Kanals in der nächsten Anpassung, und weichen Modell und Test um mehr als ein Drittel voneinander ab, weist das auf ein Identifikationsproblem auf diesem Kanal hin, und der Plan sollte das sagen. Der nächste Test geht dorthin, wo das Modell am unsichersten ist: zum Kanal, dessen Spanne zu breit ist, um zu handeln, oder dessen Ausgaben nie variiert haben.

Das Modell verteilt das Budget auf die Kanäle. Online und offline, wöchentlich, nach dem marginalen inkrementellen ROAS mit seiner Spanne, und mit den Benchmarks, von denen es noch abhängt, aufgelistet und geordnet. MMM gegen Inkrementalität ist keine Wahl: Das eine verallgemeinert, was das andere gemessen hat.

Die Attribution optimiert innerhalb jedes Kanals. Keywords, Zielgruppen, Anzeigen, mit ihren Zahlen als zugerechnet gelesen, nicht als inkrementell. Inkrementalität gegen Attribution ist nur dann ein Konflikt, wenn die Zahlen der Attribution Budget zwischen Kanälen verschieben sollen; innerhalb eines Kanals sind sie das schnellste verfügbare Signal.

Die Meinung in einem Satz: Attribution gegen Inkrementalität ist eine Frage danach, was die Zahl bedeutet, und ein Plan sollte die beiden nie mischen, ohne zu sagen, welche welche ist. Deshalb trägt jede Zahl in einem Kuwalyst-Plan eine Kennzeichnung, gemessen, projiziert oder Benchmark, und deshalb liest der Media Planner Plattformzahlen als zugerechnet und verteilt das Budget auf dem Modell.

Drei kurze Fälle

Die drei Fälle sind fiktiv und vereinfacht; der Händler, die Direct-to-Consumer-Marke und die Agentur sind keine Kunden von Kuwalyst.

Ein Händler mit Fernsehen und Search. Die Attribution schreibt die meisten Verkäufe den Markensuchen zu; das Modell, angepasst an zwei Jahre Wochendaten, findet, dass Fernsehen einen Teil des Markensuchvolumens erklärt, und gibt dem Fernsehen einen marginalen Ertrag, den die Dashboards nie gezeigt haben. Das Team führt einen sechswöchigen Geo-Holdout für Fernsehen durch; der gemessene Ertrag liegt innerhalb der Spanne des Modells, das Modell wird mit ihm als Prior neu angepasst, und der nächste Plan verschiebt Budget von Search, das gesättigt war, zu Fernsehen. Die Attribution behielt ihre Aufgabe: die Search-Keywords zu wählen.

Eine Direct-to-Consumer-Marke nur auf Paid Social. Mit einem dominanten Kanal und achtzehn Monaten Historie würde ein Media-Mix-Modell seinen Prior zurückgeben. Das Team lässt das Modell aus und führt eine Lift-Studie auf der Plattform durch, dann einen Kundenlisten-Holdout für Retargeting; der Retargeting-Lift ist von null nicht zu unterscheiden, also erhöht das Team ihn nicht weiter und testet als Nächstes die Neukundengewinnung. Das Modell kommt später, sobald ein zweiter Kanal und ein weiteres Jahr Daten vorliegen.

Eine Agentur mit zwölf Kunden auf denselben Plattformen. Die Attribution ist das, was das Dashboard jedes Kunden zeigt, und jeder Kunde fragt, warum sich die Zahlen nicht addieren. Die Agentur schätzt für die Kunden, deren Historie es erlaubt, je ein Modell, beginnt bei den übrigen mit geprüften Benchmarks und legt die ersten Experimente fest, und berichtet jede Zahl mit ihrer Kennzeichnung. Die Frage verschiebt sich von „Welches Dashboard hat recht?“ zu „Welche Zahlen sind gemessen, welche projiziert, und was ist der nächste Test?“. Der A/B-Test wählt die Anzeige; der Lift-Test misst den Kanal.