Wie lange sollte ein Geo-Lift-Test laufen?

Lange genug, um die Nachwirkung des Kanals zu erfassen und Zufallsschwankungen zu verringern. Vier bis acht Wochen sind üblich; lange Adstock-Nachwirkung spricht für das obere Ende. Kurze Tests erkennen nur große Effekte. Die Planung berechnet den kleinsten nachweisbaren Effekt je Laufzeit. Ein Test sollte nicht starten, wenn er die gesuchte Wirkung nicht erkennen kann.

Welche Regionen eignen sich als Testregionen?

Solche, deren bisherigen Verlauf die Kontrollregionen gut nachbilden können. Das Design prüft Kandidatengruppen auf Vorperioden-Anpassung und ausreichende Größe. Eine Region mit eigenständigem Verlauf ist trotz hoher wirtschaftlicher Bedeutung oft ungeeignet.

Was ist ein Placebo-Test?

Dieselbe Messung ohne tatsächlichen Eingriff, etwa in einem früheren Zeitraum oder einer unbehandelten Region. Der wahre Interventionseffekt ist dort null. Sind die gemessenen Placebo-Effekte ähnlich groß wie das Testergebnis, ist dieses nicht klar vom Rauschen zu unterscheiden. Zeit- und Regionsplacebos sollten beide durchgeführt und berichtet werden.

Geo-Lift-Experimente

Was ist das?

Ein Geo-Lift-Experiment verändert Werbung in einigen Regionen und lässt sie in anderen unverändert. Anschließend misst es die Differenz einer Geschäftskennzahl. Die regionale Ebene ermöglicht die Auswertung ohne personenbezogene Trackingdaten: Umsatz und Ausgaben nach Region und Woche genügen. In randomisierten Designs werden Regionen statt einzelner Personen zugeteilt.

Häufig wird ein Holdout genutzt: Ein Kanal pausiert für einen festgelegten Zeitraum in den Testregionen. Die Messung erfolgt oft mit einer synthetischen Kontrolle, einer gewichteten Mischung unbehandelter Regionen, die den bisherigen Verlauf der Testregion nachbildet. Der Abstand während des Tests ist die geschätzte inkrementelle Wirkung.

Warum ist das für die Mediaplanung wichtig?

Ein MMM ist eine Schätzung aus Beobachtungsdaten. Gemeinsam schwankende Kanäle können trotz guter Modellanpassung falsch gewichtet werden. Ein sauber konzipiertes Experiment liefert einen kausalen Vergleich, an dem sich die Modellschätzung prüfen lässt. Weichen beide deutlich ab – als Prüfsignal etwa um mehr als ein Drittel –, sollte die Identifizierbarkeit des Kanals untersucht werden.

Geo-Tests liefern als Messwerte gekennzeichnete Ergebnisse. An ihnen lassen sich andere Schätzungen prüfen. Auch diese Messwerte müssen mit ihrem Intervall und den Grenzen des Versuchs gelesen werden.

Wie funktioniert es?

Design vor dem Start: KPI, Kandidatenregionen, Dauer und Analysemethode werden festgelegt. Vorperiodendaten liefern für jeden Entwurf den kleinsten mit ausreichender Teststärke nachweisbaren Effekt. Ein Test, der die benötigte Wirkung nicht erkennen kann, sollte nicht starten.

Regionen werden nach Messbarkeit ausgewählt. Ihre Historie muss durch die anderen Regionen gut nachgebildet werden können. Ein eigenständiger Verlauf erschwert die synthetische Kontrolle, unabhängig von der Größe.

Klarer Eingriff: Ausgaben werden an einem festgelegten Datum ein- oder ausgeschaltet. Ein schrittweises Herunterfahren vor dem Test verwischt die Grenze zwischen Vor- und Testperiode.

Messung nach dem festgelegten Design: Die synthetische Kontrolle wird in der Vorperiode angepasst und in den Test fortgeschrieben. Danach wird der Abstand ausgewertet. Zeitplacebos in früheren Fenstern und Regionsplacebos in unbehandelten Gebieten prüfen das Verfahren. Beide werden berichtet. Eine zweite Methode, etwa ein bayesianisches strukturelles Zeitreihenmodell, dient als zusätzliche Plausibilitätsprüfung.

Ergebnis: Effekt auf den KPI, Unsicherheitsintervall, eingespartes oder zusätzliches Budget und daraus abgeleiteter inkrementeller Ertrag. Dieser Messwert kalibriert das Modell als Prior für die nächste Anpassung.

So nutzt Kuwalyst die Methode

Der Media Planner schlägt Experimente bereits im ersten Plan als Empfehlungen vor. Ist das marginale Intervall eines Kanals zu breit, schlägt Tune einen Geo-Holdout mit Regionen, Dauer und erwarteter Verringerung der Unsicherheit vor. Die Annahme trägt den Versuch in den Zeitplan ein. Das Ergebnis bleibt im selben Arbeitsbereich und fließt in den nächsten Fit.

Das Design wird vor dem Start festgelegt und gespeichert. Zeit- und Regionsplacebos, Vorperioden-Anpassung sowie eine Prüfung, ob die Ausgaben tatsächlich geändert wurden, gehören zu jeder Auswertung. Dieselben Maßstäbe legt Kuwalyst bei unabhängigen Prüfungen von Agenturtests an.

Worauf Sie achten sollten

Nachträgliche Tests: Eine anderweitig beschlossene Budgetkürzung kann rückblickend untersucht werden. Sie war aber nicht als Experiment geplant, der Übergang womöglich unscharf und die Regionen nicht nach Messbarkeit ausgewählt. Das muss die Auswertung klar benennen.

Saisonale Zeitfenster: In manchen Kategorien verhalten sich Regionen im Sommer oder an Feiertagen anders. Placebo-Fehler können dann um ein Mehrfaches steigen. Prüfen Sie diese vor der Terminwahl.

Vermischung: Nationale Werbung oder regionale Übertragungseffekte können auch Kontrollen beeinflussen. Wählen Sie Kanäle und Regionen, in denen der Eingriff tatsächlich getrennt bleibt.

Zu kleine Tests: Zwei kleine Regionen über drei Wochen erkennen nur sehr große Effekte. Die Testplanung soll dies vor den Ausgaben sichtbar machen.

Ein Test ist keine ganze Kurve. Er misst eine Ausgabenänderung an einem Niveau und verankert die Wirkungskurve dort. Ihr übriger Verlauf bleibt modellbasiert.