Les expériences geo-lift

Ce que c’est

Une expérience geo-lift modifie la publicité dans certaines régions géographiques et pas dans d’autres, puis mesure la différence sur un résultat d’entreprise. Les régions sont l’unité de randomisation, et c’est pourquoi la méthode fonctionne sans aucune donnée individuelle : elle n’a besoin que des ventes et de la dépense par région et par semaine.

Le design le plus courant est un holdout : mettre un canal en pause dans les régions test pendant une période fixe. La mesure la plus courante est un contrôle synthétique, un mélange pondéré des régions non traitées construit pour suivre la région test avant le changement. L’écart entre la région test et son jumeau synthétique pendant le test est l’effet incrémental.

Pourquoi c’est important pour un plan média

Un modèle de mix média est une estimation observationnelle. Il peut être bien ajusté et créditer le mauvais canal, parce que les canaux bougent ensemble. Une expérience est la seule façon de mesurer ce qu’un canal cause, et l’estimation du modèle pour ce canal peut alors lui être comparée. Si elles diffèrent de plus d’un tiers, le modèle a un problème d’identification sur ce canal et le plan doit le dire.

Un test geo produit aussi le seul type de chiffre qui n’a besoin d’aucune réserve : mesuré. Dans un plan où chaque chiffre est étiqueté, les chiffres mesurés sont ceux contre lesquels les autres sont vérifiés.

Comment ça marche

Le design, avant que quoi que ce soit tourne : fixer le KPI, les régions test candidates, la durée et la méthode d’analyse. L’étape de design utilise les données de la période préalable pour calculer, pour chaque design candidat, le plus petit effet que le test pourrait détecter avec une puissance raisonnable. Un test qui ne peut pas détecter l’effet que le plan a besoin de voir ne doit pas tourner.

Les régions test sont choisies pour leur mesurabilité : celles dont les autres peuvent reproduire l’historique. Une région qui bouge autrement que le reste fait un mauvais jumeau synthétique quelle que soit sa taille.

L’intervention, nette : allumer ou couper la dépense à une seule date. Une réduction progressive avant le test brouille la frontière entre la période normale et l’intervention, et les semaines de transition finissent comptées du mauvais côté.

La mesure, sur le design verrouillé : ajuster le contrôle synthétique sur la période préalable, le projeter à travers le test, lire l’écart. Puis valider : un placebo temporel, en appliquant la même mesure à des fenêtres antérieures où rien n’a changé, et un placebo régional, en l’appliquant à des régions non traitées. Rapporter les deux. Recouper avec une seconde méthode, comme une série temporelle structurelle bayésienne, comme vérification de soutien.

La lecture : l’effet incrémental sur le KPI, son intervalle, la dépense économisée ou ajoutée, et le retour incrémental qui en découle. Ce chiffre calibre ensuite le modèle : il devient un prior sur le coefficient du canal dans l’ajustement suivant.

Comment Kuwalyst l’utilise

Le Media Planner propose des expériences comme recommandations, dès le premier plan. Quand l’intervalle marginal d’un canal est trop large pour dimensionner un mouvement de budget, la vue Ajuster propose le geo holdout qui le resserrerait : les régions, la durée, le resserrement attendu de l’intervalle. L’accepter place l’expérience sur le calendrier du plan ; la lecture arrive dans le même espace de travail et alimente l’ajustement suivant.

Le planner impose la discipline décrite ci-dessus. Le design est fixé avant le lancement et conservé. Les vérifications de validation, placebos temporels et régionaux, ajustement de la période préalable, contrôle que la dépense a bien changé, sont exécutées et rapportées à chaque fois. C’est la même discipline que Kuwalyst applique quand des agences lui demandent de revoir leur propre mesure geo-lift.

Les pièges

Le test rétrospectif : une coupe de dépense survenue pour d’autres raisons peut être mesurée après coup, et le doit souvent. Mais elle n’a pas été conçue, sa transition n’a pas été nette, et ses régions n’ont pas été choisies pour leur mesurabilité. Rapportez-la pour ce qu’elle est.

Les fenêtres saisonnières : le contrôle synthétique fonctionne quand la région test bouge comme les contrôles. Dans certaines catégories, ce n’est pas le cas en été, ou autour d’une fête nationale, et l’erreur placebo dans ces fenêtres est plusieurs fois plus grande. Vérifiez l’erreur placebo selon le placement dans le calendrier avant de choisir les dates.

La contamination : des médias achetés au niveau national, ou des débordements à travers une frontière régionale, traitent aussi les régions de contrôle. Choisissez des canaux et des régions où la coupure est réelle.

Trop petit pour voir : un holdout de deux petites régions pendant trois semaines ne détectera qu’un très grand effet. L’étape de design existe pour le dire avant que l’argent soit dépensé.

Lire un test comme une courbe : un test mesure l’effet d’un changement de dépense à un niveau. Il ancre la courbe de réponse en ce point. La forme du reste de la courbe vient toujours du modèle.