MMM, attribution ou incrémentalité ?

Les trois méthodes dans un tableau

MMM ou attribution marketing : c’est la comparaison par laquelle la plupart des équipes de mesure commencent, et le test d’incrémentalité est la troisième méthode, celle qui tranche ce sur quoi les deux premières ne sont pas d’accord. Les trois répondent à des questions différentes, à des niveaux différents, avec des preuves de nature différente. Choisir entre elles commence par la question à laquelle vous avez besoin de répondre.

	Attribution multi-touch (MTA)	Marketing mix modeling (MMM)	Test d’incrémentalité
Unité	L’utilisateur, le long d’un parcours tracé	Le canal, par semaine, en agrégé	Une région, un groupe d’utilisateurs ou de magasins, traité contre non traité
Ce que ça mesure	Quels points de contact tracés ont précédé chaque conversion, crédités selon une règle	Une estimation de ce que chaque canal a ajouté aux ventes sur la période, et du rendement de l’euro suivant	Ce qu’un changement de publicité a causé, à un niveau de dépense, sur une période
Ce qu’il faut	Un suivi individuel des points de contact	Deux à trois ans de dépense hebdomadaire par canal, de ventes et de variables de contrôle, avec de la variation dans la dépense	Une intervention clairement définie, des groupes comparables et une taille suffisante pour détecter l’effet
Voit les médias hors ligne	Non	Oui	Oui, quand l’unité est géographique
Causal	Non : corrélation le long d’un parcours	Observationnel : demande une calibration	Oui, dans les conditions du test
Latence	Quotidienne	Un ajustement prend des semaines ; réajusté à chaque résultat d’expérience	Un test dure des semaines et répond à une question
Meilleur usage	Optimiser à l’intérieur d’un canal : mot-clé, audience, création	Répartir le budget entre les canaux	Mesurer l’effet incrémental d’un canal dans les conditions du test, et calibrer le modèle
Échec typique	Surestimer les canaux qui touchent des gens qui convertissaient de toute façon	Créditer le mauvais canal quand les canaux bougent ensemble	Tester trop petit, trop court, ou mesurer une coupe qui n’a pas été conçue comme un test

Les colonnes ne sont pas des options entre lesquelles en choisir une. Ce sont trois instruments, et un dispositif de mesure auquel il en manque un a en général un angle mort que les deux autres ne peuvent pas couvrir.

L’attribution marketing multi-touch : ce qu’elle mesure, ce qui lui échappe

L’attribution multi-touch suit les individus à travers les points de contact que son suivi peut voir et répartit entre eux le crédit de chaque conversion selon une règle : dernier clic, linéaire, décroissance dans le temps, position, ou une pondération pilotée par les données ajustée sur les parcours. Elle est fine, disponible chaque jour, et intégrée aux plateformes et aux outils d’analytics. Pour choisir entre deux mots-clés, deux audiences ou deux créations à l’intérieur d’un canal, c’est l’instrument habituel.

Ce qui lui échappe est structurel. Elle ne voit que ce qu’elle peut tracer, ce qui exclut la télévision, la radio, l’affichage et la presse, et une part croissante des utilisateurs à mesure que les règles de consentement et les restrictions du suivi les retirent du parcours. Elle compte une corrélation le long d’un parcours, pas une causalité : un point de contact qui apparaît avant une conversion reçoit du crédit, que la conversion ait eu lieu ou non sans lui, et c’est pourquoi le retargeting et la recherche de marque paraissent si bons en attribution. Et ses règles ne partagent le crédit qu’entre les points de contact observés, jamais avec ceux qui ne l’ont pas été, si bien que les ventes attribuées de tous les canaux additionnées dépassent les ventes que l’entreprise a faites. Choisir entre attribution multi-touch et attribution simple, c’est choisir entre des règles ; aucune règle n’ajoute un contrefactuel.

Pour la question dont un budget a besoin, marketing mix modeling ou attribution n’est pas un débat serré : un modèle d’attribution marketing ne peut pas dire ce qu’un canal a ajouté, seulement ce qu’il a touché.

Le modèle de mix média : ce qu’il estime, ce qui lui échappe

Un modèle de mix média explique les ventes hebdomadaires comme une base plus la contribution de chaque canal, après l’adstock pour la rémanence et la saturation pour les rendements décroissants, avec des variables de contrôle pour le prix, les promotions, la saisonnalité et le reste. Il travaille sur des données agrégées, n’a besoin d’aucun suivi individuel, et voit les médias hors ligne à côté du digital, ce qui en fait l’instrument pour répartir un budget entre les canaux. Le modèle produit une courbe de réponse par canal, et la pente de cette courbe au niveau de dépense actuel, le ROAS incrémental marginal, est le nombre sur lequel un plan déplace le budget.

Ce qui lui échappe découle de son fonctionnement. Il est observationnel : un modèle bien ajusté peut encore créditer le mauvais canal quand deux canaux bougent toujours ensemble, et tout le monde dépense plus au quatrième trimestre. Il demande de l’historique et de la variation, en général deux à trois ans de données hebdomadaires, et un canal dont la dépense n’a jamais changé n’est pas identifiable du tout. Sa résolution s’arrête au canal et à la semaine : il ne choisira ni une création ni un mot-clé. Et au-delà de la plage de dépense qu’il a vue, ses courbes sont des extrapolations. Modèle de mix média ou attribution n’est donc pas un concours mais une division du travail, avec un angle mort qui reste : l’attribution propre au modèle doit être vérifiée contre quelque chose qui mesure la causalité.

Le test d’incrémentalité : ce qu’il mesure, ce qui lui échappe

Un test d’incrémentalité crée le contrefactuel à dessein. Certaines unités reçoivent un changement de publicité et des unités comparables non, et la différence de résultat, avec son intervalle, est ce que le changement a causé. L’unité qui fonctionne sans données individuelles est la géographie : une expérience geo-lift coupe ou renforce un canal dans certaines régions et lit l’écart par rapport à un contrôle synthétique construit à partir des autres. Les études de lift des plateformes, les holdouts sur une liste de clients et les tests A/B font la même chose au niveau de l’utilisateur, à l’intérieur d’une plateforme ou d’une liste.

Ce qu’il mesure est la seule chose que les deux autres ne peuvent pas mesurer : la causalité, dans les conditions du test. Ce qui lui échappe, c’est tout ce qui est hors de ces conditions. Un test répond à une question, pour un canal, à un niveau de dépense, sur une période ; c’est un point sur la courbe de réponse, pas la courbe. Il coûte de l’argent et du temps, exige une intervention clairement définie et une taille suffisante pour détecter l’effet recherché, et une baisse de dépenses décidée pour d’autres raisons ne devient pas un test d’incrémentalité parce qu’on l’analyse après coup. Et une plateforme qui mesure son propre lift mesure à l’intérieur de sa propre audience et de ses propres règles. Lift ou incrémentalité, en ce sens, c’est la différence entre le chiffre d’une plateforme et celui d’une expérience conçue.

Laquelle, quand : notre avis

Utilisez les trois, en hiérarchie, et ne laissez aucune faire le travail d’une autre.

Les expériences calibrent le modèle. Le rendement mesuré d’un test géographique ou d’un holdout devient un a priori sur le coefficient de ce canal à l’ajustement suivant, et quand le modèle et le test diffèrent de plus d’un tiers, cela signale un problème d’identification sur ce canal et le plan doit le dire. Le test suivant va là où le modèle est le moins sûr : le canal dont la fourchette est trop large pour agir, ou dont la dépense n’a jamais varié.

Le modèle répartit le budget entre les canaux. En ligne et hors ligne, chaque semaine, sur le ROAS incrémental marginal avec sa fourchette, et avec les benchmarks dont il dépend encore listés et classés. MMM ou incrémentalité n’est pas un choix : l’un généralise ce que l’autre a mesuré.

L’attribution optimise à l’intérieur de chaque canal. Mots-clés, audiences, créations, enchères, ses chiffres étant lus comme attribués, pas comme incrémentaux. Incrémentalité ou attribution n’est un conflit que lorsque les chiffres de l’attribution servent à déplacer du budget entre canaux ; à l’intérieur d’un canal, ce sont le signal le plus rapide qui existe.

L’avis, en une ligne : attribution ou incrémentalité est une question sur ce que le nombre veut dire, et un plan ne devrait jamais mélanger les deux sans dire lequel est lequel. C’est pourquoi chaque chiffre d’un plan Kuwalyst porte une étiquette, mesuré, projeté ou benchmark, et pourquoi le Media Planner lit les chiffres des plateformes comme attribués et alloue sur le modèle.

Trois cas courts

Ces trois cas sont fictifs et simplifiés ; le distributeur, la marque en vente directe et l’agence ne sont pas des clients de Kuwalyst.

Un distributeur avec de la télévision et du search. L’attribution crédite l’essentiel des ventes à la recherche de marque ; le modèle, ajusté sur deux ans de données hebdomadaires, trouve que la télévision explique une partie du volume de recherches de marque et donne à la télévision un rendement marginal que les tableaux de bord n’ont jamais montré. L’équipe mène un holdout géographique de six semaines sur la télévision ; le rendement mesuré tombe dans la fourchette du modèle, le modèle est réajusté avec lui comme a priori, et le plan suivant déplace du budget du search, qui était saturé, vers la télévision. L’attribution a gardé son rôle : choisir les mots-clés du search.

Une marque en vente directe sur le social payant seulement. Avec un seul canal dominant et dix-huit mois d’historique, un modèle de mix média rendrait son a priori. L’équipe saute le modèle et mène une étude de lift sur la plateforme, puis un holdout sur une liste de clients pour le retargeting ; le lift du retargeting ne se distingue pas de zéro, donc l’équipe cesse de l’augmenter et teste ensuite la prospection. Le modèle viendra plus tard, une fois qu’un deuxième canal et une année de données de plus existeront.

Une agence avec douze clients sur les mêmes plateformes. L’attribution est ce que montre le tableau de bord de chaque client, et chaque client demande pourquoi les chiffres ne s’additionnent pas. L’agence ajuste un modèle par client là où l’historique le permet, démarre les autres sur des benchmarks audités avec les tests à faire en premier, et présente chaque chiffre avec son étiquette. La question passe de « quel tableau de bord a raison » à « quels chiffres sont mesurés, lesquels sont projetés, et quel est le prochain test ». Le test A/B choisit la création ; le test de lift mesure le canal.