L'incrémentalité, ou ce que vos médias ajoutent vraiment

Ce que veut dire l’incrémentalité

L’incrémentalité, incrementality en anglais, est la part d’un résultat que la publicité a causée. Pas les ventes qui ont eu lieu pendant que la campagne tournait, pas les ventes qu’une plateforme a attribuées à ses clics, mais les ventes qui n’auraient pas eu lieu sans elle. Tout le reste, les commandes des clients qui venaient de toute façon, c’est la base, et un canal qui s’attribue la base paraît meilleur qu’il n’est.

L’idée a besoin d’un contrefactuel : ce qui se serait passé sans la publicité. Personne ne l’observe directement, si bien que l’incrémentalité en marketing est toujours l’estimation d’une différence, entre ce qui s’est passé et ce qui se serait passé, et toute la discipline consiste à estimer proprement ce second nombre. Il y a deux façons de le construire. Une expérience le crée à dessein, en privant de publicité un groupe qui se serait comporté comme le reste. Un modèle l’estime à partir de l’historique, en séparant les médias de tout ce qui a fait bouger les ventes par ailleurs. Les deux donnent un effet incrémental avec un intervalle, et l’intervalle fait partie de la réponse.

L’incrémentalité se mesure sur un résultat qui compte pour l’entreprise, chiffre d’affaires, commandes, inscriptions, visites en magasin, et à un niveau de dépense. Un canal n’est pas incrémental ou non ; il ajoute une certaine quantité à une certaine dépense, et cette quantité change quand la dépense change. Le ROAS incrémental marginal transpose cette idée de la moyenne à l’euro suivant : il mesure le rendement du prochain euro dépensé, et c’est le nombre sur lequel un plan déplace le budget.

Pourquoi l’attribution des plateformes surestime le revenu incrémental

Les tableaux de bord des plateformes déclarent des ventes attribuées : les conversions que leur suivi a pu relier à une impression ou à un clic, créditées selon une règle. L’attribution se chevauche entre canaux, parce que plusieurs plateformes voient le même utilisateur et que chacune revendique la vente ; elle compte les clients qui auraient converti de toute façon, parce que la règle n’a pas de contrefactuel ; et elle reste élevée sur les canaux saturés, parce que le rendement moyen continue de paraître sain longtemps après que l’euro suivant a cessé de rapporter. Additionnez les ventes déclarées par chaque canal et le total peut dépasser les ventes que l’entreprise a réellement faites.

Le retargeting est le cas d’école : il touche des gens qui ont déjà montré une intention, donc son taux de conversion attribué est élevé et son revenu incrémental peut être faible. La recherche de marque en est un autre : la télévision crée des recherches de marque, et la plateforme de search déclare les ventes qui en résultent comme les siennes. Dans les deux cas, le tableau de bord ne ment pas sur ce qu’il a suivi. Il répond à une autre question que celle dont un budget a besoin. Le revenu attribué dit quels points de contact étaient sur le parcours. Le revenu incrémental dit ce que l’argent a changé.

Trois façons de mesurer l’incrémentalité : geo-lift, holdouts, MMM calibré

Le geo-lift. Une expérience geo-lift modifie la publicité dans certaines régions et pas dans d’autres : le plus souvent un holdout, où un canal est coupé dans les régions test pendant une période fixée. Un contrôle synthétique, combinaison pondérée des régions non traitées qui reproduit l’évolution des régions test avant le changement, fournit le contrefactuel, et l’écart pendant le test est l’effet incrémental. Cela fonctionne sans aucune donnée individuelle, ce qui en fait l’outil habituel pour les canaux hors ligne, pour les canaux qui ont perdu leur suivi, et pour les canaux digitaux dont les chiffres de plateforme sont les moins fiables. Le design est fixé avant le lancement : indicateur, régions choisies pour leur mesurabilité, durée, méthode d’analyse, et plus petit effet que le test pourrait détecter.

Les holdouts. Quand l’unité est un utilisateur ou un client plutôt qu’une région, la publicité est retirée à un groupe tiré au sort. Les études de lift des plateformes le font à l’intérieur d’une plateforme, qui gère elle-même le tirage ; un holdout sur une liste de clients le fait pour l’e-mail ou le retargeting ; un test A/B le fait pour une création ou une offre. Ces tests répondent à une question étroite : l’effet incrémental de ce canal, sur l’audience de cette plateforme, à cette dépense. Ils ne voient pas d’un canal à l’autre, et une plateforme qui mesure son propre lift mesure à l’intérieur de sa propre audience et de ses propres règles, donc le design et le résultat sont à vérifier.

Le MMM calibré. Un modèle de mix média estime la contribution incrémentale de chaque canal, chaque semaine, à partir de l’historique agrégé, et c’est à la fois sa force et sa faiblesse : il couvre tout le mix, mais il est observationnel, et un modèle bien ajusté peut encore créditer le mauvais canal quand les canaux bougent ensemble. La calibration est le remède. Le résultat mesuré d’un test géographique ou d’un holdout devient un a priori sur le coefficient de ce canal à l’ajustement suivant, si bien que la courbe du modèle est ancrée au point testé et que le reste de la courbe comble les intervalles entre les tests. Quand le modèle et le test diffèrent de plus d’un tiers, le modèle a un problème d’identification sur ce canal, et le plan doit le dire.

Les trois ne sont pas rivaux. Les expériences mesurent ; le modèle généralise les mesures à chaque semaine et à chaque canal ; et l’expérience suivante va là où le modèle est le moins sûr.

Comment lire un résultat d’incrémentalité : l’intervalle compte

Un test d’incrémentalité renvoie une estimation et un intervalle, et l’intervalle n’est pas une décoration. Deux exemples illustratifs : un lift mesuré de 12 % avec un intervalle de 3 % à 21 % soutient un effet positif dans les conditions du test et dit peu sur son ampleur ; un lift de 4 % avec un intervalle de moins 2 % à 10 % ne se distingue pas de zéro, et déclarer les 4 % sans leur intervalle exagère ce que le test a montré. Le plan doit porter la fourchette et dire quand elle traverse zéro.

Lire un résultat, c’est aussi lire le design. Le test a-t-il été conçu avant de tourner, ou a-t-on mesuré après coup une coupe de dépense décidée pour d’autres raisons ? Un test rétrospectif peut valoir la peine d’être mesuré, mais il n’a pas été conçu, sa montée n’était pas propre et ses régions n’ont pas été choisies pour leur mesurabilité, donc il doit être présenté pour ce qu’il est. L’intervention a-t-elle vraiment eu lieu, la dépense dans les régions test tombant à zéro à la date prévue, ou une baisse progressive a-t-elle brouillé la frontière ? Les contrôles placebo ont-ils été faits, un placebo dans le temps sur une fenêtre antérieure où rien n’a changé, un placebo par région sur des régions non traitées, et présentés ? Et le test était-il assez grand pour voir l’effet que le plan avait besoin de voir ? Un holdout de deux petites régions pendant trois semaines ne détecte qu’un très grand effet, et l’étape de design existe pour le dire avant que l’argent soit dépensé. Et la coupure était-elle réelle ? Des médias achetés à l’échelle nationale, ou un débordement au-delà d’une frontière régionale, traitent aussi les régions de contrôle.

Enfin, un test mesure un changement de dépense à un niveau. Il ancre la courbe de réponse en ce point ; la forme du reste de la courbe vient toujours du modèle. Un canal qui était incrémental à la moitié de son budget ne l’est pas forcément au double.

Ventes incrémentales, lift incrémental, valeur incrémentale : la même idée, trois mots

Le vocabulaire varie plus que le concept. Les ventes incrémentales, ou commandes incrémentales, sont les unités causées par la publicité. Le revenu incrémental est la même chose en argent. Le lift incrémental est l’effet exprimé par rapport au contrefactuel : un lift de 12 % veut dire que le résultat du groupe test a été de 12 % supérieur à ce qu’il aurait été. La valeur incrémentale est le terme le plus large, utilisé quand le résultat n’est pas un chiffre d’affaires mais des inscriptions, des visites ou une valeur vie client. Le ROAS incrémental est le revenu incrémental divisé par la dépense qui l’a causé, et le ROAS incrémental marginal est le même ratio lu sur l’euro suivant.

Deux termes sont souvent confondus avec ceux-là. Le lift, tout seul, est ce que les plateformes appellent le résultat de leurs propres études de lift, une mesure d’incrémentalité limitée à l’audience et aux règles de cette plateforme. Et l’uplift, en modélisation, désigne d’ordinaire un modèle qui prédit quels individus réagissent à un traitement, une autre question que celle de savoir combien un canal ajoute en agrégé. Quand un rapport emploie l’un de ces mots, la question utile est toujours la même : incrémental par rapport à quel contrefactuel, mesuré comment, à quelle dépense, avec quel intervalle.

Incrémentalité, attribution ou MMM

L’attribution travaille au niveau de l’utilisateur et répartit le crédit de chaque conversion observée entre les points de contact qu’elle a suivis, selon une règle. Elle est fine et rapide, et c’est l’outil habituel pour optimiser à l’intérieur d’un canal : quel mot-clé, quelle audience, quelle création. Elle mesure une corrélation le long d’un parcours, pas une causalité, et elle ne voit pas ce qu’elle ne peut pas suivre, ce qui exclut les médias hors ligne et une part croissante des utilisateurs.

Le test d’incrémentalité mesure la causalité directement, pour un canal, à un niveau de dépense, sur une période. C’est la seule méthode qui mesure ce qu’un canal cause, dans les conditions du test. Ses limites sont le coût et la portée : une question à la fois, une intervention propre, et un résultat qui est un point sur la courbe plutôt que la courbe.

Le marketing mix modeling travaille au niveau agrégé, à la semaine et par canal, en ligne et hors ligne, et répond à la question du budget sur l’ensemble du mix. Il est observationnel, il demande de l’historique et de la variation, et sa résolution s’arrête au canal et à la semaine. Calibré par des expériences, c’est la méthode qui transforme une poignée de points mesurés en un plan pour chaque canal.

L’arrangement pratique est une hiérarchie : les expériences calibrent le modèle, le modèle répartit le budget entre les canaux, et l’attribution optimise à l’intérieur de chaque canal, ses chiffres étant lus comme attribués, pas comme incrémentaux. Le pilier marketing mix modeling détaille le versant modèle de cet arrangement.

Comment le Media Planner Kuwalyst utilise les tests d’incrémentalité

Le Media Planner propose des expériences comme recommandations, dès le premier plan. Quand la fourchette marginale d’un canal est trop large pour dimensionner un mouvement de budget, ou quand sa dépense n’a jamais assez varié pour que le modèle l’identifie, la vue Tune propose le holdout géographique qui la resserrerait : les régions, la durée et le resserrement attendu de l’intervalle. Accepter la recommandation place l’expérience sur le calendrier du plan. Pour une marque qui démarre sur des benchmarks, le plan liste les benchmarks dont il dépend, classés selon ce que la projection bougerait s’ils étaient faux, et propose le test ou la connexion de données qui remplacerait chacun par une valeur mesurée.

Le résultat arrive dans le même espace de travail, étiqueté mesuré, à côté du chiffre du modèle étiqueté projeté, et le plan montre les deux. Le rendement incrémental mesuré devient un a priori sur le coefficient du canal à l’ajustement suivant, et la discipline décrite plus haut s’applique à chaque fois : le design est fixé et conservé avant le lancement, les contrôles placebo et le contrôle de la dépense sont faits et présentés, et une hausse dont la fourchette traverse zéro est signalée comme indiscernable d’un effet nul. C’est la même discipline que Kuwalyst applique quand des agences lui demandent de revoir leur propre mesure geo-lift, et la raison pour laquelle les marques peuvent dire, à la fin, lesquels de leurs chiffres ont été mesurés et lesquels modélisés.