Pourquoi Kuwalyst tourne sur PyMC-Marketing plutôt que Meridian

Trois bibliothèques de MMM open source, un tableau

Google Meridian, Robyn de Meta et PyMC-Marketing, maintenue par PyMC Labs et sa communauté, sont les trois bibliothèques open source qu’un marketing scientist met aujourd’hui sur sa liste pour le marketing mix modeling. On les cherche sous plusieurs graphies, Google Meridian ou Meridian Google, PyMC-Marketing ou PyMC Marketing, et la question est en général la même : quelle bibliothèque, et pourquoi. Kuwalyst tourne sur PyMC-Marketing. Cette page dit pourquoi, avec les compromis, et elle est écrite par quelqu’un qui a utilisé les trois.

	PyMC-Marketing	Google Meridian	Meta Robyn
Mainteneur	PyMC Labs et la communauté PyMC	Google	Meta
Langage et socle	Python, sur PyMC	Python ; socle JAX par défaut depuis la version 2.0, distributions TensorFlow Probability	R, avec une version Python en bêta
Estimation	Bayésienne, échantillonnage MCMC	Bayésienne, échantillonnage MCMC	Régression régularisée, recherche évolutionnaire des hyperparamètres
Où sont les a priori	Sur les paramètres structurels : adstock, saturation, coefficients	Sur le ROI par canal par défaut ; a priori sur le ROI marginal, la contribution ou les coefficients configurables, a priori structurels derrière	Pas d’a priori bayésiens ; plages d’hyperparamètres, régularisation et critères de sélection
Incertitude	Distribution a posteriori pour chaque paramètre	Distribution a posteriori pour chaque paramètre	Modèles candidats ; intervalles bootstrap sur le ROAS ou le CPA au sein de groupes ; pas de distribution a posteriori
Calibration par expériences	Les observations de tests de lift entrent dans la vraisemblance	A priori de ROI fixés d’après les expériences, avec des fenêtres de calibration	Objectif d’erreur de calibration dans la recherche de modèles
Granularité des données	Nationale ou panel (zones ou produits)	Conçu pour des données par zone, national possible	Une série temporelle ; pas d’estimation hiérarchique par zone
Structure du modèle	Un modèle PyMC que votre équipe peut lire, étendre et modifier	Spécification configurable, y compris une approche full-funnel avec médiateurs	Structure fixe avec configuration
Licence	Apache 2.0	Apache 2.0	MIT

Lisez ce tableau comme un ensemble de choix, pas comme un classement. Chaque bibliothèque décide différemment de l’endroit où vont les hypothèses et de la part du modèle que l’utilisateur est censé toucher.

Pourquoi nous avons choisi PyMC-Marketing

Le Media Planner attend trois choses de son modèle : des hypothèses que l’équipe d’un client peut inspecter, un moyen de charger des modèles construits hors de la plateforme, et un moyen de réinjecter les preuves expérimentales dans l’ajustement suivant. PyMC-Marketing lui donne un modèle de mix média bayésien écrit comme un modèle PyMC ordinaire, et Kuwalyst construit le processus de planification autour.

Les a priori sont explicites. Dans PyMC-Marketing, l’a priori sur la décroissance de l’adstock d’un canal, sur son point de demi-saturation et sur son coefficient est une distribution que l’équipe écrit dans le code et peut relire. La fiche du modèle de mix média bayésien décrit les trois niveaux que le planner utilise : des a priori forts sur la décroissance de l’adstock, modérés sur la saturation, faibles et positifs sur les coefficients. Des a priori informatifs sur la décroissance réduisent l’ambiguïté entre rémanence, saturation et coefficient sur deux ou trois ans de données hebdomadaires ; ils ne la suppriment pas, et c’est pourquoi le planner vérifie la sensibilité aux a priori et affiche des fourchettes.

La calibration a sa place dans le modèle. PyMC-Marketing peut ajouter des observations de tests de lift à la vraisemblance, leur incertitude décidant de leur poids dans l’ajustement. La boucle propre au Media Planner est plus simple et figure sur chaque page de ce site : le rendement mesuré par une expérience geo-lift devient un a priori sur le coefficient du canal à l’ajustement suivant, et quand l’estimation du modèle et le rendement mesuré diffèrent de plus d’un tiers, le plan signale un problème d’identification sur ce canal.

Le modèle est inspectable. La fiche du modèle, les a priori, les courbes de réponse et les diagnostics d’ajustement sont conservés comme des artefacts que l’équipe peut ouvrir, et la page de confiance dit où ils sont hébergés. Hajime Takeda, cofondateur de Kuwalyst, a contribué à la documentation de la bibliothèque, et les méthodes que le planner fait tourner sont celles de Marketing Science in Python, chapitre par chapitre.

Ce que Google Meridian fait bien, et là où il contraint

Meridian est une bibliothèque sérieuse, et pour certaines équipes la bonne. Il est conçu pour des données par zone géographique : un modèle hiérarchique qui ajuste les régions ensemble, ce qui extrait plus d’information des mêmes semaines quand la dépense varie d’une région à l’autre. Il peut modéliser tout canal pour lequel des données de couverture et de répétition existent, à partir de la couverture unique et de la répétition moyenne de chaque période plutôt que de la seule dépense. Ses a priori sur les médias payants s’expriment par défaut sur le ROI, le langage qu’une équipe marketing parle déjà, et peuvent passer sur le ROI marginal, la contribution ou les coefficients ; calibrer d’après des expériences revient à fixer ces a priori de ROI d’après des valeurs mesurées, avec des fenêtres de calibration pour dire quelle période l’expérience couvre. Sa spécification est configurable, y compris une approche full-funnel avec des médiateurs comme le volume de requêtes. La documentation de Google Meridian couvre en détail les hypothèses du modèle, la configuration et les diagnostics, et un programme de partenaires Google Meridian certifie des agences pour le faire tourner.

Les contraintes découlent des mêmes choix. Traduire une expérience mesurée à un niveau de dépense, sur une période, en un a priori sur toute une courbe de réponse est une décision de modélisation dans n’importe quelle bibliothèque ; dans Meridian, cette décision passe par le paramétrage en a priori de ROI et ses réglages de calibration, ce qui convient aux équipes qui raisonnent en ROI et contraint celles qui veulent placer la preuve directement sur les paramètres structurels. Les données par zone sont le centre de gravité : les ajustements nationaux sont possibles, mais une marque avec une seule série nationale et des canaux hors ligne profite moins de ce qui distingue Meridian. Le modèle se configure plutôt qu’il ne s’écrit : ce que la configuration n’expose pas suppose de modifier l’implémentation de la bibliothèque plutôt que le modèle. Et Meridian open source tourne sur un socle JAX et TensorFlow Probability, ce qui compte quand le code, les tests et les habitudes de l’équipe sont dans PyMC.

Rien de tout cela n’est un défaut. Ce sont les raisons pour lesquelles une équipe choisit Meridian. Kuwalyst a choisi PyMC-Marketing pour l’accès direct au modèle PyMC et à son paramétrage ; le chargement de modèles externes, le calendrier de recalibration et les enregistrements d’audit sont du code applicatif du Media Planner, à construire autour de n’importe quelle bibliothèque.

Robyn, en bref

Robyn est le paquet de MMM open source de Meta, écrit en R avec une version Python actuellement en bêta. Il n’échantillonne pas de distribution a posteriori. Il ajuste une régression ridge, et les hyperparamètres d’adstock et de saturation sont choisis par une recherche évolutionnaire sur des milliers de modèles candidats, notés sur l’erreur de prédiction et sur l’écart entre la part d’effet de chaque canal et sa part de dépense. Quand des expériences existent, un troisième objectif pénalise l’écart entre l’effet incrémental modélisé et l’effet mesuré. Le résultat est un ensemble de modèles candidats sur un front de Pareto ; l’analyste en choisit un, et l’étape de regroupement de Robyn fournit des intervalles bootstrap sur le ROAS ou le CPA au sein d’un groupe de candidats.

Cela rend Robyn accessible aux équipes sans pratique bayésienne : pas d’a priori explicites à écrire, même si les plages d’hyperparamètres, la régularisation et les critères de sélection encodent leurs propres hypothèses. Cela fait aussi de l’incertitude un autre objet : un intervalle bootstrap entre modèles candidats n’est pas une distribution a posteriori sur un paramètre, et un plan construit sur un modèle choisi ne porte pas la fourchette a posteriori que fournissent les deux bibliothèques bayésiennes. Pour Meridian ou Robyn, la version courte est une différence de résultat : des modèles candidats et des intervalles bootstrap chez Robyn, des distributions a posteriori chez Meridian.

Ce que cela change pour vous : auditabilité, portabilité, calibration

Auditabilité. Pour évaluer une estimation, la saturation de la télévision par exemple, l’équipe peut ouvrir les a priori, les courbes de réponse et les diagnostics d’ajustement conservés, et les étiquettes mesuré, projeté et benchmark disent d’où vient chaque chiffre du plan. Un chiffre projeté reste une sortie de modèle ; la différence est que les hypothèses derrière lui se lisent.

Portabilité. Le Media Planner peut charger des modèles construits par votre équipe ou un partenaire, si bien qu’un plan peut tourner sur un modèle existant plutôt que d’exiger un nouvel ajustement dans la plateforme. Le plan dit quels chiffres viennent de quel modèle.

Calibration. Le planner propose des expériences geo-lift dès le premier plan et utilise leurs rendements mesurés pour informer l’a priori sur le coefficient du canal à l’ajustement suivant. Le guide du marketing mix modeling explique comment les estimations du modèle et les preuves expérimentales s’articulent dans un plan.

Ce que la bibliothèque ne change pas : les données dont vous avez besoin, la discipline des expériences, ou la lecture des fourchettes. Les trois bibliothèques exigent des hypothèses défendables, des données adaptées et une validation ; leurs méthodes d’estimation et de calibration diffèrent, et ce site documente la méthode que le planner fait tourner.

Un exemple concret

L’exemple est fictif, et ses chiffres sont supposés pour l’illustration. Un distributeur achète du search payant, du social payant, de la vidéo en ligne et de la télévision, avec deux ans et demi de données hebdomadaires. Supposons que le modèle, ajusté avec les a priori par défaut du planner, estime le rendement incrémental moyen de la télévision, sur un changement comparable au test prévu, à 1,6× avec un intervalle de crédibilité à 90 % de 0,7× à 2,9× : trop large pour déplacer du budget. L’équipe mène un holdout géographique de six semaines, la télévision coupée dans un ensemble de régions, avec un contrôle synthétique construit à partir des régions non traitées.

Supposons que le test estime 2,1× de revenu incrémental par euro de télévision retiré, avec un intervalle de confiance à 90 % de 1,5× à 2,8×, sur la fenêtre du test. Dans le Media Planner, ce rendement mesuré informe l’a priori sur le coefficient de la télévision à l’ajustement suivant ; supposons que le modèle réajusté place alors la même quantité à 2,0× avec un intervalle de 1,5× à 2,6×, une sortie supposée et non une valeur calculée à partir des intervalles ci-dessus. Le plan montre les 2,0× étiquetés projetés à côté des 2,1× étiquetés mesurés, avec leurs intervalles et leurs conditions, et lit le rendement marginal à la dépense proposée sur la courbe réajustée avant tout mouvement de budget.

Chaque bibliothèque prendrait l’expérience différemment : PyMC-Marketing peut aussi la porter comme une observation de test de lift dans la vraisemblance, Meridian la traduirait en un a priori de ROI sur la télévision pour la fenêtre de calibration, et Robyn l’ajouterait à l’objectif d’erreur de calibration de sa recherche de modèles. Les trois utilisent la preuve ; chacune demande à l’analyste de vérifier que l’expérience et l’effet modélisé décrivent le même changement de dépense, la même période et la même population.