アトリビューション分析と​MMM、​どちらを​使うべきか

3つの​手法を​一つの​表で

アトリビューション分析と​MMMの​比較は、​多くの​効果測定チームが​最初に​行う​もので、​インクリメンタリティ測定は​その​2つが​食い​違う​ときに​決着を​つける​3つ目の​手法です。​3つは​異なる​問いに、​異なる​レベルで、​異なる​種類の​根拠で​答えます。​手法を​選ぶことは、​答えが​必要な​問いを​決める​ことから​始まります。

	マルチタッチアトリビューション​（MTA）	マーケティングミックスモデリング​（MMM）	インクリメンタリティ測定
単位	追跡した​経路上の​ユーザー	週次・集計レベルの​チャネル	介入した​地域、​ユーザー群、​店舗群と、​介入しなかった​群
測る​もの	各コンバージョンの​前に​どの​追跡接点が​あったか。​ルールで​配分	期間中に​各チャネルが​売上に​加えた量と、​次の​1円の​効果の​推定値	広告の​一つの​変更が、​ある​広告費水準・​ある​期間に​引き起こした​こと
必要な​もの	接点の​個人単位の​トラッキング	2〜3年分の​チャネル別週次広告費、​売上、​外部要因と、​広告費の​変動	明確に​定義した​介入、​比較可能な​群、​効果を​検出できる​規模
オフライン施策	見えない	見える	単位が​地域なら​見える
因果関係	なし。​経路に​沿った​相関	観察データに​基づく​推定。​較正が​必要	あり。​実験の​条件のもとで
遅延	毎日	推定に​数週間。​実験結果が​出る​たびに​再推定	実験に​数週間。​答えられる​問いは​一つ
最適な​用途	チャネル内の​最適化：キーワード、​オーディエンス、​クリエイティブ	チャネル間の​予算配分	テストの​条件のもとでの​チャネルの​増分効果の​測定と、​モデルの​較正
典型的な​失敗	どのみち購入していた​人に​届く​チャネルの​過大評価	チャネルが​同時に​動く​ときの​貢献度の​取り違え	小さすぎる・短すぎる​実験、​または​実験と​して​設計されていない​削減の​測定

列は​どれか​一つを​選ぶための​選択肢ではありません。​3つの​計器であり、​どれか​一つが​欠けた​測定体制には、​たいてい残りの​2つでは​埋められない​死角が​あります。

マルチタッチアトリビューション：何を​測り、​何を​見落とすか

マルチタッチアトリビューションは、​トラッキングで​見える​接点を​またいで​個人を​追い、​コンバージョンごとの​成果を​ルールに​従って​接点の​間で​配分します。​ラストクリック、​線形、​時間減衰、​ポジションベース、​あるいは​経路データで​学習した​データドリブンの​重み付けです。​粒度が​細かく、​毎日​使え、​プラットフォームや​分析ツールに​組み込まれています。​チャネルの​中で​2つの​キーワード、​2つの​オーディエンス、​2つの​クリエイティブの​どちらを​選ぶかには、​通常​使われる​計器です。

見落と​すものは​構造的です。​追跡できる​ものしか​見えないため、​テレビCM、​ラジオ、​屋外広告、​新聞雑誌は​対象外で、​同意ルールと​トラッキング制限に​よって​経路から​外れる​ユーザーも​増え続けています。​数えているのは​経路に​沿った​相関で​あって​因果ではありません。​コンバージョンの​前に​現れた​接点は、​それが​なくても​コンバージョンが​起きていたか​どうかに​かかわらず​成果を​得ます。​リターゲティングと​指名検索が​アトリビューションで​良く​見えるのは​その​ためです。​そして、​ルールは​観測された​接点の​間でしか​成果を​分けず、​観測されなかった​接点には​配分しないため、​全チ​ャネルの​配分された​売上を​合計すると、​事業が​実際に​上げた売上を​上回ります。​マルチタッチと​シングルタッチの​選択は​ルールの​選択に​すぎず、​どの​ルールも​反実仮想を​加えません。

予算判断に​必要な​問いに​ついては、​MMMと​アトリビューションの​比較に​接戦は​ありません。​アトリビューションモデルは、​チャネルが​何を​加えたかではなく、​何に​触れたかしか​示せません。

MMM​（マーケティングミックスモデリング）：何を​測り、​何を​見落とすか

メディアミックス​モデルは、​週次の​売上を、​ベースラインと​各チャネルの​貢献度の​合計と​して​説明します。​効果の​持ち越しを​表すアドストックと、​収穫逓減を​表す飽和を​広告費に​適用し、​価格、​販促、​季節性などを​外部要因と​して​組み込みます。​集計データで​働き、​個人の​トラッキングを​必要と​せず、​デジタルと​並んで​オフライン施策も​扱える​ため、​チャネル間で​予算を​配分する​ための​計器に​なります。​チャネルごとの​出力は​反応曲線で、​現在の​広告費に​おける​その​曲線の​傾き、​つまり​限界​インクリメンタル​ROASが、​プランが​予算を​動かす根拠と​なる​数値です。

見落と​すものは、​その​仕組みから​生じます。​観察データに​基づく​推定なので、​2つの​チャネルが​常に​同時に​動くと、​当ては​まりの​良い​モデルでも​貢献度を​取り違える​ことがあります。​第4四半期には​誰もが​広告費を​増やします。​履歴と​変動を​必要とし、​通常は​2〜3年分の​週次データが​要ります。​広告費が​一度も​変わっていない​チャネルは、​そも​そも​識別できません。​解像度は​チャネルと​週で​止まり、​クリエイティブや​キーワードは​選びません。​そして、​観測した​広告費の​範囲を​超えた​曲線は​外挿です。​メディアミックス​モデルと​アトリビューションモデルの​関係は​競争ではなく​分業ですが、​死角が​一つ​残ります。​モデル自身の​貢献度の​割り​当ては、​因果関係を​測る​何かで​検証しなければなりません。

インクリメンタリティ測定：何を​測り、​何を​見落とすか

インクリメンタリティテストは、​反実仮想を​意図的に​作り出します。​一部の​単位に​広告の​変更を​適用し、​比較可能な​単位には​適用せず、​成果の​差が​区間とともに、​その​変更が​引き起こした​ことを​示します。​個人データなしで​機能する​単位が​地域です。​地域別リフト実験では、​一部の​地域で​チャネルを​停止または​増額し、​他の​地域から​作った合成対照群との​差を​読み取ります。​プラットフォームの​リフト調査、​顧客リストでの​ホールドアウト、​A/Bテストは、​一つの​プラットフォームや​一つの​リストの​中で、​同じ​ことを​個人単位で​行います。

測る​ものは、​他の​2つには​測れない​唯一の​もの、​実験の​条件のもとでの​因果関係です。​見落と​すものは、​その​条件の​外に​ある​すべてです。​一つの​実験は、​一つの​チャネルに​ついて、​一つの​広告費水準で、​一つの​期間に​ついて、​一つの​問いに​答えます。​反応曲線上の​一点であって​曲線ではありません。​費用と​時間が​かかり、​明確に​定義した​介入と、​プランに​とって​重要な​効果を​検出できる​規模が​必要です。​別の​理由で​行われた​広告費の​削減は、​事後に​分析しても、​設計された​実験には​なりません。​そして、​自らの​リフトを​測定する​プラットフォームは、​自らの​オーディエンスと​ルールの​中で​測定しています。​その​意味で、​リフトと​インクリメンタリティの​違いは、​プラットフォームの​数値と​設計された​実験の​数値の​違いです。

どれを、​いつ​使うか：​私たちの​見解

3つすべてを​階層構造で​使い、​どれにも​他の​手法の​仕事を​させない​ことです。

実験が​モデルを​較正します。​地域別実験や​ホールドアウトで​測定したリターンを、​次回の​推定で​その​チャネルの​係数の​事前分布と​して​使い、​モデルと​実験が​3分の​1を​超えて​食い​違えば、​それは​その​チャネルの​識別の​問題を​示すシグナルであり、​プランは​そう​明記すべきです。​次の​実験は、​モデルが​最も​不確かな​場所、​つまり​幅が​広すぎて​判断できない​チャネルや、​広告費が​変動した​ことの​ない​チャネルで​行います。

モデルが​チャネル間で​予算を​配分します。​オンラインと​オフラインを、​週次で、​幅付きの​限界​インクリメンタル​ROASに​基づいて​配分し、​まだ​依存している​ベンチマークを​列挙して​順位付けします。​MMMかインクリメンタリティかは​選択ではありません。​一方が​測定した​ものを、​他方が​一般化します。

アトリビューションが​各チャネルの​中を​最適化します。​キーワード、​オーディエンス、​クリエイティブを、​増分ではなく​配分された​値と​して​読んだ​数値で​最適化します。​インクリメンタリティと​アトリビューションが​対立するのは、​アトリビューションの​数値で​チャネル間の​予算を​動かそうと​する​ときだけです。​チャネルの​中では、​それは​最も​速い​シグナルです。

見解を​一言で​いえば、​アトリビューションと​インクリメンタリティの​違いは​数値が​何を​意味するかの​違いであり、​プランは​どちらが​どちらかを​示さずに​2つを​混ぜてはならない、と​いう​ことです。​Kuwalystの​プランの​すべての​数値に​実測値・予測値・ベンチマークの​区分が​付き、​Media Plannerが​プラットフォームの​数値を​配分された​値と​して​読み、​モデルに​基づいて​予算を​配分するのは​その​ためです。

3つの​短い​事例

3つの​事例は​架空の​もので​単純化しており、​小売業者、​D2Cブランド、​広告代理店は​いずれも​Kuwalystの​クライアントではありません。

テレビCMと​検索広告を​運用する​小売業者。​アトリビューションは​売上の​大半を​指名検索に​配分します。​2年分の​週次データで​推定した​モデルは、​テレビCMが​指名検索の​量の​一部を​説明している​ことを​見つけ、​ダッシュボードには​一度も​現れなかった​限界的な​効果を​テレビCMに​与えます。​チームは​テレビCMに​ついて​6週間の​地域別ホールドアウト実験を​実施します。​測定したリターンは​モデルの​幅の​中に​収まり、​モデルは​それを​事前分布と​して​再推定され、​次の​プランは​飽和していた​検索広告から​テレビCMへ​予算を​移します。​アトリビューションの​役割は​変わりません。​検索キーワードを​選ぶことです。

SNS広告だけを​運用する​D2Cブランド。​支配的な​チャネルが​一つで​履歴が​18か月では、​メディアミックス​モデルは​事前分布を​そのまま​返します。​チームは​モデルを​飛ばし、​プラットフォームの​リフト調査を​行い、​次に​リターゲティングに​ついて​顧客リストでの​ホールドアウトを​行います。​リターゲティングの​リフトは​ゼロと​区別できないため、​チームは​その​増額を​やめ、​次に​新規顧客の​獲得を​検証します。​モデルは、​2つ目の​チャネルと​あと​1年分の​データが​そろってからです。

同じ​プラットフォームで​12社の​クライアントを​担当する​広告代理店。​アトリビューションは​各クライアントの​ダッシュボードが​示すもので、​どの​クライアントも、​なぜ数値が​合計と​合わないのかと​尋ねます。​代理店は、​履歴が​許すクライアントには​クライアントごとの​モデルを​推定し、​他の​クライアントは​検証済みベンチマークと​最初に​行う​実験から​始め、​すべての​数値を​区分​付きで​報告します。​問いは​「どの​ダッシュボードが​正しいか」から​「どの​数値が​実測で、​どれが​予測で、​次の​実験は​何か」に​変わります。​A/Bテストが​クリエイティブを​選び、​リフト測定が​チャネルを​測ります。