インクリメンタリティとは

インクリメンタリティの​意味

インクリメンタリティとは、​成果の​うち広告が​生んだ​部分の​ことです。​キャンペーンの​期間中に​生じた売上でも、​プラットフォームが​自らの​クリックに​割り当てた売上でもなく、​広告が​なければ​生じなかった​売上です。​それ以外、​つまり​広告が​なくても​生じていた​注文は​ベースラインに​含まれます。​それらも​広告の​成果と​して​計上すると、​その​チャネルの​効果を​過大に​評価する​ことになります。

この​考え方には​反実仮想、​つまり​広告が​なければ​何が​起きていたかが​必要です。​反実仮想は​直接観測できないため、​マーケティングに​おける​インクリメンタリティは​常に、​実際に​起きた​ことと​起きていたはずの​こととの​差の​推定であり、​その​2つ目の​数値を​どう​推定するかが​この​分野の​要点です。​作り方は​2つあります。​実験は、​残りと​同じように​振る​舞ったは​ずの​グループに​広告を​配信しない​ことで、​意図的に​それを​作ります。​モデルは、​売上を​動かした他の​すべての​要因から​メディアを​分離する​ことで、​履歴データから​それを​推定します。​どちらも​区間​付きの​増分効果を​与え、​その​区間は​答えの​一部です。

インクリメンタリティは、​売上、​注文、​会員登録、​来店など、​事業に​とって​意味の​ある​成果に​ついて、​特定の​広告費水準で​測定します。​チャネルは​「増分効果が​ある・ない」の​二択ではありません。​ある​広告費水準で、​ある​量の​効果を​加え、​その量は​広告費とともに​変わります。​限界​インクリメンタル​ROASは、​この​考え方を​平均から​次の​1円に​移した​もので、​追加で​投じる​1円あたりの​増分売上を​示し、​プランが​予算を​動かす根拠と​なる​数値です。

プラットフォームの​アトリビューションが​増分売上を​過大に​示す理由

プラットフォームの​ダッシュボードは、​広告に​配分された​売上を​報告します。​トラッキングに​よって​インプレッションや​クリックに​結び付けられ、​ルールに​従って​計上された​コンバージョンです。​複数の​プラットフォームが​同じ​ユーザーを​見て、​それぞれが​売上を​主張する​ため、​アトリビューションは​チャネル間で​重複します。​ルールには​反実仮想が​ないため、​広告が​なくても​コンバージョンしていた​顧客も​数えます。​そして、​次の​1円が​効かなくなった​後も​平均の​効果は​良好に​見える​ため、​飽和した​チャネルでも​高いままです。​各チャネルが​報告する​売上を​合計すると、​事業が​実際に​上げた売上を​上回る​ことがあります。

リターゲティングは​典型例です。​すでに​意向を​示した​人に​届く​ため、​配分された​コンバージョン率は​高く、​増分売上は​小さい​ことがあります。​指名検索も​同様です。​テレビCMが​指名検索を​生み、​検索プラットフォームは​そこから​生じた売上を​自らの​成果と​して​報告します。​どちらの​場合も、​ダッシュボードは​トラッキングした​内容に​ついて​嘘を​ついているわけではありません。​予算判断に​必要な​問いとは​別の​問いに​答えているのです。​配分された​売上は、​どの​接点が​経路上に​あったかを​示します。​増分売上は、​投じた​資金が​何を​変えたかを​示します。

インクリメンタリティを​測る​3つの​方法：​地域別リフト実験、​ホールドアウト、​較正した​MMM

地域別リフト実験。​地域別リフト実験では、​一部の​地域で​広告を​変更し、​他の​地域では​変更しません。​多くは​ホールドアウト、​つまり​対象地域で​一定期間チャネルを​停止する​形です。​変更前の​対象地域の​推移を​再現するように、​対象外の​地域を​重み付けして​組み合わせた合成対照群が​反実仮想を​与え、​実験期間中の​差が​増分効果に​なります。​個人単位の​データを​まったく​必要としないため、​オフラインチャネル、​トラッキングを​失った​チャネル、​そして​プラットフォームの​数値が​最も​信頼できない​デジタルチャネルの​効果測定の​主力です。​設計は​実施前に​確定します。​KPI、​測定しやすさで​選んだ​地域、​期間、​分析方法、​そして​実験が​検出できる​最小の​効果です。

ホールドアウト。​単位が​地域ではなく​ユーザーや​顧客の​場合は、​無作為に​選んだグループに​広告を​配信しません。​プラットフォームの​リフト調査は、​プラットフォーム自身が​無作為化を​担い、​その​プラットフォーム内で​これを​行います。​顧客リストでの​ホールドアウトは​メールやリターゲティングに、​A/Bテストは​クリエイティブや​オファーに​使います。​これらの​テストは​狭い​問いに​答えます。​その​プラットフォームの​オーディエンスに​対する、​その​広告費での​その​チャネルの​増分効果です。​チャネルを​またいで​見ることは​できず、​自らの​リフトを​測定する​プラットフォームは、​自らの​オーディエンスと​ルールの​中で​測定している​ため、​設計と​結果は​確認が​必要です。

較正した​MMM。​メディアミックス​モデルは、​集計した​履歴データから、​すべての​チャネルの​増分貢献度を​週次で​推定します。​これは​強みであると​同時に​弱みでもあります。​ミックス全体を​扱えますが、​観察データに​基づく​推定であり、​チャネルが​同時に​動くと、​当ては​まりの​良い​モデルでも​貢献度を​取り違える​ことがあります。​キャリブレーションが​その​対処法です。​地域別実験や​ホールドアウトの​実測結果を、​次回の​推定で​その​チャネルの​係数の​事前分布と​して​使う​ことで、​モデルの​曲線は​検証した点に​固定され、​曲線の​残りの​部分が​実験と​実験の​間を​埋めます。​モデルと​実験が​3分の​1を​超えて​食い​違えば、​モデルは​その​チャネルに​ついて​識別の​問題を​抱えており、​プランは​その​ことを​明記すべきです。

3つは​競合する​手法ではありません。​実験が​測定し、​モデルが​その​測定結果を​すべての​週と​すべての​チャネルに​一般化し、​次の​実験は​モデルが​最も​不確かな​場所で​行います。

インクリメンタリティの​結果の​読み方：区間が​重要

インクリメンタリティテストは​推定値と​区間を​返し、​区間は​飾りではありません。​説明の​ための​2つの​例を​挙げます。​区間が​3%から​21%の​12%の​リフトは、​テストの​条件のもとで​正の​効果を​裏付けますが、​その​大きさに​ついては​あまり​示しません。​区間が​マイナス2%から​10%の​4%の​リフトは​ゼロと​区別できず、​この​4%を​区間なしで​報告すると、​実験が​示した​以上の​ことを​主張する​ことになります。​プランには​幅を​載せ、​幅が​ゼロを​またぐ​ときは​そう​明記すべきです。

結果を​読むことは、​設計を​読むことでも​あります。​実験は​実施前に​設計されたのか、​それとも別の​理由で​行われた​広告費の​削減を​事後的に​測定したのか。​事後的な​測定にも​価値は​ありますが、​事前に​設計した​実験ではなく、​切り​替えの​時点が​明確で​ないことも、​地域が​測定しやすさで​選ばれていない​こともある​ため、​事後的な​測定と​して​区別して​報告すべきです。​介入は​実際に​行われたのか。​対象地域の​広告費は​予定日に​ゼロに​なったのか、​それとも​段階的な​削減で​境界が​曖昧に​なったのか。​広告を​変更していない​過去の​期間を​使った​時間プラセボと、​広告を​変更していない​地域を​使った​地域プラセボは​実施され、​その​結果は​報告されたのか。​そして、​プランが​確認したかった​効果を​検出できる​規模の​実験だったのか。​小さな​2地域で​3週間の​ホールドアウトでは、​非常に​大きな​効果しか​検出できません。​設計の​段階は、​資金を​投じる​前に​それを​明らかに​する​ために​あります。​そして、​切り​替えは​本物だったか。​全国単位で​買い付けた​媒体や、​地域の​境界を​越えた​波及は、​対照地域にも​影響します。

最後に、​一つの​実験が​測定するのは、​一つの​水準での​一つの​広告費の​変化です。​その​実測結果は​反応曲線上の​一点を​推定する​根拠に​なりますが、​曲線の​残りの​形は​モデルに​よる​推定です。​予算の​半分で​増分効果が​あった​チャネルが、​予算の​2倍でも​増分効果が​あるとは​限りません。

増分売上、​増分リフト、​増分価値：同じ​考え方、​3つの​言葉

概念より​語彙の​ほうが​多様です。​広告が​なければ​生じなかった​成果を​注文数で​表した​ものが​増分注文数、​売上金額で​表した​ものが​増分売上です。​増分リフトは、​反実仮想に​対する​相対的な​効果です。​12%の​リフトとは、​テストグループの​成果が、​そうでなかった​場合より​12%高かった​ことを​意味します。​増分価値は​より​広い用語で、​成果が​売上ではなく​会員登録、​来店、​顧客生涯価値である​場合に​使います。​インクリメンタルROASは、​増分売上を​その​増分を​生んだ​広告費で​割った​値です。​限界​インクリメンタル​ROASは、​追加で​投じる​1円あたりの​増分売上を​示します。

これらと​混同されやすい​用語が​2つあります。​単独の​「リフト」は、​プラットフォームが​自らの​リフト調査の​結果を​指して​使う​言葉で、​その​プラットフォームの​オーディエンスと​ルールに​限定された​インクリメンタリティの​指標です。​「アップリフト」は​モデリングの​分野では​通常、​どの​個人が​施策に​反応するかを​予測する​モデルを​指し、​チャネルが​全体と​して​どれだけの​効果を​加えるかとは​別の​問いです。​レポートに​これらの​言葉が​出てきた​とき、​役に​立つ問いは​常に​同じです。​どの​反実仮想に​対する​増分か、​どう​測定したか、​どの​広告費水準か、​区間は​どれだけか。

インクリメンタリティ、​アトリビューション、​MMMの​違い

アトリビューションは​個人単位で​働き、​観測した​各コンバージョンの​成果を、​追跡した​接点の​間で​ルールに​従って​配分します。​粒度が​細かく​速いため、​どの​キーワード、​どの​オーディエンス、​どの​クリエイティブか、と​いう​チャネル内の​最適化に​通常使われる​道具です。​測定しているのは​経路に​沿った​相関で​あって​因果ではなく、​追跡できない​ものは​見えません。​オフライン施策と、​増え続ける​追跡できない​ユーザーは​対象外です。

インクリメンタリティテストは、​一つの​チャネル、​一つの​広告費水準、​一つの​期間に​ついて、​因果関係を​直接測定します。​テストの​条件のもとで、​チャネルが​何を​引き起こしたかを​測定できる​唯一の​手法です。​限界は​コストと​範囲です。​一度に​一つの​問い、​きれいな​介入、​そして​曲線​その​ものではなく​曲線上の​一点と​いう​結果です。

MMMは​集計レベル、​つまり​週次・​チャネル単位で​オンラインと​オフラインの​両方を​扱い、​ミックス全体の​予算配分の​問いに​答えます。​観察データに​基づく​推定であり、​履歴と​変動を​必要とし、​解像度は​チャネルと​週で​止まります。​実験で​較正すれば、​少数の​実測点を、​すべての​チャネルの​プランに​変える​手法に​なります。

実務的な​組み合わせは​階層構造です。​実験が​モデルを​較正し、​モデルが​チャネル間で​予算を​配分し、​アトリビューションが​各チャネルの​中を​最適化します。​アトリビューションの​数値は、​増分ではなく​「配分された​値」と​して​読みます。​MMM​（マーケティングミックスモデリング）とはでは、​この​組み合わせの​モデル側を​詳しく​解説しています。

Kuwalyst Media Plannerでの​インクリメンタリティテストの​使い方

Media Plannerは、​最初の​プランから​実験を​提案します。​チャネルの​限界的な​効果の​幅が​広すぎて​予算​移動の​規模を​決められない​場合や、​広告費の​変動が​小さすぎて​モデルが​その​チャネルを​識別できない​場合、​Tuneビューは​幅を​狭める​地域別の​ホールドアウト実験を、​対象地域、​期間、​期待される​区間の​縮小とともに​提案します。​提案を​承認すると、​実験は​プランの​スケジュールに​載ります。​ベンチマークから​始める​ブランドの​場合、​プランは​依存している​ベンチマークを、​それが​誤っていた​場合に​予測が​どれだけ動くかの​順に​列挙し、​それぞれを​実測値に​置き換える​実験または​データ接続を​提案します。

実験の​結果は​同じワークスペースに​届き、​実測値の​タグが​付いて、​予測値の​タグが​付いた​モデルの​数値と​並び、​プランには​両方が​表示されます。​実測したインクリメンタルな​効果は、​次回の​推定で​その​チャネルの​係数の​事前分布に​なり、​上で​述べた​規律は​毎回​守られます。​設計は​実施前に​確定して​保存し、​プラセボ検定と​広告費の​確認を​実施して​報告し、​幅が​ゼロを​またぐ​増分は​「効果なしと​区別できない」と​報告します。​これは、​代理店から​自社の​地域別リフト測定の​レビューを​依頼された​ときに​Kuwalystが​適用するのと​同じ​規律であり、​ブランドが​最終的に、​どの​数値が​実測で​どの​数値が​モデルの​推定かを​言える​理由です。