地域別リフト実験
広告を停止する地域と、継続する類似地域を比較する実験です。
ユーザー単位の追跡ができない場合でも純増効果を測り、その実測結果でMMMを較正できます。
8 分で読めます · 更新日 2026年9月7日
横にスクロールして図全体をご覧いただけます。
テスト地域で広告を停止し、期間中の差から純増効果を測ります。
図ではKPIが約14％低下しています。
どのような手法か
一部の地域で広告を変え、ほかの地域では変えず、事業成果の差を測ります。地域単位で比較するため、個人の追跡データは不要で、地域別・週別の売上と広告費で実施できます。無作為化する設計では、個人ではなく地域を割り当てます。
一般的なのは、一定期間チャネルを停止するホールドアウトです。測定には、未介入地域を重み付きで組み合わせ、介入前のテスト地域を再現する「合成対照」を使うことがあります。実験期間中の両者の差が、推定される純増効果です。
メディアプランに必要な理由
MMMは観測データによる推定です。チャネルが同時に動くと、よく適合していても効果を別のチャネルに割り当てる場合があります。適切に設計した実験は、因果効果を比べる基準になります。モデルと実験が大きく、たとえば3分の1以上食い違う場合は、そのチャネルの識別に問題がないか確認すべきです。
地域実験の結果は、実測値として他の推定を確かめる基準になります。ただし実測値も、区間と実験の限界を併せて読む必要があります。
仕組み
開始前に設計を固定します。KPI、候補地域、期間、分析手法を決め、事前データから各設計の最小検出可能効果を計算します。必要な効果を十分な検出力で捉えられない実験は実施しません。
地域は測りやすさで選びます。過去の動きを他地域で再現できることが重要です。独自の動きをする地域は、規模が大きくても適切な合成対照を作りにくくなります。
介入日は明確にします。決めた日に出稿を開始・停止します。事前に徐々に減らすと、通常期間と介入期間の境界があいまいになります。
固定した設計で測定します。事前期間に合成対照を合わせ、実験期間へ延長して差を読みます。さらに、何も変えなかった過去期間の時間プラセボと、未介入地域の地域プラセボを行い、両方を報告します。ベイズ構造時系列など、別手法でも補助的に確認します。
結果には、KPIの純増効果、区間、削減・追加した広告費、そこから得られるリターンを示します。この実測値を次回の学習で事前分布に取り込み、モデルを較正します。
Kuwalystでの使い方
Media Plannerは、最初のプランから実験を提案します。限界リターンの区間が広く、予算移動の規模を決められない場合、Tuneが対象地域、期間、期待される区間の縮小を示します。承認すると実験が計画に入り、結果も同じワークスペースに保存され、次の学習に反映されます。
開始前の設計保存、時間・地域のプラセボ、事前期間の適合、実際に出稿変更が行われたかの確認を、毎回実施・報告します。代理店から測定の独立レビューを依頼された場合も、同じ基準を使います。
注意点
事後的な分析：別の理由で行った予算削減を後から測ることには意味があります。ただし、実験として設計されず、切り替えが不明確で、地域も測定のために選ばれていない可能性があります。その条件を明示します。
季節的な期間：夏季や祝日前後には、テスト地域と対照地域の動きが変わり、プラセボ誤差が数倍になることがあります。日程を決める前に確認します。
対照への影響：全国広告や地域をまたぐ波及によって、対照地域にも介入が届くことがあります。切り替えを分離できるチャネルと地域を選びます。
規模不足：小さな2地域で3週間のテストを行っても、非常に大きな効果しか見えません。費用をかける前に設計段階で把握します。
1回の実験は曲線全体ではありません。特定水準での広告費変更を測り、曲線のその点を支えます。残りの形はモデルに依存します。
製品での活用例
仮説、施策、限界リターンの区間がどれだけ狭まるかを示す。