みんな検証が細かすぎる
執筆：令和瑞芳合同会社 代表 小野谷拓真
マーケティングにおいて「改善」という言葉は、基本的にポジティブな響きを持っています。
ただ、改善の粒度が小さすぎると、前に進んでいるようで実はほとんど動いていない、ということが起きます。
ページのボタンを変える。コピーを1語入れ替える。画像を差し替える。
どれも「やっている」感じはありますが、実際に事業の数字を動かす力はあるでしょうか。少なくともWebマーケ立ち上げ3年以内のフェーズにおいては、ほぼありません。
この記事は「検証の粒度」についての話です。
細かいABテストを繰り返す前に、もっと大きな単位で動いたほうがいい場面は、実はかなり多いのではないかと思っています。
本記事の構成1. 広告初月に「ボタンテキストのAB案」が飛んでくる問題2. LPを直すより、イベントに出てみよう3. サイトは「改善」ではなく「ゼロイチ」でやる場所4. 例外：すでに「指名」で選ばれている会社5. 少ないデータでも結論を出す方法はある6. 検証の粒度は、事業のフェーズで決まる
1. 広告初月に「ボタンテキストのAB案」が飛んでくる問題
広告運用を始めて最初の月。まだデータがほとんど溜まっていない段階で、こういう連絡が来ることがあります。
「LPのCTAボタンのテキスト、「今すぐ申し込む」ってどう？検証してみてほしい」。
その文言自体は、いいかもしれません。
ただ、ボタンであれば文言よりも位置をテストするほうが先決ですし、そもそもこの段階でボタンのテストをしても、得られるものはほぼありません。
月間数百セッションでは、統計的に有意な差が出ません。
CVRの差が0.2〜0.3ポイント程度の改善を検出するには、数千セッション以上は必要です。そこに到達するまでに数ヶ月かかります。
数ヶ月待って「有意差なし」と出たとき、それは「差がなかった」のではありません。
「差を検出できる設計になっていなかった」だけです。
1回のテストに変数が複数入る問題
もうひとつ多いのが、1回のテストに変数を複数入れてしまうケースです。
コピーも画像もCTAの色も同時に変えて、「Bの方がよかった」と言われても、どの変更が効いたのかは判別できません。
1回のテストでは1変数に絞る。これが基本ですが、実務を見ていると守れている現場は少ない。
なぜかというと、意思決定者が「ここも変えたほうがいいと思う。でも科学的に進めるべきだから検証追加しておいて」と言うからです。
優先順位を伝えて口答えするのも面倒なので、ABCDテストとかにするけど、本当はオーディエンスの重複とかでノイズが入りまくるから検証結果が使い物にならないのも運用者は分かってるんですよね。
施策の粒度が、そもそも小さすぎる
この話の根っこにあるのは、施策の粒度が小さすぎるということです。
ボタンの文言で動くのは、せいぜいCVR数ベーシスポイントの話です。0.03%とかですよ。
それよりも、そのLPに来ている人がそもそも正しいターゲットなのか。訴求軸がずれていないか。もっと言えば、LP以外の接点のほうが有効ではないのか。
検証すべき階層が、もっと上にあります。
2. LPを直すより、イベントに出てみよう（オフィスに閉じこもるな）
以前、ペット向け商材のマーケティングをしていたときの話です。
商品リリース前の準備期間。ディレクターの視点で、LPの構成やコピーを細かく調整する日々が続いていました。必要な作業ではありましたが、事業が大きく動いたきっかけはLPではありませんでした。
商品のリリース後、犬種限定のペット系イベントに出店する機会がありました。
そこでBtoCの直接販売だけでなく、BtoBの取引先との接点も一気に生まれました。
しかも、イベントで撮れた現場の写真の力が大きかった。その後、その写真をもとにLPを作り直すことになり、トータルではかなりの工数がかかりました。
ただ、それでよかったと思っています。
イベントに出なければ分からなかったことが、あまりにも多かったからです。
どういう人が実際に手に取るのか。どの訴求に反応があるのか。BtoBの種がどこにあるのか。そういった情報は、オフィスでLPを眺めていても出てきません。
検証の最小単位は「チャネル」であるべき
経営者やディレクターがオフィスでサイトを微調整するよりも、1回イベントに出ることで得られる情報量のほうが圧倒的に多い。そういう場面は、思っている以上にあります。
「検証」という言葉を使うのであれば、その最小単位は「ページ内の要素」ではなく「チャネル」であるべきです。
この経験から、強くそう思うようになりました。
3. サイトは「改善」ではなく「ゼロイチ」でやる場所
サイト改善が無意味だとは思いません。（私の仕事の最も重要な部分の1つですし）
ただ、サイトで成果を出すための正しい使い方は、既存ページの微修正ではないと考えています。
同じKGIのもとに新たなサイトをゼロからつくって、別の仮説をぶつけること。それがサイトの正しい使い方です。
あるBtoBの成果報酬型案件で、広告運用を任せていただいています。
クライアントには既存のLPがすでにありました。
このとき最初に着手したのは、バナーの量産ではありません。新しいLPのABテストです。
訴求やターゲットの設計を、自分の仮説でゼロから組み直しました。そのLPと既存LPを並行して広告に回した結果、新規LPのほうが成果が出ました。
既存LPの改善に何ヶ月も費やすよりも、「この訴求で、このターゲットに、この導線で」を丸ごと設計し直すほうが話は早い。
もちろん、毎回うまくいくわけではありません。
ただ、ゼロイチでつくったLPの検証から得られる情報量は、ボタン色の変更とは比較にならないほど大きい。
その後どうしたかでいうと、noteを展開し始めました。
サイトをいじるなら「攻め」に使うべきです。既存ページの微修正という「守り」に時間を使っている限り、大きな変化は起きにくい。
（ちなみに、構成→デザイン→コーディングと実装→バナーデザイン→広告運用、全部ワンストップで行いました。）
4. 例外：すでに「指名」で選ばれている会社
ここまで書いてきたことには、例外があります。
すでにブランド力や業界内の地位を確立している会社の場合です。
現在もご相談いただいている老舗の飲食店があります。何十年も同じ場所で商売を続けていて、従業員も長年勤めている方ばかりの、家族のような組織の会社です。
こういう会社に「チャネルを変えましょう」「新しいLPをゼロからつくりましょう」と提案しても、噛み合わないのは当然です。
やったことは、広告でしかPRしないメニューにを設け、広告を少し出しただけです。
それだけで、注文が目に見えて増えたとのこと。
なぜそうなるかというと、ブランドの信頼と認知がすでにあるからです。広告は、それを「思い出させる」トリガーに過ぎません。
この会社にとっての改善は、小さな差分で十分に成果が出ます。
ここが重要な点ですが、小さな差分の改善で成果が出るのは「すでに強い会社」に限った話です。
これから認知を取りにいく段階の会社が同じやり方をしても、成果にはつながりにくい。
5. 少ないデータでも結論を出す方法はある
ここまでの話は「そもそも検証の粒度を上げるべきだ」というものでした。
とはいえ、現実には細かいテストをやらざるを得ない場面もあります。サイト内での改善が必要だが、トラフィックが少ない。有意差が出るまで何ヶ月も待てない。そういう状況です。
従来のp値ベースの検定（いわゆる頻度主義の統計）では、「サンプルが足りないので、もう少し待ってください」で止まってしまいます。
ベイズ推定というアプローチ
ここで使えるのが、ベイズ推定です。
ベイズ推定は、事前の知識と実際に得られたデータを組み合わせて、「AがBより優れている確率は82%」のように確率で結果を示すことができます。
少量のデータでも途中経過として意思決定に使えるのが、この手法の強みです。
メルカリのソウゾウやDEJAMのようなABテストツールでは、すでにベイズ推定が実装されています。
ChatGPTやClaudeにPythonコードを書かせれば、自社のデータでも実行可能です。統計の専門知識がなくても、ツールやAIを使って「このテスト、もう判断していいのか」をチェックすることは、今なら十分にできます。
ABテストの有意差判定をChatGPTやClaudeに頼む場合、データを渡して「ベイズ推定で優劣を判定してください」と伝えるだけで、結論や、事後分布のグラフまで出してくれます。
ただし、順番を間違えてはいけない
これはあくまで「細かいテストをやらざるを得ないとき」の手段です。
まずチャネルの検証。次に訴求軸の検証。最後にページ内の要素の検証。
この順番を飛ばして最初からボタンの色をテストしていたら、どんな統計手法を使っても意味のある結論は出ません。
6. 検証の粒度は、事業のフェーズで決まる
結局のところ、何を検証すべきかは事業のフェーズによって変わります。
認知もチャネルも固まっていない段階であれば、検証はチャネル単位でやるべきです。 LP改善ではなく、「どこで顧客と出会うのがいちばん効率がいいのか」を探る段階です。展示会なのか、広告なのか、紹介なのか、コンテンツなのか。
チャネルが決まって、訴求がまだ定まっていない段階であれば、LPは軽めに作り、顧客、SNS広告または検索広告、流入クエリなどから得るインサイトをもとにチューニングしていきます。検証を行うならガッツリと派生したLPを作るべきです。 既存ページの微修正ではなく、まったく別のアプローチを並べて走らせる段階です。
ブランドがすでに確立している段階であれば、既存ページの小さな改善や広告の微調整で十分に数字が動きます。
「ボタンの色を変えたい」と思ったとき、自社がどのフェーズにいるのか。一度立ち止まって考えてみてください。
初期であればあるほど、検証は大きくやらないと意味がありません。