「因果関係があるように見える」のと「因果関係がある」のは、大違い：データ活用のための思考術

中だるみを感じる水曜日を乗り越えようとしている皆さまに向けて、今週もデータ活用のための思考術をお届けします。「データを活用しよう」という掛け声に乗ってデータをそろえたものの、そこで足踏みしていませんか。実際の仕事に使うためには、データから何をどのように読み取るべきでしょうか。

[永田豊志，ITmedia]

この連載について

　今やデータ分析はアナリストや研究者、コンサルタントだけでなく、一般のビジネスパーソンにも広く求められるスキルの一つとなっています。

　「そうは言っても、何から手を付ければ良いか分からない」「意気込んでデータ活用の本を買ってみたものの、“積読”（つんどく）になっている」という方に向けて、“やる気をスキルに変えるための思考術”をお届けします。

　「思考なんて回りくどいものではなく、データ活用を実践するためのツールを教えてほしいんだ」とおっしゃる方にこそお薦めしたい連載です。目まぐるしく新製品が登場したりアップデートが繰り返されるツールを上手に活用するためにも、一度身に付ければなかなかさびることのない思考方法に接することで、スキルとともにご自身の仕事の進め方も少しずつアップデートできるすべが見つかるかもしれません。

「データ活用のための思考術」のバックナンバーはこちら。

　ITmedia エンタープライズの読者の皆さん、こんにちは。

　前回、前々回は「売り上げを上げろ」、「顧客ニーズを正確に把握せよ」といったデータ活用の目的が明確な状態で、そのゴールにたどりつくために何を考えるべきかを書いてきました。

　今回は「そろったデータから何をどのように読み取るか」についてお話ししましょう。

その因果関係、ホンモノですか？

　一般的に、観測した結果から何か統計的な傾向をつかむ場合には、注意が必要です。例えば、「赤ワインにはガンの抑制効果がある」という話もそうです。

　観測者が対象者の実際の食生活やライフスタイルを全て確認することは、現実的ではありません。原因と結果の因果関係を調べるには、途方もない時間がかかります。そのため、一般的には対象者自身が習慣や健康状態を観測者に告知することがベースとなります。思い込みや記憶違いといったバイアスの影響を多分に受けることになるのです。

　赤ワインの話で言うと、赤ワインを飲む人、飲まない人には赤ワイン以外にもたくさんの違いが存在する点に注意すべきです。例えば、赤ワインを飲む人の中には、経済的な余裕があり、栄養価の高い豊かな食生活を送る人も含まれていることが容易に想像できます。

　このように、バイアスや混合する他の要因の影響を受ける中で、観測データから因果関係を導くのはとても大変です。

　相関分析や回帰分析など複雑系のいろいろな統計テストが存在していますが、操作が複雑なことに加え、その後のアクションが一筋縄ではいかない難しさがあります。

「A／Bテスト」で解決できること　注意すべきこと

　一方で、筆者が属しているオンラインマーケティングやWebの領域では、シンプルな「A／Bテスト」が主流になっています。

　A／Bテストとは、Webデザインや広告キャッチコピーの取捨選択や改善を目的として、実際のユーザーを使って実施される手法です。

　通常は、2つのバリエーションを作り、それを無作為に表示させ、成約率やクリック率などのパフォーマンスがどの程度変化するかを比較します。

　前述した、さまざまな観測主導のテストなどに比べて、現実的でスピーディーに結果が得られるのが最大の利点です。結果に対する解釈が簡単な点も、この手法が優れているポイントです。

　バリエーションを追加してA／Bテストを繰り返し行うことで、さらなる段階的改善を図ることもできます。

　このようにA／Bテストのメリットは非常に大きい半面、幾つか注意が必要です。

1. 変更する要素はできるだけ単一にすること：可変要素が複数ある場合、どの要素が効果に影響を与えたかが判断しにくくなり、テスト結果の解釈が難しくなります
2. サンプル数の確保とサンプル条件の同一化：サンプルが少なければ当然、テストの信頼性が下がってしまいます。また、サンプル期間に影響を与えるイベントやキャンペーンがあったり、結果に影響を与える別因子があったりすると正確に比較することが難しくなります
3. テスト結果の分析と再テスト：何がどのように働いて、実際のユーザー行動に差を生じさせたのか、その洞察が重要です。それを基に「それなら、もっとここを強調すればもっと良い効果になるはず」という仮説を立てて、さらなるA／Bテストを実施して仮説が実証されるかどうかを測ります

　上記の点に注意しつつ戦略的にテスト計画を練ります。進め方は次のようなイメージです。

1. 目的：ECサイトの成約率を向上させるために、メインヘッダーのデザインを改善する。
2. 仮説：メインヘッダーのコピーをターゲット顧客のニーズを明確にしたものにすることで、クリック率、成約率が向上すると仮定。
3. テスト要素：メインヘッダーのデザイン（ロゴの位置、色合いなどのスタイル、コピーのバリエーションなど）
4. サンプル設定：1週間で各バリエーションについて1000人の訪問者を想定
5. テストの実施：メインヘッダーのバリエーションAとBを作成し、それぞれの要素を変更する。AグループとBグループにランダムに割り振り、2週間の期間中、訪問者にそれぞれのバリエーションを見せる（A／Bテストツールを利用）
6. データ収集と分析：1週間後にクリック率や成約率、その他の指標を分析し、どちらのバリエーションがより効果的かを判断する。また、どの要素が最も影響を与えたかを分析する
7. 改善：テスト結果に基づいて、最も効果的なバリエーションを選択し、Webサイトに反映する

　大規模なキャンペーンなどでは、そのパフォーマンスを最大化させてコストを抑えるためにも、事前に小規模のA／Bテストを実施することで、ベストなコンテンツの組み合わせでスタートすることが可能になるでしょう。

A／Bテストの限界とは

　ただし、A／Bテストにも限界があります。

　何度もA／Bテストを繰り返したからといってパフォーマンスが青天井に上がるわけではありません。当然、限界値があります。

　かつて広告バナー制作の達人が「A／Bテストでちまちま数ポイント改善するよりも、魅力的な異性をバーンと掲載すれば桁違いに改善するんだよ」と言っており、実際、その時彼が手掛けていた広告ではその通りの結果が出ました。

　つまり、A／Bテストの限界とは現在の構成要素での限界です。大幅に改善するためには抜本的に要素を組み替える必要があるのです。

　AI（人工知能）やA／Bテストツールは、既存構成要素のベスト解は出せても課題を定義し直して全く新しいアプローチをするという点において人間には敵わないでしょう。

　「ChatGPT」など生成系AIが毎日のようにニュースに取り上げられている昨今ですが、人間の洞察力によってこそ可能な改善や魅力付けといった上流工程は、まだまだ残っていると筆者は思います。

今回のまとめ

1.「因果関係がある」ように見えるものが因果関係ではない可能性も：バイアスや混合する他の要因が存在する中で、観測データから因果関係を導くのは大変

2．段階的改善には「A／Bテスト」が有効：結果に対する分析が簡単なため、スピーディーに結果が得られる

3.ただし、A／Bテストにも限界がある：大幅な改善や魅力付けのためには抜本的に要素を組み替える必要あり

著者紹介　永田豊志（ながた・とよし）

知的生産研究家、起業家、上場企業の経営者。現在、DX支援クラウドを提供する株式会社ショーケース（東証3909）とリユースモバイル事業を運営する日本テレホン株式会社（東証9425）、2社の上場企業の経営者。

企業経営と並行し、新規ビジネス開発、働く人の生産性向上をライフワークとした執筆、講演活動などを行う。

自著に『知的生産力が劇的に高まる最強フレームワーク100』（ソフトバンククリエイティブ刊）、『頭がよくなる「図解思考」の技術』（中経出版刊）、『会社では教えてもらえない仕事がデキる人の資料作成のキホン』（すばる舎刊）がある。

著書一覧：https://www.amazon.co.jp/s?k=%E6%B0%B8%E7%94%B0%E8%B1%8A%E5%BF%97

連絡先： [e-mail]

Webサイト： www.showcase-tv.com、https://www.n-tel.co.jp