A/Bテスト実践ガイド　真のデータドリブンへ至る信用できる実験とは (アスキードワンゴ)

この本について

A/Bテストって、やればやるほど「ちゃんと測れているのか…？」という不安が出てきませんか。ページレベルの指標がユーザー内で相関していて分散がズレるとか、短期で動く数字と本当に追いたい長期の指標がつながっているのかとか、現場でモヤっとしがちな部分ほど誰も明確に答えてくれないまま進んでしまう感じがあります。 この本は、その曖昧さに踏み込んでくれる珍しいタイプで、「なぜその計測が難しいのか」をちゃんと地に足つけて説明してくれます。たとえば、短期で観測できるメトリクスが長期目標に因果的につながっているかどうかをどう検証するかとか、ユーザー内相関を無視したときにどれだけバイアスが乗るのかといった、普段は後回しになる部分を丁寧に解いてくれます。また、ログインユーザーだけで評価すると一般化できない問題や、モデル学習による情報リークのリスクなど、実際のプロダクト環境で起きる“現実の罠”についてもかなり具体的に触れています。 読み進めるほど、A/Bテストを「回す」ことよりも、「判断できる状態をどう作るか」の方がよっぽど大事だと気づかされます。メトリクスをゲーム化しない工夫や、長期ホールドアウトを検討すべきケースなど、地味だけど意思決定を支える基礎体力のような話が多く、そのぶん実務では効きます。 自分と同じように、数字を見ているはずなのにどこか確信が持てない人、あるいはA/Bテストが“形骸化してきた”と感じている人に特に刺さると思います。