ナンバーセンス ビッグデータの嘘を見抜く「統計リテラシー」の身につけ方

『ヤバい統計学』著者最新刊！

世の中おかしな分析だらけ。

＊レストランの集客にクーポンは役立つ？
＊失業率の増減を実感できないのはなぜ？
＊ダイエットできるかどうかは統計次第？

その統計を信じるな！

大学ランキング、肥満、クーポン、
失業率、フットボール、物価……。
身近なエピソードを題材に、複雑な統計を
やさしく“解きほぐす”。
どれが正しい分析で、どれが間違った分析なのか。
ビッグデータ時代に必須の統計リテラシーは、
誰にでも身につけられる。

「ビジネスから、政治、医療、教育まで、
刺激的なストーリーで
分析の落とし穴を明かしてくれる」
――エリック・シーゲル（『ヤバい予測学』著者）

「ビッグデータのサイズではなく
分析こそが重要なのだという主張は正しい」
――トーマス・H・ダベンポート（バブソン大学教授）

「この最高に楽しくて有益な本から多くを学んだ。
これは本当にお薦めだ！」
――トム・ピーターズ（『エクセレント・カンパニー』著者）

（前略）

ビッグデータの時代には、より多くの分析が生まれると同時に、問題のある分析も多くなる。専門家や数字の天才と言えども完ぺきはありえない。そして問題のあるデータは、よからぬ輩が悪意をもってあおるだけでなく、善意のアナリストも騙されかねない。データがあふれるこの世界で、消費者はことさら数字を見抜く力を磨かなければならないのだ。

データは理論に正当性を与える。ただし、正しい分析も間違った分析も、すべて何らかの理論にもとづいている。

（中略）

変数の種類が増えれば増えるほど、もっともらしい分析が幾何級数的に増え、誤差や矛盾が生じる可能性もそれだけ増える。データの量が多ければ、議論や検証、調整、反復可能性の計測などに要する時間は必然的に増え、それだけ疑問や混同が生じる。ビッグデータは、私たちを前進させるのではなく後退させかねないのだ。問題のあるデータをかき集めれば、問題のある理論が裏づけられ、正しい理論がかき消されて――科学が暗黒の時代に逆戻りするかもしれない。

ビッグデータはすでに現実であり、今後も多大な影響を及ぼすだろう。少なくとも、私たちの誰もがデータ分析を消費している。だからこそ、より賢い消費者にならなければならない。そのためには統計のリテラシー、すなわち「ナンバーセンス」が必要なのだ。

問題のあるデータやアナリストを見たときに、何かが違うと感じる。それがナンバーセンスだ。ナンバーセンスは、真実に近づきたいという欲望と粘り強さでもある。自分の分析がどこから生まれ、どこに向かうのかを理解する。手がかりを集め、罠を見抜く。どこで引き返し、どこで突き進めばいいかを見きわめる知恵であり、立ち止まる分別だ。ナンバーセンスがある人は、曲がり角を間違える回数を最小限にしてゴールにたどり着く。ナンバーセンスがない人は迷路で途方に暮れ、永遠にゴールを見つけられないだろう。

私がデータ分析の専門家に求める第一の資質は、ナンバーセンスだ。ナンバーセンスがあるかないかで、単に優秀なアナリストか、それとも真の才能あるアナリストなのかが決まる。データ分析には、ほかにも技術的な能力とビジネス的な思考力という二つの資質が求められる。統計モデルのプログラミングの天才でも、ナンバーセンスが欠けているかもしれない。点を線で結んでストーリーを語る達人でも、ナンバーセンスはないかもしれない。ナンバーセンスを加えた三次元の才能が必要なのだ。

ナンバーセンスを従来の学校教育で教えるのは難しい。一般原則はあるが、詳しいマニュアルは存在しないのだ。公式では表せないし、教科書の事例を現実社会に当てはめることもできない。学校の授業は、現場のアナリストが時間を費やして分析する要素を切り離し、一般的な概念を抽出する。したがって、ナンバーセンスを育む最善の方法は、統計の現場に出て学ぶことだ。

この本が、そのきっかけになってほしいと願っている。最近注目されている統計の話題に疑問を投げかけ、整合性を確認し、データによる定量的な説明を試み、ときには関連するデータを入手して分析しながら、それぞれの主張を検証していく。共同購入クーポンサイトのグルーポンのビジネスモデルは合理的なのか。名門ロースクールは学校ランキングでちょっとしたズルをしたのか。ファンタジー・スポーツの成績はどのように評価すればいいか。企業が個人の行動を追跡してマーケティングをパーソナライズすると、私たちは何か恩恵を受けるのだろうか。

専門家もデータの罠にはまる。この本で私が罠にはまっているとしたら、すべて私個人の責任だ。そして、私の説明が十分でないとしても、データを分析する方法はひとつだけではない。あなたも自分なりの視点で捉えてほしい。そのような訓練を重ねて、ナンバーセンスが磨かれるのだから。

ビッグデータの時代へようこそ！

プロローグ

第１部　ソーシャルデータ

１　なぜロースクールの学長はジャンクメールを送り合うのか？

１　ランキングの「精度」
２　欠損値の魔法
３　中央値のマジック
４　就職統計のゲーム
５　サバイバルゲームと密約
６　連座制
７　不況知らずのロースクール
８　法律ポルノ
９　ドーピングをしても勝てない場合

２　違う統計を使えばあなたの体重は減るだろうか？

１　アメリカのアキレス腱
２　ＢＭＩの幻想
３　判定基準の裏切り
４　何が問題なのか
５　本当の問題は何か
６　リバウンドの罠

第２部　マーケティングデータ

３　客が入りすぎて倒産するレストランはあるか？

１　利益と損失の微妙な境界線
２　「もし○○だったら」
３　顧客セグメントを分析する
４　タダより高いものはない

４　クーポンのパーソナライズは店舗や消費者の役に立つか？

１　的外れのクーポン・メール
２　失敗の喜び
３　プラダを着た悪魔の推理
４　ターゲットはどこに
５　新規の客を獲得せよ
６　グルーポンのターゲティング
７　成長の苦しみ

５　なぜマーケターは矛盾したメッセージを送るのか？

１　特大のバッグで妊娠がバレる
２　企業はあなたの何を知っているのか
３　種々雑多なメッセージを送信する
４　ビッグデータは救世主なのか

第３部　エコノミックデータ

６　失業率の増減をあなたが実感できないのはなぜか？

１　巧みな噓
２　季節調整のスパイス
３　この魚は腐っている
４　古き良き政治と統計
５　コンピュータの想像の産物

７　誰がどうやって物価の変動を見極めているのか？

１　見えるものと見えないもの
２　平均化されたくない
３　コア・インフレ率
４　掘って、掘って、掘りまくれ
５　平均への畏怖

第４部　スポーツデータ

８　コーチとＧＭどちらが勝敗のカギを握るか？

１　統計学者をキッチンに招く
２　ファンタジーの世界で夢をかなえる
３　コーチの第一印象
４　コーチの統計学的印象
５　コーチがＧＭの助言を無視する
６　コーチの足かせ
７　運という要因
８　データの「レシピ」を公開

エピローグ

１　人生の３時間を費やした難題
２　３日間で６０００語を処理する

謝辞
訳者あとがき
参考文献

［著者］
カイザー・ファング（Kaiser Fung）
統計的手法を広告やマーケティングに適用する統計のプロフェッショナル。10年を超えるキャリアをもつ。ニューヨーク大学非常勤教授。プリンストン大学とケンブリッジ大学を卒業し、ハーバード・ビジネススクールでMBA（経営学修士号）を取得。ブログJunk Chartsは、マスメディアに登場するデータやグラフィックの批判的検証という新しい研究領域を切り開いたとして高く評価されており、ファンも多い。著書に『ヤバい統計学』（CCCメディアハウス）がある。
www.kaiserfung.com

［訳者］
矢羽野 薫（やはの・かおる）
千葉県生まれ。慶應義塾大学卒。主な訳書に『ヤバい統計学』、『ヤバい予測学』（以上、CCCメディアハウス）、『マイクロソフトでは出会えなかった天職』（ダイヤモンド社）、『最後の授業』（ソフトバンク クリエイティブ）、『ディズニー 夢の王国をつくる』、『人間はどこまで耐えられるのか』（以上、河出書房新社）など。