ヤバい予測学 「何を買うか」から「いつ死ぬか」まであなたの行動はすべて読まれている

ビッグデータのその先へ。

予測不能な「ブラック・スワン」は、わずかにすぎない。

予測モデルを作り株で大儲けする。
おすすめ機能の精度を上げる。
ブログの分析から集団心理を読む。

予測分析（プレディクティブ・アナリティクス）とは、
データから学習して個人の未来の振る舞いを予測し、
より良い決断に導く技術のこと。
銀行から小売業者、病院まで、多くの組織がすでに
かなりの精度で予測を行っている。
今や私たちは、予測可能な社会に生きているのだ。

序　章　予測効果
　――何のために人間の行動を予測するのか
第１章　予測分析の始動
　――株取引の予測システムに全財産をつぎ込んだら
第２章　プライバシーの攻防
　――小売企業も雇い主もあなたの秘密を推測している
第３章　データ効果
　――個人のブログから集団の感情を予測する
第４章　学習する機械
　――チェース・マンハッタンの住宅ローン予測の内幕
第５章　アンサンブル効果
　――おすすめ映画とクラウドソーシングと過熱する予測
第６章　人工知能の実現
　――ＩＢＭの「ワトソン」がクイズ王に挑戦する
第７章　数字による説得
　――マーケティングを革新するアップリフトモデリング

「ビッグデータの『ヤバい経済学』だ」
――スタイン・クレトシンガー（アドバタイジング・ドットコム創業者）

「 ポーカーと政治はネイト・シルバーが、その他の分野は本書が教えてくれる。オタクでない読者にも読みやすく、幅広い話題を扱った本だ」
――デービッド・ラインウェーバー（『Nerds on Wall Street』著者）

「データサイエンティストたちがいかにビジネスのルールを書き換えているか。本書を読んで予測分析の世界を探求してほしい」
――カイザー・ファング（『ヤバい統計学』著者）

「科学でもビジネスでもファイナンスでもスポーツでも政治でも、ビッグデータから予測を導き出すことは、今やほとんどあらゆる分野の核心となっている。エリック・シーゲルはその理想的なガイド役だ」
――スティーヴン ベイカー（『数字で世界を操る巨人たち』著者）

「これは、ビジネスと政府と医療の分野におけるマネー・ボールだ」
――ジム・スターン（デジタル・アナリティクス・アソシエーション会長）

「本書は、今日のビジネスにとってきわめて重要なトピックについて多くの情報を与えてくれるが、それだけでなく楽しい読み物でもある」
――ジェフリー・ムーア（『キャズム』著者）

「本書は、他の多くの本が失敗している点について成功を収めている。すなわち、ビッグデータの神秘のベールをはぎとり、組織が予測分析の力をいかに活用して測定可能な変化を起こしているか、その実例を見せてくれている」
――ジョン・フランシス（ナイキ社シニア・データ・サイエンティスト）

by　トーマス・Ｈ・ダベンポート

本書は、定量的な分析をとおして人間の振る舞いを予測しようという１冊だ。この分野の先駆的な研究として知られるのが、「サイバネティクスの父」として知られるノーバート・ウィーナーが第２次大戦中の１９４０年に、ドイツ空軍のパイロットの振る舞いを予測しようとしたものだ。目的は、敵機を砲弾で撃墜すること。航空機の動きを観測して軌道を計算し、パイロットが最も取りそうな回避行動を考慮して進路を予測するという手法だった。しかし残念ながら、ウィーナーは航空機の動きを１秒前に予測することしかできなかった。撃墜するためには20秒の余裕が必要だった。

本書によれば、予測分析の多くはウィーナーの時代よりはるかに成功している。現代ではコンピュータの処理能力が格段に速くなり、データも大量にある。その結果、銀行や小売業者、選挙運動、病院など多くの組織が、特定の人間の振る舞いをかなりの精度で予測できるようになった。その成果は、顧客を獲得し、選挙で当選し、病との戦いに勝つために役立っている。

これらの予測は人類にとって基本的に良いことだと、私は──おそらく本書の著者エリック・シーゲルも──考えている。医療や犯罪、テロなどに関する予測は、命を救えるときもある。広告に活用すればより効率的な宣伝ができ、（ダイレクトメールやカタログの無駄を減らして）森林を保護し、受け手の時間と集中力を節約できる。政治の世界でも、科学的な手法にもとづく予測を尊重した候補者は、反論もあるだろうが、確かな恩恵を手にできるようだ。

ただし、シーゲルも本書の前半で巧みに解説しているように、こうしたアプローチは害を及ぼすようなやり方で利用することもできる。シーゲルは、「大いなる力には大いなる責任が伴う」という『スパイダーマン』の名言を引用している。言い換えれば、私たちは社会として予測モデルを慎重に扱わなければならず、それを怠れば予測を利用することもそこから恩恵を受けることも制限されかねない。強力なテクノロジーや破壊的なイノベーションと同じように、予測分析は基本的に道徳を超越しており、良くも悪くも利用できる。ただし、悪意のある応用を避けるためには、予測分析に何ができるのかを理解しなければならない。そして本書を読めば、あなたもきっと理解できるはずだ。

本書は予測分析のなかでも、とりわけ興味深くて重要な種類に注目している。過去に起きたことを描写するだけで、なぜ起きたかという洞察のない「記述的分析」に関しては、新たな解説書はもう必要ないだろう。私は自分の著述で、対照実験や最適化を通して物事のあるべきかたちを考える「規範的分析」を取り上げることも多い。しかし、計量的手法のなかでも記述的分析や規範的分析は、予測分析に比べてはるかに人気がない。

本書の基本的な考え方は、ナシーム・ニコラス・タレブの研究と好対照を描いている。タレブは『ブラック・スワン』（邦訳・ダイヤモンド社）などの著書で、予測分析の多くは失敗する定めだと述べている。その理由は、ランダムさと、複雑な出来事が本質的に予測不可能であることだ。世の中には予測を超えた「ブラック・スワンな」出来事もあるというタレブの指摘は、もちろん正しい。しかし実際は、人間の振る舞いの大半はかなり規則的で予測が可能だ。シーゲルが本書で披露する予測分析のさまざまな成功例を見れば、白鳥の大半は白いことがわかるだろう。

シーゲルは、「ビッグデータ」ブームを持ち上げることもしない。もちろん、本書で紹介されているケースには、ビッグデータの分野に入るものもある。体系化されていない大きすぎるデータは、従来のリレーショナル型データベースでは処理しきれない。ただし、予測分析のカギを握るのは、データの相対的な大きさや奔放さではなく、データで何をするかだ。私は「ビッグデータは小さな数学である」と考えている。ビッグデータの専門家の多くは、データを使って魅力的な視覚的分析をつくりだすだけで満足している。ただし、その価値は、予測モデルをつくることの足元にも及ばない。

シーゲルは最新の高度な研究を、定量的な思考に慣れていない読者にもわかりやすい１冊にまとめている。素晴らしいストーリー、図表やイラスト、そしてエンターテインメントな語り口が詰まっている。「非定量的」な人こそ、本書を読んでほしい。非定量的な人の生涯の振る舞いを、分析して予測できることは間違いないのだ。さらに、非定量的な人の大半が、予測モデルについて考え、評価し、モデルに従って行動するようになっていくだろう。

要するに、私たちは予測可能な社会に生きている。予測可能な社会で成功する最善の方法は、予測モデルの目的と技術と限界を理解することだ。そして、そのための最善の方法は、このまま最後のページまで読むことだ。

トーマス・Ｈ・ダベンポートは、ハーバード・ビジネススクール客員教授、
バブソン大学特別教授、国際分析研究所共同設立者。
共著の『分析力を武器とする企業』（邦訳・日経ＢＰ社）など
情報分析に関する著作がある。

序文　トーマス・Ｈ・ダベンポート

はじめに

序章 予測効果
――何のために人間の行動を予測するのか

大企業の予測／千里眼のコンピュータ／機械が思考するための糧／予測はここまで実現している／予測の限界と可能性／データ主導の意思決定／組織的学習／新しい超オタク──データサイエンティスト／学習という芸術

第１章 予測分析の始動
――株取引の予測システムに全財産をつぎ込んだら

エンジンの稼働／1％を3％にするだけで／予測による予防／クリック数を増やす革命／カスタマイズの落とし穴／打ち上げ中止と回り道／飛行中／ワトソンくん、基本的なことだよ──すべては「観察」に始まる／行動することは決断すること／危険な発射／ヒューストン、問題が発生した／小さなモデルの実力／ヒューストン、発射します／情熱的な科学者／予測ロケットを打ち上げる

第２章 プライバシーの攻防
――小売企業も雇い主もあなたの秘密を推測している

ターゲット予測と予測の対象（ターゲット）／たった1つの記事から／スポットライトを浴びて／テレポートとテレコミュニケーション／法と秩序―政策、政治、取り締まり／データ闘争／データマイニングは掘り下げない／ＨＰが学んだこと／洞察か侵害か／フライト・リスク―辞めます！／洞察―退職の背景にある要因／ダイナマイトを運ぶ／進歩しているあいだは辞めない／犯罪が起きる前に予測して予防する／詐欺を見抜く／犯罪データとデータ犯罪／機械のリスクは無制限／循環する先入観／良い予測、悪い予測

第３章 データ効果
――個人のブログから集団の感情を予測する

感情のデータとデータの感情／ブログの感情を予測する／不安指数／感情豊かな世の中を視覚化する／有言実行／ひらめきと努力／データの山をふるいにかける／すべての行為を測定する／情報が多すぎて混乱する／ビッグデータは存在しない／虹の向こう側／予測の燃料源／型破り、奇想天外、驚愕／相関関係は必ずしも因果関係ではない／感情の因果関係／ダイヤモンドを掘る／感情の証明と証明された感情／セレンディピティとイノベーション／ブログ発の投資アドバイス／カネが世界を動かす

第４章 学習する機械
――チェース・マンハッタンの住宅ローン予測の内幕

銀行が直面したリスク／予測VSリスク／リスキーなビジネス／学習する機械／学習する機械を構築する／悪い経験から学習する／機械学習はどのように機能するか／成長するディシジョン・ツリー／コンピュータは自らプログラミングをする／ひたすら学習あるのみ／大きいことはいいことだ／過剰学習──推測しすぎる／帰納法の謎かけ／機械学習のアートとサイエンス／妥当性―テストデータ／予測分析のアートを彫刻する／ディシジョン・ツリーがチェースを救う／カネのなる木／マクロのリスクは難しい

第５章 アンサンブル効果
――おすすめ映画とクラウドソーシングと過熱する予測

賞金１００万ドルの予測分析コンテスト／ダークホース／頭脳の源──多様性の泉／クラウドソーシングが研究開発を変える／昨日の敵は今日の友／ライバルと連合を組む／メタ学習／そして優勝は……／集合知／予測モデルの集団の知恵／モデルの多数決投票／動き出すアンサンブルモデル／一般化のパラドクス―過ぎたるは及ばざるがごとし

第６章 人工知能の実現
――ＩＢＭの「ワトソン」がクイズ王に挑戦する

人間の言葉を処理させる／自然言語の試練と苦難／質問を理解したら答えよう／知識の究極の泉／Ｓｉｒｉ対ワトソン／人工的には不可能なこと／質問に答えることを学習する／人間のように歩き、人間のようにしゃべる／より優れたマシンを目指す／質問に答えるマシン／マネー・ボール戦略で「ジョパディ！」を制する／証拠を積み重ねて答えに到達する／初歩的なことだよ、ワトソンくん／山のような証拠／アンサンブルモデルで根拠を検証する／アンサンブルのアンサンブル／機械学習が言語処理の潜在能力を得る／自信と自信過剰／スピードを求めて／世紀の対決／「ジョパディ！」狂想曲／勝利へ／試合後―名誉、称賛、畏怖の念／ワトソンは何でも知っているか／適切なものを予測する

第７章 数字による説得
――マーケティングを革新するアップリフトモデリング

顧客基盤の風船／寝た子を起こす／新たな予測／目で見えないもの／説得を観察する／説得力のある選択／ビジネスの刺激と反応／量子人間／アップリフトモデリングで影響を予測する／顧客反応率の落とし穴／予測できないものを予測する／反応＋アップリフトモデル／アップリフトモデリングの仕組み／アップリフトモデリングを機能させる／説得効果／産業界への影響／モバイルの顧客をモバイルさせない／オバマ米大統領の再選を後押しした「説得のモデリング」

おわりに――２０２０年１月２日、朝

謝辞
訳者あとがき
表: 予測分析の１４７の事例
付注

エリック・シーゲル
Eric Siegel, PhD

元コロンビア大学教授。予測分析（プレディクティブ・アナリティクス）業界の第一人者として、講演や教育活動などで活躍。世界各地で開催される予測分析カンファランス「プレディクティブ・アナリティクス・ワールド（PAW）」と「テキスト・アナリティクス・ワールド」の創設者で、プレディクティブ・アナリティクス・タイムズの編集主幹。

矢羽野薫
やはの・かおる

千葉県生まれ。慶應義塾大学卒。会社勤務を経て、書籍・雑誌などの翻訳に従事。主な訳書に『ヤバい統計学』、『今の職場で理想の働き方をする8つの戦略』（共訳）（以上、阪急コミュニケーションズ）、『マイクロソフトでは出会えなかった天職』（ダイヤモンド社）、『最後の授業』（ソフトバンク クリエイティブ）など。