データサイエンティストが創る未来

ビッグデータ時代を担う人

ビッグデータ時代の到来

NorthernStock/iStock/Thinkstock

シリコンバレーで生まれた「インターネット時代」を経て、グーグルやフェイスブックに代表される「ビッグデータ時代」が到来しようとしている。例えばビックデータはさまざまなコストを削減し、AI(人工知能)を陰で支えている。ビックデータは新たな効率化やイノベーションの波を呼び、その効果は経済全体に波及するだろう。

しかしビックデータは単なる技術ではない。ビックデータを見つめることにより個々の人の未来の意思決定を左右する「哲学」を見出せるようになるという。著者はこのようなマインドセットを「データ・イズム(データ主義)」と呼んでいる。ビックデータは経済を成長させるだけでなく、人々の世界観を塗り替える可能性を秘めている。これまで経験や直感で行われてきた意思決定が、データと解析、すなわちサイエンスに基づいて行われるようになるのである。

近年ビックデータを扱えるようになった背景は、コンピューターの計算能力、識別能力、コミュニケーション能力などの技術的な改善だが、ソフトウェアとハードウェアが進歩し続けるためには、人間の頭脳とエネルギーと資金力が欠かせない。本書ではビックデータ革命を支える開拓者の一人であるハマーバッカー(32歳)の例を取り上げている。

ビッグデータの開拓者ハマーバッカー

ジェフリー・ハマーバッカーは、ハーバード大学を卒業後、得意な数学を活かすために金融業界へ身を投じた。ベア・スターンズ社で「クオンツ」と呼ばれる計量アナリストとして働きはじめた。債券トレーダと組んで、金利、為替、債務不履行率が上昇、下降する可能性を計算するために、確率論を応用したモデルを構築していた。数学の得意なハマーバッカーには、やりがいのある、とても面白い仕事だったがある日、事件が起きた。

ハマーバッカーが働くトレーディングフロアのあらゆるデータの入電が2時間停止してしまったのである。相場の買値、売値、金融ニュース、あらゆるデータの供給が失われてトレーディングフロアは活動停止状態に陥った。

ハマーバッカーにとってこの事件は、自分が構築したモデルが、データがないと何の役にも立たないことを強烈に思い知るきっかけとなった。ウォール街は常に、より複雑なモデルを構築することを追い求めているが、モデルよりデータこそが重要なのではないかと。データこそが、観察力と理解力を高めるデジタルツールになると、「ひらめいた」のである。

彼はこの出来事を受けて、知識の発見にも意思決定にもまずデータが必要であるという「データ第一」主義へと考えを大きく変えることとなった。彼はデータをもっと学ぶべく、ウェブ上で誕生したインターネット企業で働くことを思いつく。そして2006年の前半、彼が勤務先に選んだのは創業わずか2年でまだ従業員も50人に満たなかったフェイスブックだった。

データサイエンティストの誕生

wasja/iStock/Thinkstock

オンラインのソーシャルネットワークはかつてないスケールで人間の行動を研究できる新たな実験室となっていて、社会科学を定量的に考えられるようになっていた。しかし、ハマーバッカーがフェイスブックで働き始めた頃は、データ解析を行うのに必要なインフラが全くない状態だった。

そこで彼はフェイスブックの膨大なデータを収集し、インデックスを作成し、ソフトウェアツールの構築と改善を行った。その後フェイスブックではデータ探索におけるシステムを整え、データチームを発足させることになった。当初は大学機関での系統を考慮して、データ・アナリストとリサーチ・サイエンティストの2つの職種で募集をかけたが、ハマーバッカーはこの2つの職種を1つにまとめて「データサイエンティスト」と呼ぶことを提言した。

しかし、ハマーバッカーは、フェイスブックで働き始めて3年も満たないうちに転職することになる。