統計学は単なる数学ではない：不完全な人間が不確実な世界を生き抜くための知恵

---

1. はじめに

統計学というと、多くの人は数式や計算に満ちた抽象的な学問を想像するかもしれない。しかし、筆者自身が長年この分野に携わってきた経験から言えば、統計学は実に人間的な学問である。それは人間の持つ様々な限界や弱点と正面から向き合い、それらを克服するために生まれた実践的な知恵の体系だからである。

身近な例からみてみよう。学校の先生が子どもたちを連れて遠足に行く場面を思い浮かべてほしい。最も重要な仕事の一つが「人数確認」である。この一見簡単そうに思える作業が、実際にはなかなか難しいものだということを、教育現場に関わったことのある方なら実感されるだろう。子どもたちは絶えず動き回り、一度数えたグループと、まだ数えていないグループが混在してしまう。楽しそうに走り回る子どもたちを見ていると、その子をすでに数えたのかどうか、記憶が曖昧になってしまうのである。この問題を解決するために、経験豊富な先生方は自然と統計学的な思考を用いている。全員を一箇所に集合させ、一列に並ばせてから一人ずつ順番に数えるのである。これは「固定することで変動要因を制御する」という統計学の基本原理そのものである。さらに工夫を凝らした先生は、各生徒に出席番号を振り、1番から順番に呼名していく。これは「抽象的な識別子による一対一対応」という、より応用的な統計的手法といえるだろう。

人数確認の規模が学級から全国へと拡大すると、問題の複雑さは飛躍的に増大する。日本における国勢調査は、まさにこの課題に挑む壮大な統計的業務である。総務省統計局の報告によれば、2020年の国勢調査では約1億2,614万6千人の人口が確認されている[1]。仮に1秒間に10人のペースで数えたとしても、24時間不眠不休で作業を続けても約146日を要する計算になる。しかも、この間にも人口は絶えず変動している。出生、死亡、転居といった人口動態は一時も止まることがない。もちろん、身分証明書による個体識別も確かに有効だが、新生児や無戸籍者など、システムから漏れる人々もいる。また、身分証明書からは教育歴や家族構成といった社会学的属性を直接読み取ることができない。この限界を補うために、全数調査と抽出調査を組み合わせた複合的なアプローチが採用されているのである。

2. 統計学の歴史的発展：人間性への洞察から生まれた知恵

統計学の発展を歴史的に振り返ると、この学問がいかに人間の限界と向き合いながら進歩してきたかが見えてくる。現代統計学の基礎を築いたR.A.フィッシャー（1890-1962）は、農業試験場での実験を通じて、人間の主観的判断を排除する客観的な手法を開発した。彼の著作『研究者のための統計的方法』（Statistical Methods for Research Workers, 1925）は、20世紀で最も影響力のある科学書の一つとされている[2]。実は、フィッシャーの統計理論は、当初は同時代の統計学者カール・ピアソンの批判を受けていた。しかし、この対立こそが統計学の発展を促進したのである。竹内啓の『歴史と統計学』によれば、フィッシャーとピアソン、そして後にネイマン＝ピアソン理論を提唱したネイマンとE.S.ピアソンとの間の激しい論争が、現代統計学の基盤を固めることになった[3]。

こうした歴史を踏まえると、統計学とは決して完成された体系ではなく、常に人間の認知的限界と格闘しながら発展し続ける動的な学問であることがわかる。

3. 不確実性への挑戦：選挙予測と統計学

統計学の一つの重要な役割は、未来の不確実な事象を予測することである。選挙予測はその典型的な事例といえるだろう。全有権者に投票意向を尋ねることは物理的に不可能であるため、標本調査に依存せざるを得ない。ここで統計学が直面する根本的な課題は、標本の「代表性」をいかに確保するかということである。単純無作為抽出は理論的には理想的だが、実際の調査では様々なバイアスが混入する。特定の政治的立場を支持していることを公言したくない回答者による「社会的望ましさバイアス」は、選挙予測の精度を著しく損なう要因として知られている。

この問題に対し、統計学は層別抽出や事後調整といった補正技法を発達させてきた。だが、これらの手法にも限界がある。2016年の米国大統領選挙や2016年の英国EU離脱投票では、多くの世論調査が実際と異なる結果となった。アメリカ統計協会（ASA）の事後検証報告書によれば、これは統計学の失敗ではなく、むしろ社会現象の複雑性と予測の本質的困難さを示している[4]。しかし、この予測の「失敗」こそが、統計学の価値を明確にしたとも言える。つまり、完璧な予測が不可能だからこそ、不確実性を定量化し、その程度を適切に伝える統計学の役割が重要になるのである。

4. 客観性の追求：医学研究と統計学

医学分野における統計学の応用は、さらに著しい発展を遂げている。新薬の効果を検証する際、プラセボ効果という心理的要因を排除する必要がある。このために開発されたのが二重盲検法（double-blind method）である。患者にも医師にも、投与されているのが実薬なのかプラセボ（偽薬）なのかが分からないように設計された実験手法である[5]。国際的な医学雑誌に掲載される研究論文を調査すると、二重盲検無作為化比較試験（Double-blind Randomized Controlled Trial）は「医学研究の黄金基準」と位置づけられていることが確認できる[6]。しかし、この手法にも課題が存在する。例えば、精神科領域では薬物の副作用により盲検性が破綻する場合がある。抗うつ薬の臨床試験では、特有の副作用により患者や医師が実薬かプラセボかを推測できてしまうのである[7]。この現象は「盲検性の破綻」と呼ばれ、統計学的手法の限界を示唆している。

さらに、近年の研究では「統計的有意性」そのものへの疑問が提起されている。2019年、アメリカの統計学者らは『アメリカ統計学者』誌において、p値に基づく従来の有意性検定の問題点を指摘し、「統計的有意性を引退させる時が来た」と主張した[8]。これは統計学内部からの根本的な自己批判であると考えられる。

5. データが示す意外な事実：シンプソンのパラドックス

統計学における最も興味深い現象の一つが、シンプソンのパラドックスである。1951年にエドワード・H・シンプソンによって述されたこの現象は、母集団全体で見た相関と、母集団を分割した各集団での相関が逆転する現象があることを示した[9]。

具体的な例を挙げよう。カリフォルニア大学バークレー校の入学審査における男女差別疑惑を調査した1973年の研究では、全体では男性の合格率が女性を上回っていたが、学部別に分析すると多くの学部で女性の合格率が男性を上回っていた[10]。これは学部間の定員数の差、受験者男女比の差、合格率の差が影響していたことが原因であった。このパラドックスは、表面的な数字だけでは真実が見えず、背景にある構造を理解する必要があることを示している。つまり、一見明確に見えるデータも、実は全く異なる物語を語ることがあるのである。

6. 統計学の三つの機能：要約・比較・推測の体系化

これまでの事例を踏まえ、統計学の機能を体系的に整理すると、三つの基本的な役割に集約できる。

第一に「要約」機能である。膨大なデータから意味のある情報を抽出し、人間が理解可能な形で提示する。平均値、標準偏差、散布図といった記述統計学の手法がこれに該当する。フィッシャーの弟子であったF.イエイツは、この段階では単なる要約に留まり、価値判断は含まれないことを強調している[11]。

第二に「比較」機能である。要約された情報を異なる時点、地域、集団間で比較し、相対的な評価を可能にする。前年同期比、標準化、相関係数などがその代表例である。ここで注意したいのは、比較の基準設定が結果の解釈に決定的な影響を与えることである。

第三に「推測」機能である。限られた観測データから母集団の特性を推定し、将来の事象を予測する。点推定、区間推定、仮説検定といった推測統計学の手法がこれに該当する。ネイマン＝ピアソン理論の共同開発者であるJ.ネイマンは、推測には必ず不確実性が伴い、その程度を適切に評価することが統計学者の重要な責務であると述べている[12]。

7. ビッグデータ時代の新たな挑戦と限界

ビッグデータ時代において、統計学は新たな挑戦に直面している。従来の標本調査に基づく統計学から、全数データを扱う「計算社会科学」への転換が進んでいる。しかし、データ量の増大は必ずしも洞察の向上を意味しない。例えば、Googleの検索データを用いてインフルエンザの流行を予測する「Google Flu Trends」プロジェクトは、当初大きな注目を集めたが、2013年の大流行時に大幅に予測を外し、その後サービスを停止している[13]。これは「ビッグデータ・パラドックス」とも呼ばれる現象で、データの量が質を保証するわけではないことを示している。

また、機械学習とAIの発達により、統計学の役割そのものが問い直されているが、統計学習理論の発展において、機械学習アルゴリズムの背後にも統計学的原理が不可欠であることが明らかになっている[14]。つまり、技術が高度化するほど、その基盤となる統計学的思考の重要性が増すということである。

しかし、統計学研究の現状を率直に評価すると、いくつかの根本的な限界を認めざるを得ない。第一に、因果関係の推定における困難さである。相関関係の検出は比較的容易だが、真の因果関係を特定することは極めて困難である。第二に、モデルの単純化による現実の歪曲である。統計モデルは必然的に現実を単純化したものであり、この単純化の過程で重要な情報が失われる可能性があることを肝に銘じたい。

8. 結びに代えて：人間性に根ざした学問としての統計学

統計学を長年携わってきた経験から、この学問の本質的な特徴は「人間の弱さと向き合う実践性」にあると確信している。人は嘘をつき、忘れっぽく、偏見に満ちている。統計学はこれらの人間的な限界を前提として、それでもなお客観的で有用な知見を得ようとする営みなのである。

現代社会において統計学の重要性は増すばかりであるが、その技術的な精緻化と同時に、その限界を謙虚に認識することも不可欠である。統計学は万能ではない。それは現実世界の複雑性を完全に捉えることはできないし、すべての問題に対する解答を提供することもできない。それでも、統計学は人間社会が直面する諸問題に立ち向かうための有力な武器である。重要なのは、その力と限界を正しく理解し、適切に活用することである。統計学とは、結局のところ、不完全な人間が不完全な情報を用いて、それでもより良い判断を下そうとする、極めて人間的な営みなのかもしれない。

最終的に、統計学が私たちに教えてくれるのは、完璧な確実性への憧れを捨て、不確実性と共に生きる知恵であろう。

---