全体では悪化、内訳では改善？ シンプソンのパラドックスを防ぐ比較資料の作り方

「問い合わせからの成約率が17.5%から15%へ下がりました」。この一行を見れば、営業資料やウェブサイトの導線を変えた結果、成果が悪化したように思えます。ところが、同じ期間の内訳を見ると、既存顧客でも新規顧客でも成約率は上がっていました。

どちらかの計算が間違っているのでしょうか。そうとは限りません。成約しやすい既存顧客の割合が減り、まだ関係の浅い新規顧客の割合が増えれば、各群は改善しても、全体の率は下がりえます。このような集計と内訳の向きが逆になる現象は「シンプソンのパラドックス」と呼ばれます。

この記事では、数字の逆転を手計算で確かめ、全体の率、群ごとの率、群の人数をどう一枚の資料へ置くかを考えます。実際の大学入試データ、統計・因果推論の研究、図表研究を手がかりに、数値を見せる側も読む側も、早合点を防げる形を目指します。

結論：全体と内訳に、人数を添えて同時に見せる

「全体は下がったが、内訳は上がった」というとき、いきなりどちらかを正解と決めません。まず、比較の目的を明らかにし、同じ画面で次の三つを確認します。

1. 全体の変化：対象全体で成果が何件あり、何件中の割合なのか
2. 意味のある内訳：新規と既存、案件の難度、地域、製品群などで率がどう変わったか
3. 人数の構成：各群の母数と、全体に占める割合が前後でどう変わったか

全体の数字は、組織が実際に受けた成果を見るうえで必要です。内訳の数字は、どこで何が変わったのかを調べるうえで必要です。そして人数の構成がないと、両者の食い違いを説明できません。全体を消すのでも、細分化した数値だけに置き換えるのでもありません。

同じデータで「悪化」と「改善」が同時に起きる

以下は仕組みを説明するための架空の例です。あるサービスの問い合わせを「既存顧客」と「新規顧客」に分け、前期と後期の成約を比べます。実際の顧客実績ではありません。

既存顧客は30%から36%、新規顧客は5%から8%へ上がりました。しかし、全体は17.5%から15%へ下がります。前期は既存と新規が100件ずつでした。後期は既存が50件、新規が150件です。成約率の低い新規顧客の構成比が50%から75%へ増えたので、全体の率が押し下げられました。

全体の率は、二つの群の率を単純に足して二で割ったものではありません。各群の率を、その群の人数に応じて重みづけした平均です。人数の重みが動けば、群ごとの率が同じ方向に動いても、全体が逆向きに動くことがあります。極端な例に見えても、顧客獲得の拡大、営業対象の変更、商品構成の変更など、母集団が動く現場で起こりうる構造です。

この例で「営業が悪くなった」とだけ報告すれば、各群での改善を見落とします。反対に「どちらの群も改善したから問題ない」とだけ報告すれば、新規顧客が増えた結果として全体の成約数が35件から30件へ下がった事実を隠します。何を判断したいかに応じて、両方の数字が必要です。

大学院入試の実データが示したこと

この逆転をめぐる有名な実データが、1973年のカリフォルニア大学バークレー校の大学院入試です。Bickel、Hammel、O’Connellが1975年に公表した分析では、大学全体の合格率は男性約44%、女性約35%でした。全体だけを見ると、女性の出願が不利に扱われたように見えます。

しかし、選考は大学全体で一つの合否を出すのではなく、学科ごとに行われます。学科別に調べると、合格率の低い学科へ女性が多く出願していたことが、全体の差に大きく関わっていました。論文は、学科ごとの選考を考慮すると、全体の数字から受ける印象とは違う結論になると報告しています。

ここで「差別はなかった」と言い切るのは誤りです。学科の選び方は、それ以前の教育機会や社会的な期待に左右されるかもしれません。論文自身も、選考以前の段階に目を向けています。学科内の選考に偏りがあるかという問いと、大学院への道筋全体に不平等があるかという問いは違います。集計の単位を変えると、答えている問いも変わることを、この事例は教えます。

1951年のSimpsonの論文は、複数の表を機械的に合算すると、元の表とは異なる解釈に至ることを示しました。ただし、現象のすべてをSimpson一人が初めて発見したわけではありません。研究史よりも実務で大切なのは、合計だけから集団内の出来事を推測しないことです。

なぜ棒グラフ一枚では見落とすのか

全体の17.5%と15%を二本の棒にすれば、後期の棒は短くなります。数字は正確です。しかし、棒には、既存顧客が100件から50件へ減り、新規顧客が100件から150件へ増えた情報がありません。読み手は、同じ種類の問い合わせを同じ割合で比べているつもりになりやすくなります。

ArmstrongとWattenbergは、集団の混ざり方の変化が、棒グラフ、地図、面積を使う図などで見えにくくなる問題を検討しました。提案した図は、群ごとの値だけでなく、その群がどのくらいの大きさなのかも示します。特殊な図法をそのまま採用する必要はありませんが、値と人数の両方を同時に読めるようにするという原則は使えます。

もっとも簡単なのは、先ほどのように「成約／問い合わせ」「率」を並べた表です。スライドなら、上段に全体、下段に既存・新規の二行を置き、前期と後期の母数をそれぞれ併記します。矢印や色だけで改善・悪化を示さず、何件中何件かを残します。図を見た後、検算できることも信頼につながります。

折れ線グラフで二期間の傾きを見せる場合、縦横比と軸の設計が差を強くも弱くも見せます。しかし、今回の問題は軸の見せ方だけでは解決しません。内訳の人数が消えていれば、どんなに誠実な軸でも、集計の逆転を説明できないからです。

分けるべき群は、どう決めるか

「とにかく細かく分ければよい」わけではありません。顧客を年齢、地域、利用端末、流入経路、購入歴で次々に分けると、どこかに偶然の差が見つかります。群が小さくなるほど、一件の増減で率が大きく動きます。

最初に、判断したい問いから分ける理由を決めます。「新規顧客向けの導線が改善したか」が問いなら、新規と既存は意味があります。「キャンペーン全体で何件獲得したか」なら、全体の件数も外せません。「端末が成果率と問い合わせの構成の両方に関わるか」を疑うなら、端末別の人数と率を調べます。

米国疾病対策センター（CDC）のEpi Info公式ガイドは、第三の要因が二つの項目の関係を見かけ上変えていないか調べる際、群ごとの表を作り、合算した値と分けた値を比較する方法を説明しています。保健分野の例を企業の成約へ機械的に移すのではなく、何が両方に関係するかを考えてから分けるという姿勢を借ります。

オンライン行動の研究でも、Alipourfardらは、学習サイトや質問サイトの実データで、全体と下位群の傾向が異なる組み合わせを探しました。データを分けることで、全体の平均に隠れた行動を見つけられます。ただし、探索的に見つけた群をそのまま「施策の原因」と呼ぶことはできません。

全体と内訳のどちらが正しいかは、数字だけでは決まらない

「全体では悪化、内訳では改善」という現象を知ると、内訳こそ本当の答えだと思いがちです。しかし、それも早計です。全体は全体としての実際の成果であり、内訳は特定の条件をそろえた比較です。どちらを使うかは、問いの内容と、その条件が結果へどう関わるかで変わります。

Hernán、Clayton、Keidingは、Simpsonの例を因果関係から読み直し、統計上の形だけで判断を決めると誤りうると論じています。Pearlも、第三の変数が原因なのか、結果なのかによって、分けるべきか合算すべきかが変わると説明します。「細かくすれば必ず真実」という単純な規則はありません。

先ほどの架空例なら、「今期の売上目標に対し、全体で何件成約したか」には全体の30件が必要です。「既存顧客の応対が改善したか」には既存の30%と36%を比べます。「新しいページが成約率を上げたか」は、この二期間の表だけでは言えません。流入の質、価格、季節、営業体制なども変わっているかもしれないからです。

指標の「良い」「悪い」が変わる理由を資料で説明するには、数字の評価を助ける比較資料も参考になります。ただし、その記事が比較の基準と価値を扱うのに対し、ここでの焦点は集計単位と構成比です。

「視覚化・構造化」で、判断できる一枚へ

伸滋Designの伝わる設計マップでは、背景知識のない相手に難しいデータを見せる場面で、既存の型「視覚化・構造化」を選びます。情報を足し続けるのではなく、判断に必要な関係を残して、余分な要素を引く考え方です。

このテーマでは、全体の率だけを大きく見せる見出しを避けます。まず「全体の成約率は低下、両顧客群の率は改善」と、一見矛盾する二つの事実を一行に置きます。そのすぐ下に、顧客群ごとの率と人数を前後で対応させた表を置きます。右側、または表の下に「新規の構成比が50%から75%へ増えた」と注記します。

色は意味を固定します。改善をティール、低下をコーラルで示すとしても、色だけに頼らず、矢印と数字を併記します。全体と内訳で異なる縦軸のグラフを並べて差を大きく見せるより、一つの表で分子・分母まで読めるようにします。表の見出しは「件数」「率」「構成比」の意味が混ざらない言葉にします。

細かな分析は付録へ回せますが、選んだ群の定義と、除外したデータは隠しません。報告を受ける人が「なぜこの群で分けたのか」「母数はどれくらいか」を尋ねなくても、重要な前提を確かめられる状態が目標です。

実務例：改善報告を、判断できる報告へ直す

架空の営業会議で、「成約率が17.5%から15%へ低下。新しい問い合わせページを止めるべき」と提案されたとします。この一文だけでは、ページそのものが悪いのか、新規顧客の流入が増えた影響なのか分かりません。

担当者は一枚の資料を作り直します。表の一行目に全体の35／200件と30／200件を載せます。二行目に既存顧客の30／100件と18／50件、三行目に新規顧客の5／100件と12／150件を載せます。件数と率を同時に見せれば、新規顧客では率が5%から8%へ上がった一方、全体の成約数は減ったと分かります。

次の判断は「ページを止める」か「問題ない」かの二択ではありません。新規の問い合わせがなぜ増えたか、どの流入経路の顧客か、成約までに時間がかかるだけなのか、ページ変更前後で他に何が変わったかを調べます。短期の率だけでページの因果効果を言い切らず、必要なら適切な比較実験や追加観察を設計します。

このように、数字の逆転を見つけることは、結論をひっくり返すための手品ではありません。問いを「全体の成果をどう補うか」と「群ごとの体験が改善したか」に分け、次に集める情報を決めるための手がかりです。

比較資料のチェックリスト

集計前

• 何を判断する資料か、全体の成果か群内の変化かを明記した
• 分母の定義、観測期間、成果の数え方が前後で同じである
• 意味のある群を、結果を見てから都合よく選んでいない
• 除外した案件や未完了の案件がないかを確認した
• 新規と既存、地域、商品など、構成が変わりそうな軸を洗い出した

図表を作るとき

• 全体の分子・分母・率を並べた
• 群ごとの分子・分母・率を同じ尺度で並べた
• 群の人数と構成比が前後でどう変わったかを示した
• 率だけを色や矢印で示さず、件数から検算できる
• 小さな群で大きな率の変化が出たときは、人数を目立つ場所に置いた
• 全体と内訳の向きが違う場合は、一行でその事実を先に伝えた

結論を書くとき

• 全体の成果と群内の変化を取り違えていない
• 構成比の変化を、成果率の変化そのものと混同していない
• 分けた群が因果関係の上で何を表すかを考えた
• 観察データだけで施策の因果効果を断定していない
• 次に必要な調査、実験、現場確認を具体的に決めた

根拠の限界：逆転を見つけても、原因はまだ分からない

シンプソンのパラドックスは、割合の集計方法で起きる現象です。逆転があること自体は、特定の施策が効いた証拠でも、差別がない証拠でもありません。実際のデータでは、観測していない要因、選抜、測定の変化、偶然のばらつきも考える必要があります。

Berkeleyの入試は、学科ごとの選考が重要な単位でした。別の問題では、分割することがかえって偏りを生むこともあります。第三の変数を何でも調整すればよいのではなく、その変数が施策の前から存在したか、施策によって変わるものか、結果とどうつながるかを領域の知識で確認します。

図表の研究も、一つの新しい図形がすべての人の誤解をなくすと示したわけではありません。読み手の背景、データ量、画面の大きさによって、表がよい場合も、複数の小さな図がよい場合もあります。基本は、率の差と人数の差を隠さず、読み手が同じ計算をたどれるようにすることです。

また、群が数件しかないときの率は不安定です。たとえば二件中一件なら50%ですが、一件の増減で0%にも100%にもなります。細かく分けるほど正確になるわけではありません。小さな群は件数とともに示し、無理に改善・悪化を決めないでください。

まとめ：率だけでなく、何が何件混ざっているかを見る

全体の数字と内訳の数字が逆向きになるのは、計算ミスではなく、群ごとの大きさが変わったためかもしれません。だから、全体だけで施策を止めず、内訳だけで安心もしません。分子、分母、率、構成比を同じ資料で見せ、今答えたい問いを明らかにします。

数字の見せ方は、きれいなグラフを作る作業だけではありません。どの集団を比べ、何を「改善」と呼ぶかという判断そのものを支えます。伸滋Designでは、複雑なデータを意思決定者が検証できる資料構成と図表へ整えます。成約率や調査結果の説明が、合計値一つで止まっているなら、お問い合わせページからご相談ください。

参考文献

1. Simpson, E. H. (1951). The interpretation of interaction in contingency tables. Journal of the Royal Statistical Society: Series B, 13(2), 238–241. https://doi.org/10.1111/j.2517-6161.1951.tb00088.x
2. Bickel, P. J., Hammel, E. A., & O’Connell, J. W. (1975). Sex bias in graduate admissions: Data from Berkeley. Science, 187(4175), 398–404. https://doi.org/10.1126/science.187.4175.398
3. Pearl, J. (2014). Understanding Simpson’s paradox. The American Statistician, 68(1), 8–13. 著者のUCLA版PDF
4. Hernán, M. A., Clayton, D., & Keiding, N. (2011). The Simpson’s paradox unraveled. International Journal of Epidemiology, 40(3), 780–785. https://doi.org/10.1093/ije/dyr041
5. Armstrong, Z., & Wattenberg, M. (2014). Visualizing statistical mix effects and Simpson’s paradox. IEEE Transactions on Visualization and Computer Graphics, 20(12), 2132–2141. 著者所属先のPDF
6. Centers for Disease Control and Prevention. (2022). Stratified analysis of 2 × 2 tables. Epi Info User Guide. CDC公式ページ
7. Alipourfard, N., Fennell, P., & Lerman, K. (2018). Using Simpson’s paradox to discover interesting patterns in behavioral data. Proceedings of the International AAAI Conference on Web and Social Media, 12(1), 2–11. https://doi.org/10.1609/icwsm.v12i1.15017