「有意差なし」は「効果なし」？ 研究結果を誤解なく伝える書き方

研究結果をまとめるとき、もっとも書きにくいのが「有意差なし」です。期待した差が出なかった。p値は0.08だった。すると、「効果はなかった」と書くべきか、「効果がある傾向」と書くべきか、判断に迷います。

どちらも、数字が示す範囲を越えるおそれがあります。p値が0.05を超えたという情報だけでは、効果がほぼないのか、データが少なくて結論を出せないのかは分かりません。反対に、点推定値が期待した方向だからといって、「有望」「改善傾向」と言い換えればよいわけでもありません。

必要なのは、結果を「有意／非有意」の二択で名付けることではなく、どの程度の効果が観察され、どこまでの値がデータと矛盾せず、実務上意味のある差を除外できるかを示すことです。この記事では、統計学会の声明、報告指針、実証研究をもとに、曖昧な結果を誇張せず、弱めすぎず伝える書き方を整理します。

結論：「有意差なし」の後に、判断に必要な情報を置く

先に結論です。「有意差なし」だけで文章を終えないでください。次の四つを順に確かめます。

1. 何を比べたか：対象、条件、期間、主要評価項目を示す
2. どの程度の差だったか：各群の値と群間差を、単位付きで示す
3. どこまで不確かか：信頼区間と、必要なら正確なp値を示す
4. 何を言えるか：意味のある差を除外できるのか、まだ判断できないのかを分ける

たとえば、主要評価項目の群間差が2点、95%信頼区間が−3点から7点だったとします。p値が0.05を超えていても、「差はなかった」とは限りません。改善も悪化も、実務上意味のある大きさまで区間に残っているなら、結論は「効果なし」ではなく「結果は不確か」です。

一方、群間差が0.3点、95%信頼区間が−0.8点から1.4点で、研究前に「3点以上を意味のある差」と決めていたなら、少なくとも3点規模の差はデータと両立しにくいと判断できます。同じ「有意差なし」でも、伝える内容はまったく違います。

p値が答えるのは「効果がない確率」ではない

p値は、設定した統計モデルのもとで「差がない」と仮定したとき、観察した結果と同じか、それ以上に極端なデータが得られる度合いを表します。p値が0.08だから、「効果がない確率は8%」という意味ではありません。「同じ研究を繰り返したら8%しか再現しない」という意味でもありません。

米国統計学会は2016年の声明で、p値は仮説が正しい確率を測らず、効果の大きさや結果の重要性も測らないと整理しました。また、科学的な結論や意思決定を、ある境界を超えたかどうかだけで決めるべきではないとしています。

2019年の特集論文でも、p<0.05かどうかによって結果を「効いた／効かなかった」と二分する慣行が批判されました。境界のすぐ両側にあるp=0.049とp=0.051は、証拠として急に別物になるわけではありません。研究の文脈、デザイン、効果の大きさ、不確かさ、測定の妥当性を一緒に読む必要があります。

これは、p値を隠せばよいという話ではありません。結果を一つの数字へ縮めず、正確なp値を必要に応じて示したうえで、効果推定値と信頼区間を中心に説明するということです。

「証拠がない」と「ないことの証拠」を分ける

AltmanとBlandは1995年、「証拠が得られなかったことは、存在しない証拠ではない」と注意を促しました。小さな研究や測定のばらつきが大きい研究では、本当は重要な差があっても検出できないことがあります。

ここで役立つのが信頼区間です。CONSORT 2010は、無作為化比較試験の各評価項目について、各群の要約値、群間の効果推定値、その精度を示す95%信頼区間を報告するよう求めています。特に統計的な境界を超えなかった結果では、信頼区間を見ることで、重要な差がまだ残っているかを判断できます。

ただし、信頼区間も魔法の答えではありません。「この区間に真の値が95%の確率で入る」と個別の研究について解釈するのは、通常の頻度論的な信頼区間の説明として正確ではありません。ここでは、研究の方法とモデルを前提に、データと両立する効果の範囲を見る道具として扱います。

幅が広く、害から利益までを含む区間なら、結果は不確かです。ゼロ付近の狭い範囲に収まり、あらかじめ決めた実務上重要な差を両側とも除外できるなら、「意味のある大きさの差は支持されなかった」と、より踏み込んで書けます。

「有意差なし」でも、効果がない証拠になる場合はある

「有意差なしは、絶対に効果なしを意味しない」と覚えるだけでも不十分です。十分に大きく、精度の高い研究なら、意味のある効果がないことを支持できる場合があります。

PernegerとGayet-Ageronは2023年、主要評価項目が統計的に非有意だった無作為化比較試験169件を調べました。研究計画で想定された有効性の仮説と、無効果の仮説を尤度比で比べると、52.1%の結果は無効果の仮説を100倍超支持していました。一方で、すべてが明確だったわけではありません。同じ「非有意」という札の下に、無効果を強く支持する結果と、まだ曖昧な結果が混ざっていました。

実務では、必ず尤度比を計算しなければならないという意味ではありません。重要なのは、p値の境界だけを見ず、研究前に想定した効果、点推定値、信頼区間の幅を照らし合わせることです。

「差がない」「同等である」と積極的に主張したいなら、通常の優越性検定でp値が0.05を超えただけでは足りません。Lakensらが解説する同等性検定では、まず「これより小さければ実務上は重要でない」という境界を定め、その境界を超える効果をデータから除外できるかを検討します。境界は結果を見てから都合よく決めず、理論、過去研究、測定誤差、費用やリスクから事前に定めます。

曖昧な結果ほど、表現の「スピン」が入りやすい

期待した結果が得られなかったとき、文章は無意識に前向きな方向へ寄りやすくなります。主要評価項目には差がないのに、差が出た副次評価項目だけを結論へ置く。群間差ではなく、片方の群だけの前後変化を強調する。「有意差なし」を「同等」と言い換える。こうした見せ方は、結果の印象を実際より良くするスピンです。

Boutronらは、主要評価項目が非有意だった無作為化比較試験72報を調べました。スピンは抄録の結果部分で37.5%、結論部分で58.3%に見られました。本文の結果、考察、結論のうち少なくとも二つでスピンが確認された報告も40%を超えました。

表現の違いは、読み手の判断にも影響します。別の無作為化実験では、300人の研究者・臨床家が、同じ研究内容について、スピンを含む抄録か、スピンを除いた抄録のどちらかを読みました。スピンを含む抄録を読んだ群は、治療が有益である可能性を平均3.6点、除いた群は2.9点と評価し、平均差は0.71点でした。差は大きくありませんが、短い抄録の言い回しだけで専門家の評価も動きました。

前回の図解要旨の記事で扱ったように、一枚へ要点を縮めるときも同じ注意が必要です。主要結果が曖昧なのに副次結果だけを大きく見せれば、図が正確でも研究全体の結論は歪みます。研究成果のプレスリリースでも、「差が証明されなかった」を「同じだと証明された」へ変えないことが大切です。

科学的根拠の限界

第一に、この記事で扱ったスピン研究の多くは、医学分野の無作為化比較試験を対象にしています。質的研究、探索的研究、基礎研究、社会科学へ数値をそのまま当てはめることはできません。

第二に、95%信頼区間とp値は、データ生成過程、測定、解析モデルが妥当であることを前提にします。欠測、測定誤差、多重比較、研究計画からの逸脱があれば、きれいな区間でも解釈は弱くなります。

第三に、実務上意味のある差は、統計だけでは決まりません。患者、利用者、現場の費用、害、既存の選択肢によって基準が変わります。分野に共通する境界がなければ、研究者だけで決めず、関係者と根拠を明示して設定します。

第四に、同等性検定や尤度比は目的に応じた道具であり、後から有利な方法を選ぶためのものではありません。研究計画の段階で問い、仮説、主要評価項目、意味のある差、解析方法を定めるほど、結果の説明は誠実になります。

ピラミッドストラクチャーで、結果を一読で判断できる形にする

伸滋Designの伝わる設計マップにある「ピラミッドストラクチャー」は、主メッセージを頂点に置き、その下へ根拠のまとまり、さらに個別の事実を並べる型です。非有意結果では、p値を頂点に置かず、研究から言える範囲を主メッセージにします。

主メッセージ：何を言えて、何を言えないか

最初の一文には、「主要評価項目で明確な群間差は確認できなかった」だけでなく、精度に応じた解釈を置きます。

• 区間が広い場合：「有益な差と不利益な差の両方が残り、結論は不確かだった」
• 重要な差を除外できた場合：「事前に定めた5点以上の差は支持されなかった」
• 探索的な場合：「主要評価項目は明確でなく、副次結果は次の研究で確認が必要」

根拠のまとまり：大きさ・不確かさ・研究の条件

次に、判断の根拠を三つのまとまりに分けます。一つ目は効果の大きさ、二つ目は信頼区間、三つ目は研究デザインと適用範囲です。ここで、意味のある差の基準をいつ、なぜ決めたかも示します。

個別の事実：各群の値、人数、期間、正確なp値

最後に、各群の値と分母、群間差、単位、期間、95%信頼区間、正確なp値を置きます。読者が計算の意味を確認できる粒度にしつつ、本文中で同じ数字を何度も繰り返さないよう表へまとめます。構造化抄録の記事で紹介した目的・方法・結果・結論の見出しも、どこに何が書いてあるかを探しやすくします。

仮想例：「効果なし」から「何が残っているか」へ

以下は説明のための仮想例であり、実在の研究や伸滋Designの実績ではありません。

研究：大学院生180人を無作為に二群へ分け、文章作成支援ツールあり／なしで8週間比較した。主要評価項目は100点満点の研究計画書評価。研究前に5点以上を実務上意味のある差と定めた。

避けたい書き方：「支援ツールの効果はなかった（p=0.18）」

これでは、観察した差も不確かさも分かりません。また、p値が境界を超えなかったことを、無効果の証明へ置き換えています。

結果が広い場合：「8週後の群間差は2.1点で、95%信頼区間は−1.0点から5.2点だった（p=0.18）。差がない値から、事前に意味があると定めた5点程度の改善までがデータと両立し、効果の有無は判断できなかった。」

結果が狭い場合：仮に群間差が0.4点、95%信頼区間が−1.2点から2.0点なら、「5点以上の改善は支持されなかった」と書けます。ただし、「完全に同じ」「あらゆる効果がない」とは言えません。評価尺度、対象、8週間という期間の範囲で、意味のある大きさの差を除外したという結論です。

副次評価項目の作業時間だけに差が出ても、主要評価項目と入れ替えて結論にはしません。「作業時間は探索的に短縮したが、主要評価項目では明確な差を確認できなかった」と階層を保ちます。

公開前チェックリスト

• 「有意差なし」を「効果なし」「同等」と自動的に言い換えていないか
• 主要評価項目を、差が出た副次評価項目より先に書いたか
• 各群の値、群間差、単位、期間を示したか
• 効果推定値と95%信頼区間を示したか
• p値を示す場合、境界だけでなく正確な値を書いたか
• 信頼区間が重要な利益と害の両方を含むなら、不確かだと書いたか
• 実務上意味のある差を、結果を見る前に根拠をもって定めたか
• 通常の優越性検定の非有意結果を、同等性の証明にしていないか
• 群内の前後差を、群間差の代わりに強調していないか
• 結果と考察で、因果関係や適用範囲を研究デザインより強く書いていないか
• 欠測、多重比較、計画変更など、解釈を弱める条件を確認したか
• 題名、抄録、図解、プレスリリースで結論の強さが一致しているか

まとめ：境界の名前ではなく、残っている可能性を伝える

「有意差なし」は、結果の説明ではなく、統計的な境界を越えなかったという短い札です。その札だけでは、効果がほぼないのか、研究の精度が足りないのかを区別できません。

まず効果の大きさと信頼区間を見ます。次に、実務上意味のある差と比べます。重要な利益や害が区間に残るなら「不確か」、十分に狭い区間で意味のある差を除外できるなら「その大きさの差は支持されない」と書きます。主要結果を副次結果で覆い隠さず、言える範囲と言えない範囲を同じ文章に置きます。

伸滋Designでは、論文、学会発表、研究広報の情報を、読み手が結論の強さと不確かさを一読で判断できる形へ整える支援をしています。統計結果は合っているのに、文章や図にすると断定が強すぎる、あるいは何も言っていないように見える場合は、ご相談ください。

参考文献

1. Wasserstein, R. L., & Lazar, N. A. (2016). The ASA Statement on p-Values: Context, Process, and Purpose. The American Statistician, 70(2), 129–133. https://doi.org/10.1080/00031305.2016.1154108
2. Wasserstein, R. L., Schirm, A. L., & Lazar, N. A. (2019). Moving to a World Beyond “p < 0.05”. The American Statistician, 73(sup1), 1–19. https://doi.org/10.1080/00031305.2019.1583913
3. Altman, D. G., & Bland, J. M. (1995). Absence of evidence is not evidence of absence. BMJ, 311, 485. https://doi.org/10.1136/bmj.311.7003.485
4. Moher, D., et al. (2010). CONSORT 2010 Explanation and Elaboration: updated guidelines for reporting parallel group randomised trials. BMJ, 340, c869. https://doi.org/10.1136/bmj.c869
5. Lakens, D., Scheel, A. M., & Isager, P. M. (2018). Equivalence Testing for Psychological Research: A Tutorial. Advances in Methods and Practices in Psychological Science, 1(2), 259–269. https://doi.org/10.1177/2515245918770963
6. Boutron, I., Dutton, S., Ravaud, P., & Altman, D. G. (2010). Reporting and Interpretation of Randomized Controlled Trials With Statistically Nonsignificant Results for Primary Outcomes. JAMA, 303(20), 2058–2064. https://doi.org/10.1001/jama.2010.651
7. Boutron, I., et al. (2014). Impact of Spin in the Abstracts of Articles Reporting Results of Randomized Controlled Trials in the Field of Cancer: The SPIIN Randomized Controlled Trial. Journal of Clinical Oncology, 32(36), 4120–4126. https://doi.org/10.1200/JCO.2014.56.7503
8. Perneger, T., & Gayet-Ageron, A. (2023). Evidence of Lack of Treatment Efficacy Derived From Statistically Nonsignificant Results of Randomized Clinical Trials. JAMA, 329(23), 2050–2056. https://doi.org/10.1001/jama.2023.8549
9. Schünemann, H. J., et al. Chapter 15: Interpreting results and drawing conclusions. Cochrane Handbook for Systematic Reviews of Interventions. https://www.cochrane.org/authors/handbooks-and-manuals/handbook/current/chapter-15