ドクター・フォックス効果とは？「話し上手なら中身が空でも高評価」の1973年実験を、40年後の追試はどう裁いたか

社内の勉強会で、話し上手な講師の回は満足度アンケートの点が高く、あとで内容を聞くと誰もうまく説明できない。逆に、ぼそぼそ話す専門家の回は評価が低いのに、なぜか実務で使われている。こうした食い違いは、研修や学会、営業のプレゼンでも珍しくありません。

「中身よりも話し方で評価が決まる」。この通説には、1973年の有名な実験が裏付けとして引き合いに出されてきました。俳優に「でたらめな講義」をさせたところ、専門家の聴衆が高評価をつけたという実験です。研究者の名前ではなく、俳優が名乗った偽名から「ドクター・フォックス効果（Dr. Fox effect）」と呼ばれています。

ところがこの実験は、発表直後から方法の甘さを指摘され、2014年には元の映像を使った追試が行われました。その結果、通説の一部は支持され、一部は否定されています。この記事では、原典と追試、そして2010年代の「流暢な講師」実験までをたどります。そのうえで、話し方が評価と学習のどちらに効くのかを整理します。

ドクター・フォックス効果とは何か

ドクター・フォックス効果とは、話し手の表現力が高いと、内容の乏しい講義でも聴衆が好意的に評価してしまう現象を指します。1973年にナフトゥリンらが医学教育誌で報告した実験に由来します。

実験の設定はこうです。研究チームは俳優を雇い、「アルバート・アインシュタイン医科大学のマイロン・L・フォックス博士」として紹介しました。演題は「数学的ゲーム理論の医師教育への応用」です。俳優はゲーム理論について、7ページの一般向け記事を1本読んだだけでした。台本は、意味のない専門用語もどき、話の飛躍、前後で矛盾する主張を意図的に詰め込んだものです。講演は約19分、その後に約20分の質疑応答が行われました。

聴衆は精神科医、心理学者、ソーシャルワーク教育者、教育行政官などの専門家で、3つの研修会に分かれて聴講しました。回答者は合計55名です。講演後には「話し手はテーマに関心を持っていたか」「例は十分だったか」「整理されていたか」「思考を刺激したか」といった質問に「はい／いいえ」で答えてもらいました。その結果、どのグループでも好意的な回答が非好意的な回答を有意に上回りました。研究チームはこれを「教育的誘惑（educational seduction）」と名づけました。聴衆は「学んだ気」にさせられた、というのが当時の結論です。

ここで注意したいのは、この実験が測ったのは「講義への満足度」であって、「実際に学んだ量」ではない点です。この区別が、後の議論のすべての出発点になります。

表現力と内容は、評価と学習にどう効くのか

1975年の追試では、表現力は評価と学習の両方を上げ、内容の量は学習を上げました。ただし、表現力が高いときには、内容の差が評価に反映されなくなりました。これが「ドクター・フォックス効果」の実験的な定義です。

ウェアとウィリアムズは1975年、同じ講師に6種類の講義をさせました。内容の量を3段階（少・中・多）、表現力を2段階（高・低）に変え、207名の学生をいずれかに割り当てます。学生は満足度を評価し、26問の到達度テストを受けました。結果は3つに整理できます。

• 表現力の高い講義を聴いた学生は、テストの成績も高くなりました。
• 内容の多い講義を聴いた学生も、テストの成績が高くなりました。
• ところが満足度は、表現力が低いときだけ内容の量を反映しました。表現力が高いと、内容が少なくても多くても評価は高止まりしました。

つまり「表現力は無意味な飾り」ではありません。表現力は学習にも効いています。問題は、表現力が高いと評価が内容の差を検知しなくなることです。この関係を図1に示します。

1982年にはアブラミ、レベンサル、ペリーがこの系統の研究をメタ分析にまとめています。結論は明快です。講師の表現力は評価に大きく効き、学習には小さく効く。講義の内容は学習に大きく効き、評価には小さく効く。評価と学習は、同じものを測っていないと考えたほうが自然です。

※メタ分析とは、同じテーマの複数の研究結果を統計的に統合し、効果の大きさと安定性を調べる手法です。単独の実験より結論の信頼性が高いとされます。

「学んだ気にさせられた」は本当か──2014年の追試

2014年の追試では、高評価そのものは再現しましたが、「学んだと思い込まされた」という主張は否定されました。学んだかを直接たずねると、「学んだ」と答えた人は35％、37％、27％にとどまったのです。

カーネギーメロン大学のペアとヘブライ大学のババッドは、1973年の講義映像そのものを使って追試しました。質問票も当時のものをほぼそのまま用いています。背景には、学生による授業評価（SET）の妥当性論争があります。原典は「評価は当てにならない」根拠として350回以上引用され続けていました。しかも、ある研究者が引用者70名に問い合わせたところ、返答した48名のうち映像を実際に見た人は5名だけでした。

追試は3つの研究からなり、合計で400名以上の学生が参加しています。検証された仮説と結果は次のとおりです。

※「有意差なし」とは、観察された差が偶然の範囲を超えるとは言えない、という意味です。差が「ゼロ」と証明されたわけではありません。

要するに、聴衆はでたらめな講義を「面白かった」「話し手は熱心だった」と評価しました。しかし「学んだか」と聞かれると、大半が正直に「いいえ」と答えたのです。1973年の質問票には「学んだか」という項目がありませんでした。そのため満足度の高さが「学んだ気にさせられた」と読み替えられてしまった、というのが追試の結論です。

ゲーム理論を学んだ院生の反応も示唆的です。彼らも質問票では6割近くが好意的に答えましたが、終了後の説明の場では「あの講義はでたらめだった」と口々に述べたといいます。評価票は、聴衆が本当に思っていることのごく一部しか拾っていません。

なめらかな話し方は、なぜ「学んだ気」を生むのか

2010年代の実験では、同じ内容を「なめらかに」話すと、聴衆は「よく学べた」と感じましたが、記憶テストの成績は変わりませんでした。話し方は、学習そのものより「学べたという感覚」に強く効きます。

アイオワ州立大学のカーペンターらは2013年、同じ講師が同じ台本を2通りに話した65秒の動画を用意しました。「流暢条件」では背筋を伸ばし、カメラを見て、メモなしで身振りを交えて話します。「非流暢条件」では演台に前かがみになり、メモを読み上げ、視線を落とし、つかえながら話します。学部生42名がどちらかを視聴し、10分後にどれだけ思い出せるかを予測したうえで、記憶テストを受けました。

流暢な講師を見た学生は、思い出せる量を大幅に高く予測しました。差の大きさは効果量 d＝1.03です。一方、実際に思い出せた量には差がありませんでした。講師の評価は「整理されていた」「知識がある」「準備していた」「効果的だった」の4項目で測りました。すべての項目で、流暢条件は5点満点中およそ4点、非流暢条件は1.5点前後でした。

※効果量 d は2つの群の平均の差を、ばらつきの大きさで割った指標です。0.2で小、0.5で中、0.8で大が目安とされます。d＝1.03は「大きな差」に相当します。

2018年にはトフトネスらが、同じ手法を31分の講義に広げて追試しました。流暢な講師はやはり高く評価され、学生は「より多く学べた」と見積もりました。しかし記憶テストの成績は、直後でも翌日でも2条件で差がありませんでした。カーペンターらはこの現象を、話し手のなめらかさを自分の理解度と取り違える「学習の錯覚」と呼んでいます。

背景にあるのは処理流暢性（processing fluency）です。人は、情報が楽に処理できたとき、その情報を「わかった」「正しい」「覚えた」と感じやすくなります。読みやすいフォントや整った資料が信頼を集める仕組みと同じ回路が、話し手のなめらかさにも働きます。逆に言えば、流暢すぎる話し手が「軽く」見られる場面もあり、流暢さは万能ではありません。

この効果は、講義の外でも起きるのか

授業評価の研究では、評価の高い教員のクラスほど学生がよく学ぶ、という関係は弱いか、ほとんど確認できません。評価と学習のずれは、教室に限った話ではなく、聴衆が話し手を採点するあらゆる場面で起こりえます。

ウトルらは2017年、複数クラスで同じ試験を使った97件の研究をメタ分析しました。すると、小規模な研究ほど評価と成績の相関が高く、大規模な研究では相関がほぼ消えていました。小さな研究ほど目立つ結果が公表されやすい「出版バイアス」を考慮して再分析すると、授業評価が説明できる成績のばらつきは最大でも1％程度でした。

※出版バイアスとは、はっきりした結果が出た研究ほど論文になりやすく、差が出なかった研究が埋もれる偏りのことです。放置すると効果が実際より大きく見えます。

逆方向のずれも報告されています。ハーバード大学のデローリエらは2019年、物理の授業で「能動的に問題を解く回」と「うまい講師が講義する回」を比べました。学生は講義の回を「学べた」と感じましたが、テストの成績は能動的な回が上回りました。学びが多いときほど、その場では「わかった感」が下がることがあります。

ビジネスの場面に置き換えると、次のような構図です。プレゼン直後の「良かった」という反応は、話し手の表現力に強く左右されます。一方、提案の中身がどこまで理解されたか、翌週に何が残っているかは、別の指標で測らないと見えません。これは一つの目立つ長所が評価全体を引き上げるハロー効果と地続きの問題です。

研究の限界と、まだ割れている点

ドクター・フォックス効果の研究には、はっきりした限界があります。結論を使う前に、次の点を押さえておく必要があります。

• 1973年の原典は対照群がなく、回答者55名の単発調査でした。「聴衆が騙された」と言えるだけの設計ではありません。
• 追試の多くは1回限りの講義や、65秒から31分の動画を使っています。1学期を通した関係や、繰り返し接する上司・講師への評価には、そのまま当てはめられません。
• 表現力が学習にどれだけ効くかは、研究によって差があります。1975年の実験では表現力が成績を上げましたが、2013年と2018年の実験では成績に差が出ませんでした。講義の長さや内容の難しさで結果が変わると考えられています。
• 「学んだか」という自己申告も、あくまで本人の感覚です。学習の錯覚が起きているかどうかは、記憶テストのような客観的な指標で確かめる必要があります。

したがって、この記事から言えるのは「話し方は評価に強く効き、学習には弱く効く。そして評価は学習の代わりにならない」という範囲までです。「話し方さえ良ければ内容は要らない」とも、「話し方は無意味だ」とも言えません。

明日からできること：評価と学習を分けて設計する

実務での対策は、表現力を捨てることではなく、表現力・内容・測定の3つを分けて設計することです。表現力は聴衆の注意と好意を確保し、内容は学習を生み、測定がその2つのずれを検出します。

1. 表現力は上げる。ただし「学んだ感」の演出には使わない

1975年の実験では、表現力の高い講義のほうがテスト成績も高くなりました。視線、身振り、声の抑揚、間の取り方は、聴衆の注意を保つ道具として機能します。熱量が伝わる仕組みを使わない理由はありません。ただし、なめらかに話せば話すほど、聴衆は自分の理解を過大評価します。難しい箇所では、あえて「ここは一度止まって確認します」と速度を落とすほうが、理解のずれを防げます。

2. 内容の密度は落とさない。評価が下がらないからこそ危ない

表現力が高いと、内容を削っても評価は下がりません。これは話し手にとって、内容を薄くしても気づかれない、という危険な状態です。スライド1枚ごとに「この枚で聴衆が新しく知る事実は何か」を書き出し、答えられない枚は削るか統合します。評価票ではなく、自分で内容の密度を点検するしかありません。

3. 「学んだか」を、満足度とは別に測る

2014年の追試が示したように、満足度の質問だけでは学習はわかりません。研修なら、終了時に3問の確認テストを入れる。営業のプレゼンなら、終了後に相手に「今日の提案を一言で言うと何ですか」と尋ねる。社内の説明会なら、翌週に「先週の決定事項を3つ挙げてください」と聞く。聴衆に「説明できるか」を試してもらう設計が、錯覚を見抜く唯一の方法です。

研究者の学会発表や講義でも同じことが言えます。座長や聴衆の反応の良さと、研究内容が正確に伝わったかは別の指標です。発表資料の段階で「聴衆が持ち帰る主張は1文で何か」を固めておくと、表現力に頼らずに内容を届けられます。研究者向けの発表・申請書支援では、この「持ち帰る1文」の設計から一緒に組み立てています。

よくある質問

ドクター・フォックス効果は再現されていますか？

「表現力の高い話し手が高評価を得る」という部分は、1975年の追試でも2014年の追試でも再現されています。ただし「聴衆が学んだと思い込まされた」という部分は、2014年の追試で否定されました。学んだかを直接たずねると、多数派は「学んでいない」と答えています。

話し方より内容を重視すべき、ということですか？

どちらか一方ではありません。1975年の実験では、表現力も内容もそれぞれ学習を高めました。表現力は聴衆の注意と好意を確保し、内容が学習を生みます。問題は、表現力が高いと評価が内容の差を検知しなくなる点です。だからこそ、内容の密度を自分で点検する必要があります。

アンケートの満足度が高ければ、研修は成功と言えますか？

満足度だけでは判断できません。授業評価の大規模なメタ分析では、評価と成績の関係は最大でも1％程度しか説明できませんでした。満足度に加えて、確認テストや「一言で説明してもらう」など、学習を直接測る指標を組み合わせる必要があります。

なめらかに話せない人は不利ですか？

評価の面では不利になりやすいのは事実です。2013年の実験では、同じ内容でも非流暢な講師は5点満点で1.5点前後の評価でした。ただし記憶テストの成績は流暢な講師と変わりませんでした。話し方の練習は評価のために意味がありますが、内容が伝わっていないと悲観する必要はありません。

まとめ

ドクター・フォックス効果の原典は、俳優のでたらめな講義に専門家が高評価をつけた1973年の実験です。ただし当時の質問票には「学んだか」という項目がありませんでした。2014年の追試では高評価は再現されましたが、「学んだ」と答えた人は3割前後にとどまりました。「学んだ気にさせられた」という解釈は否定されています。

一方で、なめらかな話し方は「学べたという感覚」を膨らませます。その感覚が実際の記憶とずれることは、2013年と2018年の実験で確認されました。話し方は評価に強く効き、学習には弱く効く。そして評価は学習の代わりになりません。

次の一歩は、自分の発表やプレゼンに「学んだかを測る仕掛け」を1つ足すことです。終了後の3問テスト、相手に一言で要約してもらう、翌週の確認質問。どれか1つで、満足度の陰に隠れたずれが見えるようになります。

出典

1. Naftulin, D. H., Ware, J. E., & Donnelly, F. A. (1973). The Doctor Fox lecture: A paradigm of educational seduction. Journal of Medical Education, 48(7), 630–635. ResearchGate
2. Ware, J. E., & Williams, R. G. (1975). The Dr. Fox effect: A study of lecturer effectiveness and ratings of instruction. Journal of Medical Education, 50(2), 149–156. PubMed
3. Abrami, P. C., Leventhal, L., & Perry, R. P. (1982). Educational seduction. Review of Educational Research, 52(3), 446–464. SAGE
4. Peer, E., & Babad, E. (2014). The Doctor Fox research (1973) rerevisited: “Educational seduction” ruled out. Journal of Educational Psychology, 106(1), 36–45. PDF
5. Carpenter, S. K., Wilford, M. M., Kornell, N., & Mullaney, K. M. (2013). Appearances can be deceiving: Instructor fluency increases perceptions of learning without increasing actual learning. Psychonomic Bulletin & Review, 20(6), 1350–1356. PDF（著者版）
6. Toftness, A. R., Carpenter, S. K., Geller, J., Lauber, S., Johnson, M., & Armstrong, P. I. (2018). Instructor fluency leads to higher confidence in learning, but not better learning. Metacognition and Learning, 13, 1–14. Springer
7. Uttl, B., White, C. A., & Gonzalez, D. W. (2017). Meta-analysis of faculty’s teaching effectiveness: Student evaluation of teaching ratings and student learning are not related. Studies in Educational Evaluation, 54, 22–42. ScienceDirect
8. Deslauriers, L., McCarty, L. S., Miller, K., Callaghan, K., & Kestin, G. (2019). Measuring actual learning versus feeling of learning in response to being actively engaged in the classroom. Proceedings of the National Academy of Sciences, 116(39), 19251–19257. PNAS