第23章 機械は人を説得できるか — ディープフェイクとGEOの時代の倫理

ある日、見知らぬアカウントからメッセージが届きます。文面は驚くほど丁寧で、こちらの仕事の内容を正確に踏まえていて、悩んでいたことにちょうど触れている。返事を書きかけて、ふと手が止まる。この相手は、人間だろうか。

別の日、取引先の役員が話している動画がまわってきます。声も、口の動きも、あの人の癖もそのままです。でも本人は、そんなことを一度も言っていない。

この二つは、種類の違う出来事に見えて、じつは同じ一点を壊しています。目の前の相手が誰なのか、私たちはどうやって知っていたのかという一点です。第3章のアリストテレス以来、説得の三要素の筆頭に置かれてきたエトスは、「誰が言っているか」がわかることを前提にしていました。その前提が、いま技術的に揺らいでいます。

本章では三つの問いを順に扱います。機械は人を説得できるのか。できるとして、それはどこまで危険なのか。そして、読み手が人間だけではなくなった世界で、伝え方はどう変わるのか。最後に、この連載が第2章から抱えてきた倫理の問題に戻ります。

1. 機械は、実際に人を説得できるのか

まず事実関係から。ここ数年、LLMの説得力を人間と比較する実験が相次いで報告されています。結果を一言でまとめると、条件つきで、人間と同等かそれ以上です。ただしこの「条件つき」がかなり重要です。

討論実験が示したこと

代表的な設計はこうです。参加者を、人間の相手と議論する群と、LLMと議論する群に分ける。議論のテーマは事前に態度を測っておき、議論後にもう一度測る。どちらがより相手の意見を動かしたかを比べる。

複数の研究で報告されているのは、相手の属性情報（年齢、職業、政治的傾向など）を与えたパーソナライズ条件において、LLMが人間の説得者を上回るケースがある、というものです。属性情報なしの条件では、差はずっと小さくなります。つまり効いているのは弁論の巧みさというより、相手に合わせる能力のほうだと考えられます。

陰謀論を、対話で解きほぐした実験

より印象的なのが、2024年にサイエンス誌に掲載されたコステロ、ペニークック、ランドらの研究です。陰謀論を強く信じている参加者に、その信念の内容を自分の言葉で説明してもらい、LLMがそれに対して個別に、事実に基づいた応答を数往復返す。それだけの介入です。

結果、参加者の陰謀論への確信度は平均して約20パーセント低下し、その効果は2か月後の追跡でも維持されていました。陰謀論的信念は変えにくいというのが長年の通説だったので、これは相当に驚かれた結果です。

なぜ効いたのか。研究者たちの解釈は、AIが特別に賢いからではなく、人間が普通はやらないことをやったからだというものです。相手の主張を最後まで聞く。個別の論点に個別に答える。馬鹿にしない。飽きない。怒らない。何度でも付き合う。人間の議論が失敗する理由の大半は、論理ではなく態度にあった、ということでもあります。

これは第14章で見たフェスティンガーの認知的不協和理論とも符合します。人は正面から否定されると防御に入り、かえって信念を固めます。相手のペースで、相手が自分で考え直す余地を残す対話は、その防御を発動させにくい。技術の勝利というより、忍耐の勝利だと読むほうが正確でしょう。

ただし、限界もはっきりしている

• 効果量は、多くの実験で「小さいが有意」の範囲にとどまる。劇的な洗脳のようなものではない。
• 被験者の多くはオンラインの調査パネル参加者で、報酬を得て真面目に読む人たちである。日常のタイムラインで同じことが起きる保証はない。
• 相手がAIだと知らされた場合、説得効果が下がるという報告が複数ある。つまり効果の一部は、人間だと思っていることに由来している可能性がある。
• 測っているのは態度の自己申告であり、行動の変化ではない。
• 長期の追跡は限られており、日常環境に戻ったあと元に戻る度合いはよくわかっていない。

「AIは人間より説得がうまい」という見出しは、正確ではありません。正確には、AIは、人間が面倒でやらない種類の丁寧さを、無限に安く供給できる。強さの源泉は能力ではなくコストです。第22章で見た限界費用ゼロの話が、そのまま説得の領域に持ち込まれた形になります。

2. パーソナライズ説得 — 可能性と、その裏側

効いているのが「相手に合わせる能力」だとすると、次に問題になるのは、その能力がどこまで安くなるかです。

マイクロターゲティングという先行例

2017年、マッツらは、受け手の性格特性——外向性や開放性といった尺度——に合わせて広告の文面を変えると、クリック率や購買率が上がることを報告しました。同じ商品でも、外向的な人には「みんなと楽しむ」、内向的な人には「自分の時間を大切に」と書くほうが効く、という話です。

この研究は大きな話題になり、同時に激しい批判も受けました。効果量が小さいこと、特性の推定精度が高くないこと、そして現実の選挙などで喧伝されたほどの効果は確認されていないこと。研究者コミュニティの現在の見方は、「効果はあるが、恐れられているほど強力ではない」というあたりに落ち着いています。

しかし、コスト構造が変わった

ここまでのマイクロターゲティングは、いくつかのセグメントに分けて、それぞれに文面を用意する方式でした。作れる文面の数には、制作コストという上限があった。

LLMはこの上限を外します。一人ひとりに対して、その人の過去の発言、語彙、関心、時間帯に合わせたメッセージを、その場で生成できる。しかも会話として、反応を見ながら調整できる。セグメントの数が、人数と同じになるということです。

これは説得の歴史における、かなり大きな転換です。第10章で見たル・ボンの群衆心理は、多数を一度に動かす技術についての理論でした。第12章のラジオも、第9章の新聞も、同じ方向を向いていた。マスメディアの時代とは、全員が同じメッセージを受け取る時代のことでした。いま起きているのは、その正反対です。

いちばん怖いのは、検証できなくなること

個別化された説得の本当の危険は、効果の強さではありません。誰も同じものを見ていないという点です。

全員が同じ広告を見ていた時代には、社会的な反証が働きました。誰かが「あの広告はおかしい」と言えば、多くの人がそれを確かめられた。ジャーナリズムも監視できた。個別化された説得では、これができません。あなたに届いたメッセージを、他の誰も見ていない。批判の対象が存在しないのです。

第11章で見たバーネイズの「見えない統治」は、少なくとも同じ舞台の上で行われていました。いまの構造は、舞台そのものが人数分あります。倫理の議論をするうえで、これは能力の問題よりずっと本質的です。

3. ディープフェイクと「見れば分かる」の終焉

人類がいちばん長く使ってきた真偽の判定装置は、顔と声です。目の前の相手の表情を見て、声の震えを聞いて、信じるかどうかを決める。この判定装置は、少なくとも数十万年は現役でした。

19世紀に写真が発明されたとき、この判定装置は機械に拡張されました。写真は「そこにそれがあった」ことの証拠として扱われ、裁判でも報道でも証拠力を持つようになります。映像と録音も同じ道をたどりました。20世紀を通じて、「映っている」「録れている」は、ほぼ「本当だ」と同義でした。

もちろん写真の加工は昔からありました。修整、合成、演出。しかし加工には技能と時間が必要で、専門家が見れば検出できることが多かった。つまり第22章の言葉で言えば、偽造コストが十分に高かった。だから信号として機能していた。

いま起きていること

生成技術は、このコストを崩しました。数十秒の音声サンプルから話者の声を再現し、写真数枚から動画を作る。すでに、経営者の声を模した指示による送金詐欺や、家族を装った音声による詐欺が現実に報告されています。技術的な検出も研究されていますが、生成側と検出側のいたちごっこであり、決定的な解決には至っていません。

本当の危険は「嘘つきの配当」のほう

ただ、ここでよく指摘される最大の危険は、偽物を信じてしまうことではありません。法学者のロバート・チェスニーとダニエル・シトロンが2019年に「嘘つきの配当（liar’s dividend）」と名づけた現象のほうです。

ディープフェイクが存在すると誰もが知っている世界では、本物の証拠を突きつけられた人が「それはAIが作ったものだ」と言い逃れできるようになります。偽物が本物のふりをすることより、本物が偽物扱いされうることのほうが、社会的な影響は大きい。証拠という制度そのものが弱くなるからです。

これは第2の糸——新しいメディアへの不安——の系譜のなかでも、かなり深刻な位置にあります。プラトンが文字を批判したとき（第2章）、彼の懸念は「書かれた言葉は誰が書いたかを保証しない、質問しても答えない」というものでした。2400年後、私たちは同じ懸念を、動画と音声について抱えることになりました。エトスのインフラそのものが揺らいでいると言ってよいでしょう。

では、何がエトスを担保するのか

歴史を振り返ると、エトスの担保方法は何度も交代してきました。顔と声から始まり、署名と封蝋、印章、社名と紙面、放送局の免許、そしてSNSの認証バッジへ。そのつど、それまでの担保が偽造可能になったから、次の担保が発明されてきた。

いま実装が進みつつあるのは、コンテンツの来歴（provenance）を記録する仕組みです。誰が、いつ、どの機材で作り、どこで編集したかを、暗号署名つきのメタデータとして持ち回る。カメラメーカーとソフトウェア企業の連合による規格づくりが進んでおり、一部の機材やサービスで実装が始まっています。

ただし、これも万能ではありません。署名のないコンテンツが即座に偽物になるわけではないし、署名つきの真正な素材で嘘をつくことも可能です。「本物であることの証明」は、「言っていることが正しいことの証明」ではない。ここは混同されやすい点です。

4. 読者が人間だけではなくなった — AIO/GEOという新しいレトリック

ここまでは「機械が説得する側になる」話でした。もう一つ、対称的な変化があります。機械が読む側になるという変化です。

じつは20年前から始まっていた

検索エンジン最適化（SEO）は、すでに「非人間の読者」に向けた書き方の技術でした。見出しの構造、内部リンク、要約文。あれは検索エンジンというクローラーに読ませるためのレトリックです。人間だけを読者と想定していた2000年以上の伝統に、初めて別種の読者が加わったのが、この20年でした。

いま起きているのは、その読者の質的な変化です。検索エンジンはリンクを並べるだけでしたが、生成AIは読んで、要約して、答えてしまう。利用者はもとの記事にたどり着かないまま、答えだけを受け取る。となると、目指すべきは「上位に表示されること」ではなく「引用されること」になります。

引用される側になるための条件

生成エンジン最適化（GEO）や、AI最適化（AIO）と呼ばれはじめている領域です。まだ確立された知見は少なく、経験則の段階にありますが、いくつかの方向は見えています。

• 主張が一文で明確に書かれていること。曖昧な文章は要約に耐えない。
• 根拠と出典が、その主張の近くに書かれていること。
• 固有の一次情報——自分で取った数字、自分の事例——が含まれていること。他所と同じ内容なら、他所が引用される。
• 構造が明快で、見出しと本文の対応が取れていること。
• 書き手が誰であるかが、外部から確認できること。

興味深いのは、この条件のほとんどが、人間の読者にとっても良い書き方と一致していることです。第7章で見た平明文体の要求とほぼ同じで、第4章のキケロが説いた「主張・根拠・例」の構造とも重なる。機械の読者は、いまのところ、かなり真面目な人間の読者に似ています。

ただし、逆転の危険がある

第21章で見た構図がここでも顔を出します。書き手が、読者ではなく分類器に向かって書きはじめる問題です。SEOの20年が生んだのは、良質な記事だけではありませんでした。キーワードを詰め込み、無意味に長く、結論を後ろに引き延ばす記事の山でもあった。

GEOでも、同じことが起きうる。「AIが引用しやすい文体」が「人間が読みたい文体」から乖離しはじめたとき、どちらを取るのか。この問いは、伝え方に関わるすべての人が、遠からず自分で答えることになります。私自身の立場は明快です。最終的な受け手が人間である以上、人間を優先する。機械はあくまで経路であって、目的地ではありません。

5. 倫理 — プラトンの告発から2400年

ここで、この連載がずっと抱えてきた問題に戻ります。

第2章で見るように、プラトンは『ゴルギアス』でレトリックを「料理術」と呼びました。医術が体に良いものを与えるのに対し、料理術は口に快いものを与える。真実ではなく快楽を与える技術だ、という批判です。第11章のバーネイズは、その批判が正しかったことを、20世紀の産業規模で証明してしまった人でもありました。

いまの問いは、能力ではなく非対称性

AI時代の倫理的な問いは、「機械が説得してよいのか」ではありません。人間だって説得します。問題は非対称性です。相手が自分について自分より詳しく、疲れず、何度でも試行でき、その試行の結果を誰も見ていない。この四つが揃ったとき、それはもう対話ではありません。

説得・操作・強制を、どう分けるか

哲学と実務の議論では、おおむね次の線引きが使われます。合理的説得は、相手の理性的な判断能力を通じて働きかけるもの。操作は、その判断能力を迂回して働きかけるもの。強制は、選択肢そのものを奪うもの。

この線は、実務では三つの問いに翻訳できます。第一に、その手法を使っていることを相手に説明できるか（透明性）。第二に、相手が後から知ったときに撤回できるか（可逆性）。第三に、その説得が誰の利益になるか（利益の所在）。三つとも問題なければ、それは説得です。一つでも引っかかるなら、操作の側に足を踏み入れています。

この基準は、AIを使うかどうかとは独立に成立します。だから便利です。「AIだから危ない」ではなく、「その使い方が非対称性を生んでいるか」で判断できる。

6. 三本の糸の現在地

糸①：エトス・パトス・ロゴスの輪廻

本章で見たのは、エトスの土台が技術的に掘り崩される場面でした。顔と声という、人類最古の信頼の根拠が信用できなくなる。かわりに求められるのが来歴と検証可能性であり、これは第22章の結論とまっすぐつながっています。エトスは消えるのではなく、より制度的で、より面倒な形になっていきます。

糸②：新メディアへの不安の反復

「AIが人を操る」という不安は、ラジオが群衆を狂わせるという1930年代の恐怖と、構造としてはよく似ています。そして第14章で見たように、あのときの恐怖は誇張でした。今回も、実験が示す効果量は世間の想像よりずっと控えめです。ただし、控えめだから安全とは言えない。効果が小さくても、コストがゼロなら、規模で補えるからです。ここが過去の反復と違う点です。

糸③：科学化の歩み

説得の研究は、ついに実装される段階に来ました。理論が機械のなかで動き、その挙動を実験で測れる。これは科学として大きな前進です。同時に、実験の多くを実装した企業自身が行い、外部の追試ができないという問題も抱えています。第21章で触れたねじれが、ここでも繰り返されています。

明日から使える3つの実装

実装1：重要な連絡には、必ず二つ目の経路を用意する

音声も映像も文面も偽造できる以上、単一チャネルでの確認は原理的に不十分です。金銭や機密が絡む依頼は、必ず別の経路で確認する運用を、いまのうちに標準にしておく。折り返し電話、共有された合言葉、対面。これは技術の問題ではなく、業務手順の問題です。安く、確実に効きます。

実装2：AIを「反論係」として使う

陰謀論実験が示したのは、丁寧に反論されると人は考え直す、ということでした。これは自分に対しても使えます。企画書を書いたら、AIに「この提案の最も強い反論を5つ」と頼む。人間の同僚は遠慮しますが、機械は遠慮しません。第21章の実装3で挙げた接種理論を、自分自身に打つやり方です。

実装3：三つの問いで、自分の手法を点検する

何かを伝える手法を採用するとき、透明性・可逆性・利益の所在、この三つを自問する。相手に説明できるか。相手が後で撤回できるか。誰が得をするのか。所要時間は30秒です。この30秒が、2400年間ずっと問われてきた問いへの、現代の答え方になります。

まとめ

機械は人を説得できます。ただしその強さは、賢さではなくコストの安さから来ています。相手に合わせ、忍耐強く、何度でも付き合うことが無料になった。効果量そのものは実験上おおむね控えめですが、無限に安いものは規模で効きます。

より深刻なのは、エトスの土台のほうです。顔と声が証拠でなくなり、本物が偽物扱いされうるようになった。そして個別化された説得は、社会的な反証が働かない場所で行われます。技術が壊したのは説得の均衡ではなく、検証の可能性でした。

それでも、判断の基準そのものは古いままです。透明性、可逆性、利益の所在。プラトンが料理術と呼んだものを、私たちはまだ料理術と呼び続けるべきなのか。それとも、彼自身が『パイドロス』で示唆したように、真の弁論術はありうるのか。その問いには、第2章で正面から向き合います。

さて次章では、少し角度を変えます。第24章「神経美学と『感動の設計』」。美しいと感じるとき、脳では何が起きているのか。ゼキの神経美学、ラマチャンドランの芸術の法則、処理流暢性と美の関係。そして、生成AIが作品を作れるようになったいま、作者性とは何なのか。第8章でカントが「主観的普遍性」と呼んだ謎に、現代科学がどこまで答えられたのかを見ていきます。

主要参考文献

• Costello, T. H., Pennycook, G. & Rand, D. G. (2024) “Durably reducing conspiracy beliefs through dialogues with AI,” Science, 385(6714).
• Matz, S. C., Kosinski, M., Nave, G. & Stillwell, D. J. (2017) “Psychological targeting as an effective approach to digital mass persuasion,” PNAS, 114(48).
• Chesney, R. & Citron, D. K. (2019) “Deep Fakes: A Looming Challenge for Privacy, Democracy, and National Security,” California Law Review, 107.
• Salvi, F., Ribeiro, M. H., Gallotti, R. & West, R. (2025) “On the conversational persuasiveness of GPT-4,” Nature Human Behaviour.
• Festinger, L. (1957) A Theory of Cognitive Dissonance, Stanford University Press.
• Bernays, E. L. (1928) Propaganda, Horace Liveright.
• Susser, D., Roessler, B. & Nissenbaum, H. (2019) “Online Manipulation: Hidden Influences in a Digital World,” Georgetown Law Technology Review, 4(1).
• Bakir, V. & McStay, A. (2018) “Fake News and The Economy of Emotions,” Digital Journalism, 6(2).