同じ質問なのに、なぜ答えが変わる？ 質問順序効果で見直す顧客ヒアリング

顧客へのヒアリングで、最初に「現在のウェブサイトで困っていることはありますか」と聞き、その後に満足度を尋ねたとします。別の担当者は、最初に満足度を聞いてから、困りごとを深掘りしました。質問の内容はほぼ同じです。それでも、二人が持ち帰る「顧客の評価」は同じになるとは限りません。

先に不満を思い出してもらえば、その不満が後の全体評価に入りやすくなります。反対に、回答者が「さっき不満について答えたのだから、今度はそれ以外を答えるのだろう」と受け取れば、不満を除いて全体を評価することもあります。質問は、頭の中にある答えをそのまま取り出す容器ではありません。何を思い出し、どこまでを含め、どの尺度へ置くかを、その場で組み立てるきっかけです。

この記事では、質問の並びが回答を変える「質問順序効果」と、回答欄の並びが選択を変える「選択肢の順序効果」を分けて説明します。その上で、顧客ヒアリング、利用者調査、社内アンケートの結果を、意思決定に使える形で集める手順を考えます。

結論：全体を先に聞き、順序を変えた二版で確かめる

回答者の現在の評価をできるだけ偏りなく測りたいなら、基本は全体から詳細へです。最初に総合的な評価や自発的な困りごとを聞き、その後で個別の機能、場面、出来事を尋ねます。個別の話題を先に並べると、その話題が全体評価の基準になりやすいからです。

ただし、正しい順番が一つだけあるわけではありません。営業面談で課題を見つける順番と、調査で現在の評価を測る順番は目的が違います。探索では深掘りが必要ですが、測定では聞き手が答えを作っていないかを確かめる必要があります。

実務では、次の五段階を使います。

1. 目的をそろえる：何を判断するための質問か、対象期間と言葉の意味を明示する
2. 全体を先に聞く：総合評価や自発的な困りごとを、個別項目より前に置く
3. 詳細を聞く：機能、場面、原因、具体例を一つずつ確かめる
4. 二つの順序で試す：順番を入れ替えた質問票を用意し、回答者を分ける
5. 結果を比べる：順序で差が出る項目は、単独の数値として断定せず文脈を記録する

順序を入れ替える目的は、影響を魔法のように消すことではありません。特定の話題や選択肢が、全員にとっていつも先頭になる偏りを散らし、結果が順番に左右されていないかを見つけるためです。

答えは「保存済みの意見」ではなく、その場で組み立てられる

TourangeauとRasinskiは1988年、態度を尋ねられた人が答えに至る過程を整理しました。大まかに言えば、回答者は質問の意味を解釈し、関係する記憶や考えを呼び出し、それらをまとめて判断し、最後に用意された選択肢へ当てはめます。

この過程では、頭の中にある関係情報をすべて調べるわけではありません。そのとき思い出しやすい一部の情報を使います。直前の質問で扱った話題は思い出しやすくなるため、次の答えへ入りやすくなります。質問の順番は、回答内容の外側にある飾りではなく、何を材料に答えるかを決める一部です。

たとえば、ウェブサイトの総合満足度を聞く前に、「問い合わせフォームで迷った経験」「料金表が分かりにくかった経験」「表示が遅かった場面」を順に聞けば、不便だった記憶が集められます。その直後の総合評価は、何も思い出していない状態で尋ねた評価より、不満を強く反映するかもしれません。

逆に、先に「最も価値を感じた機能」「助かった場面」「期待以上だった点」を聞けば、肯定的な経験が評価材料として前に出ます。どちらも回答者の本音ですが、切り取った文脈が違います。「本音を聞いた」と言う前に、何を先に思い出してもらったかを見る必要があります。

デートの質問が、人生の満足度との関係を変えた

質問順序効果の有名な研究が、Strack、Martin、Schwarzによる1988年の実験です。大学生に、人生全体への満足度と、デートの頻度を尋ねました。

人生への満足度を先に聞いた条件では、デート頻度との相関はマイナス0.12でした。ところが、デート頻度を先に聞いた条件では、相関は0.66になりました。先に恋愛生活を思い出したことで、その情報が「人生全体」を判断する材料へ入りやすくなったと考えられます。

この数字だけを見て、「質問順を変えれば、どんな調査結果でも自由に動かせる」と考えるのは行き過ぎです。研究は特定の大学生と質問を扱ったもので、すべてのテーマで同じ大きさの差が出るわけではありません。大切なのは、総合評価が固定された値ではなく、直前に呼び出された情報によって変わり得るという点です。

顧客ヒアリングへそのまま効果量を当てはめることもできません。しかし、「全体としてどう評価していますか」の直前に、特定の失敗や成功を詳しく思い出してもらうと、その話題が総合評価を代表しやすいという危険は、質問票を見直す十分な理由になります。

同じ個別質問でも、全体評価に足されたり、引かれたりする

質問順序の影響は、先の情報が後の評価へ単純に足されるだけではありません。Schwarz、Strack、Maiは1991年、個別の質問と全体の質問を続けるとき、回答者が二つを「同じ会話のまとまり」と受け取るかどうかで結果が変わると論じました。

二つが別々の話題に見えると、先の個別質問で思い出した情報を、後の全体評価にも使いやすくなります。これが同化です。一方、同じ調査の中で似た質問を続けると、回答者は「同じことを二度答える必要はない」と考えることがあります。すると、先に答えた部分を全体評価から外し、それ以外を評価しようとします。これが対比です。

たとえば、会議ツールの音声品質を詳しく評価した直後に「このサービス全体に満足していますか」と聞いた場合を考えます。音声品質が総合評価へ足される人もいれば、「音声のことはもう答えたので、今度は操作性や価格について聞かれている」と解釈する人もいます。質問者が意図していなくても、回答者は会話として自然な意味を推測します。

そのため、「全体質問を必ず先に置く」は有力な基本ですが、万能ではありません。質問群の見出し、説明文、画面の分割、聞き手のつなぎ言葉も、回答者がどこまでを同じ話題と捉えるかに影響します。質問文だけを表計算に並べて確認するのではなく、実際に見える画面と話される順番で試す必要があります。

質問の順番と、選択肢の順番は別の問題

混同しやすいのが、質問そのものの順序と、一つの質問内に並べる回答選択肢の順序です。

• 質問順序効果：前の質問が、次の質問の解釈や思い出す内容を変える
• 選択肢の順序効果：同じ質問でも、選択肢を見せる・読み上げる順番が選択を変える

KrosnickとAlwinは1987年、1984年のGeneral Social Surveyに組み込まれた順序を入れ替える実験を分析しました。書面で複数の選択肢を見せると、前半の選択肢が選ばれやすい傾向があり、とくに回答を十分に検討する負荷が高い人で影響が強いという予測が支持されました。

一方、口頭で選択肢を一つずつ聞く場合は、最後に聞いた項目が記憶に残りやすくなります。Holbrookらは2007年、Gallupの電話調査に含まれた548件の実験を分析しました。順序の影響が現れた質問は一部でしたが、出た場合は後半の選択肢を選ぶ傾向が中心でした。質問が理解しにくい、選択肢が長い文である、選択肢どうしが重なる、先に多くの質問へ答えて疲れている、といった条件で起きやすくなりました。

つまり、紙の質問票をそのまま読み上げれば、同じ測定になるとは限りません。Schwarzらの1991年の研究整理も、対面、電話、自記式といった実施方法が、質問順序や選択肢順序の影響に関わることを示しています。ウェブフォーム、オンライン面談、電話聞き取りで結果を比較するなら、質問文だけでなく、選択肢の見え方と回答の進め方も記録します。

急いで答える人ほど、最初の選択肢で止まりやすい

ウェブ調査では、回答者が好きな速さで進められます。Malhotraは2008年、米国成人397人を対象に、ハリケーン・カトリーナへの関心や政治主体への評価を尋ね、回答選択肢の順番を反転しました。

結果は、回答時間の短さだけで全員の品質を判断できるというものではありませんでした。ただし、学歴が低く、特に速く回答した一部の参加者では、先に示された選択肢を選ぶ偏りが強く見られました。論文では、最も速い約5%で大きな偏りが観察されています。

ここから「短時間で終えた回答をすべて削除する」と決めるのは危険です。速くても内容を理解している人はいます。調査の長さ、端末、通信環境、回答者の慣れでも時間は変わります。先頭選択への偏り、同じ番号の連続、自由記述との矛盾など、複数の手掛かりと組み合わせて確認します。

より根本的な対策は、回答者が急いでも偏りにくい質問票にすることです。長い選択肢を減らし、一つの質問で一つのことだけを聞き、重ならない選択肢を用意し、似た項目の順番を回答者ごとに変えます。

公式の調査機関は、順序をどう扱っているか

Pew Research Centerは、質問の前半が後半へ文脈を与えるため、関連する選択肢や項目の順序を無作為に変えることがあると説明しています。無作為化しても順序の影響そのものは消えません。しかし、ある項目だけが常に先頭に置かれる偏りを、回答者全体へ散らせます。

同時に、すべてを無作為化すべきではありません。「非常に満足」から「非常に不満」のように順序自体に意味がある尺度は、ばらばらにすると答えにくくなります。この場合は、段階の並びを保ったまま、半数には肯定側から、残りの半数には否定側から見せる方法があります。

米国国勢調査局の質問票設計指針は、対面、電話、紙、ウェブなど実施方法が違っても、同じ回答者が同じ意味の答えを返せることを目標にしています。見た目を機械的に同一にすることではなく、質問の意味と意図を一貫させる考え方です。質問の言葉、選択肢、並び、補足説明を、利用する方法に合わせて調整します。

実務では、無作為化ができない面談も多くあります。その場合でも、担当者が自由に順番を変えない共通台本を作り、重要な総合質問を最初に置き、質問順を記録すれば、後から比較しやすくなります。

「共通基盤づくり＋信頼の設計」で、質問の意味をそろえる

伸滋Designの伝わる設計マップでは、立場や前提が異なる人と同じ方向を向く場面に「共通基盤づくり＋信頼の設計」を使います。質問設計では、回答者を誘導するためではなく、何について、どの範囲で答えるのかをそろえるために使えます。

目的を一文で伝える

「新機能を褒めてもらうため」ではなく、「次の改修で優先する場面を決めるために、過去30日の利用経験を伺います」と伝えます。回答の使い道が分かれば、回答者は営業への遠慮と利用上の評価を分けやすくなります。

対象期間と用語をそろえる

「最近」「使いやすい」「成果が出た」は、人によって範囲が違います。「過去30日」「問い合わせ作成から送信完了まで」「作業時間が短くなった」のように、答える範囲を具体化します。言葉の前提をそろえる考え方は、部門間の認識をそろえる境界オブジェクトの記事にもつながります。

不都合な答えも歓迎すると伝える

質問者が制作や営業の担当者であると、回答者は関係を壊さない答えを選ぶことがあります。「良かった点だけでなく、途中で止めた場面も改修材料になります」と先に伝えます。耳の痛い情報が避けられる仕組みについては、情報回避を防ぐ資料の伝え方も参考になります。

測定と提案を時間で分ける

相手の評価を測っている途中で、「その課題なら新機能で解決できます」と提案すると、その後の答えは営業会話への反応を含みます。まず現在の経験を聞き切り、回答を確認してから提案へ移ります。質問を増やす方法やフォローアップの使い方は、質問とファクトファインディングの記事で詳しく説明しています。今回は、その質問が測定値を変えないための順番に焦点を当てています。

実務例：ウェブサイト改修前の顧客ヒアリング

企業サイトの改修前に、既存顧客10人へオンライン面談を行う場面を考えます。判断したいのは、「どの情報を最初に改善すべきか」です。

避けたいのは、冒頭から「料金が分かりにくくありませんでしたか」「事例が少ないと感じませんでしたか」と候補を読み上げる進め方です。その後に「一番の課題は何でしたか」と聞くと、質問者が挙げた候補から選ぶ会話になりやすくなります。

次の順番なら、自発的な評価と個別の確認を分けられます。

1. 目的、対象期間、守秘の扱いを説明する
2. 「サイトを使った場面を、最初から順に教えてください」と自由に話してもらう
3. 「最も迷った場面」「最も役立った情報」「途中で確認できなかったこと」を聞く
4. 回答者が挙げなかった項目について、料金、事例、問い合わせ方法を一つずつ確認する
5. 最後に「一つだけ直すなら、どこですか」と優先順位を聞く

さらに10人を5人ずつに分け、片方は「料金→事例→問い合わせ」、もう片方は「問い合わせ→事例→料金」の順で個別項目を聞きます。少人数なので統計的に一般化はできませんが、順序を変えただけで特定項目の評価が大きく動くなら、その数値を確定的な優先順位として扱う前に、追加の確認が必要だと分かります。

面談の最後には、聞き手が「私の理解では、最初の画面で対象サービスを判断できず、事例ページへ進んだ後に料金を探した、ということですね」と要約し、回答者に訂正してもらいます。共通基盤を確認することで、聞き手の解釈が記録へ混ざるのを減らします。

質問票と面談台本のチェックリスト

• この質問結果で何を判断するかを一文で書いた
• 探索して課題を見つけるのか、評価を測るのかを分けた
• 対象期間、対象場面、重要な用語を明示した
• 総合評価と自発的な困りごとを、個別項目より先に置いた
• 一つの質問で一つのことだけを聞いている
• 個別質問が、後の総合質問の答えを誘導していない
• 似た選択肢が重なっていない
• 書面、ウェブ、口頭で選択肢の見え方が変わることを確認した
• 順序に意味がない項目は、無作為化または反転できる
• 順序に意味がある尺度は、段階をばらばらにしていない
• 重要な質問は、順序を変えた二版で事前に試した
• 質問文だけでなく、見出し、説明、画面分割、つなぎ言葉も確認した
• 担当者が変わっても、同じ順序と補足で聞ける台本がある
• 面談中の提案を、現在評価の測定より後に置いた
• 質問順、実施方法、変更履歴を結果と一緒に保存した
• 順序を変えて結果が動いた項目を、断定的に報告していない

研究の限界：質問順序だけ直しても、よい調査にはならない

紹介した研究の多くは、大学生への実験、社会調査、電話調査、政治や生活満足度の質問を扱っています。BtoBの顧客面談、デザイン要件の聞き取り、社内の一対一面談を直接検証したものではありません。対面の会話には、表情、関係性、質問者の肩書、相手の期待など、さらに多くの要因が入ります。

順序効果は、すべての質問で同じ方向・同じ大きさに現れるわけでもありません。同化になるか対比になるかは、話題のまとまり方や回答者の解釈で変わります。回答選択肢の偏りも、質問の難しさ、提示方法、疲労、回答者の知識によって変わります。

また、順序を無作為化しても、曖昧な質問、偏った回答者の集め方、二つの論点を一度に聞く質問、誘導的な言葉は直りません。順序は調査品質の一部です。事前面談、少人数での試行、回答後の確認を組み合わせます。

一方で、営業の対話では、相手が考えやすい順番へ意図的に導くことがあります。それ自体が悪いわけではありません。問題は、その会話で得た数値や発言を、順序の影響を受けていない「客観的な顧客の声」として扱うことです。説得のための質問と、測定のための質問を区別します。

まとめ：よい質問は、言葉だけでなく順番まで設計されている

回答者は、質問を読んだ瞬間に、意味を解釈し、関係する記憶を呼び出し、判断し、選択肢へ当てはめます。直前の質問は、思い出す内容と「今度は何を答えるべきか」という会話上の推測を変えます。回答選択肢も、書面では前半、口頭では後半が選ばれやすい条件があります。

顧客の現在評価を測るなら、全体を先に聞き、詳細を後に置きます。重要な項目は順序を変えた二版で試し、実施方法と順序を結果に残します。「共通基盤づくり＋信頼の設計」で目的、対象期間、言葉の意味、回答の使い道をそろえ、測定が終わってから提案へ移ります。

伸滋Designでは、顧客の声を集める面談台本から、調査結果を提案資料へ翻訳する構成まで、目的と意思決定に合わせて設計します。ヒアリングをしても担当者ごとに結論が違う、アンケート結果をどこまで信じてよいか分からない、集めた声が提案へつながらないといった課題があれば、お問い合わせページからご相談ください。

参考文献

1. Strack, F., Martin, L. L., & Schwarz, N. (1988). Priming and Communication: Social Determinants of Information Use in Judgments of Life Satisfaction. European Journal of Social Psychology, 18(5), 429–442.
2. Schwarz, N., Strack, F., & Mai, H.-P. (1991). Assimilation and Contrast Effects in Part-Whole Question Sequences: A Conversational Logic Analysis. Public Opinion Quarterly, 55(1), 3–23.
3. Tourangeau, R., & Rasinski, K. A. (1988). Cognitive Processes Underlying Context Effects in Attitude Measurement. Psychological Bulletin, 103(3), 299–314.
4. Krosnick, J. A., & Alwin, D. F. (1987). An Evaluation of a Cognitive Theory of Response-Order Effects in Survey Measurement. Public Opinion Quarterly, 51(2), 201–219.
5. Holbrook, A. L., Krosnick, J. A., Moore, D., & Tourangeau, R. (2007). Response Order Effects in Dichotomous Categorical Questions Presented Orally. Public Opinion Quarterly, 71(3), 325–348.
6. Malhotra, N. (2008). Completion Time and Response Order Effects in Web Surveys. Public Opinion Quarterly, 72(5), 914–934.
7. Schwarz, N., Strack, F., Hippler, H.-J., & Bishop, G. (1991). The Impact of Administration Mode on Response Effects in Survey Measurement. Applied Cognitive Psychology, 5(3), 193–212.
8. Pew Research Center. Writing Survey Questions.
9. Martin, E., Childs, J. H., DeMaio, T., Hill, J., Reiser, C., Gerber, E., Styles, K., & Dillman, D. (2007). Guidelines for Designing Questionnaires for Administration in Different Modes. U.S. Census Bureau.