AIでアンケート設問を整える前に：「二つ聞き」を分ける

一つの設問カードから二つの質問カードに分かれ、別々に答えられる様子を描いたイラスト。

生成AIにアンケートの文章を整えてもらうと、読みやすい文案が返ってくることがあります。ただし、文がなめらかでも、一つの質問で別々の判断を求めていれば、回答の意味は分かりにくいままです。

例えば、勉強会の後に「説明は分かりやすく、時間も適切でしたか？」と聞くと、説明の分かりやすさと時間について一度に尋ねています。説明はよかったけれど長すぎた、という人が一つの回答を選んでも、どちらへの評価か分かりません。

複数の観点を一つの質問で尋ねる形は、二重質問と呼ばれます。Pew Research Centerの設問作成ガイドも、一度に一つの質問をすることを勧めています。回答しにくく、結果も解釈しづらくなるためです。

先に決めるのは「何を知りたいか」

AIに分けてもらう前に、回答を見たあと何を判断したいかを一つずつ書き出します。この例なら、知りたいのは次の二点です。

説明は分かりやすかったか
勉強会の所要時間は適切だったか

二つの回答によって改善先を別々に決めるなら、質問を分ける意味があります。一方、知りたいことが「勉強会全体への満足度」だけなら、「勉強会全体に満足しましたか？」のように一つの評価を尋ねれば足ります。文中に「と」「そして」があるだけで機械的に分けず、回答者が二つの点に違う答えをしたとき、その違いを使いたいかで判断します。

AIには「二つに分ける」と「余計な点を足さない」を頼む

知りたい点を決めたら、その条件と元の質問を一緒に渡します。元の「時間」が所要時間の長さか、開始・終了時刻かは、AIではなく依頼する人が決めます。ここでは所要時間の長さを知りたい例として、次のように頼みます。個人情報や実際の回答は使わず、まずは一般的な例で試せます。

次のアンケート設問を、回答者が一つずつ答えられる形にしてください。知りたいのは「説明の分かりやすさ」と「所要時間の長さ」です。元の「時間」は所要時間の長さを指します。この二点以外の評価軸を加えず、元の意味を変えない質問を二つ提案してください。各質問が何を尋ねるかも短く示してください。
元の設問：「勉強会の説明は分かりやすく、時間も適切でしたか？」

分割案の形は、例えば次のようになります。

勉強会の説明は分かりやすかったですか？
勉強会の所要時間は適切でしたか？

これは設問案であり、回答者が理解しやすいことを確認した結果ではありません。依頼文で意味を指定しても、AIの案が元の意図からずれていないかは人が確かめます。

出力は元の目的と一問ずつ照合する

AIの案をそのままアンケートへ移さず、次の点を確認します。

質問が二つに分かれ、それぞれ一つの判断を尋ねているか
二つの案が、最初に決めた知りたい点に一つずつ対応しているか
満足度や資料の質など、頼んでいない評価項目が増えていないか
回答の選択肢が各質問に合っているか

一方だけを知ればよいと気づいたら、もう一つを削って構いません。質問数を増やすこと自体が目的ではありません。また、以前と同じ設問で結果を比べる調査では、言い換えによって比較条件が変わることがあります。Pew Research Centerも、時系列で比較する場合は質問の文言をそろえる重要性を説明しています。過去の結果との比較が必要なら、設問の変更を調査の責任者と確認してください。

次の一問で試す

次に作るアンケートの下書きから、質問を一つだけ選びます。別々に答えられそうな判断に下線を引き、それぞれの答えが異なる場合に知りたいことも別々か考えます。分ける意味があると決めたときに限り、上のように条件を添えてAIに案を出してもらい、目的と照らし合わせます。

重要な調査では、設問を整えたことだけで妥当性が確認できたとは考えないでください。Pew Research Centerの解説は、新しい質問への回答のされ方を確かめるため、調査票の事前テストを設計過程の重要な段階として説明しています。回答者にとって重要な判断に使う調査なら、配布前に対象者に近い人へ試し、質問の受け取り方や答えにくさを確認します。

AIへ実際のアンケート回答、氏名や連絡先、顧客・従業員が特定できる情報、社内の機密、外部サービスへの入力が許可されていない設問案を渡さないでください。入力可否が分からない場合は、架空の例文だけで手順を試します。