アンケート調査とChatGPT（GPT4）では異なる回答が出る～ChatGPTとアンケートの回答比較調査～

マーケティングリサーチ会社の株式会社アスマーク（東京都渋谷区東、代表取締役：町田正一）は、1ヵ月に1回以上ECサイトで買い物をする20代～50代男女に「ChatGPTとアンケートの回答比較調査」を実施し、同様の内容をChatGPTに回答させた結果を比較し、6月2日に調査データとして公開しました。
※調査日は2022年4月11日(火)～4月13日(木)です。

【調査結果】
対話型AIの進化により、ChatGPTやBardなどが登場し、様々な業界で大きな変革が起こっています。近い将来、これらのAIが既存のビジネスモデルを根本から変える可能性が指摘されています。一部の企業では、すでにビジネスにこれらのAIを応用し、新たなサービスを生み出しています。そのため、どのように対話型AIを活用するかが、多くのビジネスパーソンが直面する重要な課題となっています。
対話型AIの利用を始める際、多くの人が「検索」のような基本的な使い方から試みることでしょう。AIが一見、合理的な回答を提供するため、ビジネスの信頼性を高めるツールとして活用することもあります。しかし、対話型AIの回答がどの程度適切なのかについては疑問が残ります。例えば、アンケート調査の結果と比較した場合、どの程度の差異が生じるのでしょうか？
この度、対話型AIがアンケート調査の代替となり得るかを検証するため、アンケート調査とChatGPTの回答を比較することにしました。

※今回使用したAIはChatGPT（GPT4）で、特別なプロンプトは使用せず、レポートに記載された指示と選択肢だけを提示し、回答を出力させています。また、Q2（自由記述回答）については、ChatGPTが生成した文章（568文字）をテキストマイニングにかけています。

＜トピックス＞

ChatGPTとアンケートで結果が大きく異なるものが多くみられる
ECサイトで購入したことがあるもの（よく購入されるもの）、ランキングに大きく差がある
ECサイトで購入する理由、ChatGPTでは時事ネタに関するワードが考慮されていない
一部、アンケートとランキングが一致する回答もある

※調査結果のダウンロードはこちら
https://www.asmarq.co.jp/data/chatgpt-enquete/

＜ピックアップ＞
■ECサイトで最も購入したことがあるもの（最もよく購入されるもの）
Q.

アンケート設問

あなたが、ECサイトで最も多く購入したことがあるものを、1つだけお知らせください。（単一回答）
ChatGPT設問

以下の中から一般的にECサイトで最も多く購入されているものを、お知らせください。

ECサイトで購入したことがあるもののランキングで、【アンケート】と【ChatGPT】で最も順位に差があったのは「キッズ・ベビー・玩具」で、【アンケート】では15位、【ChatGPT】では3位とかけ離れている。次いで「コスメ・健康・医薬品」「スポーツ・アウトドア」と続いている。

ECサイトで最も購入したことがあるもの（最もよく購入されるもの）

■ECサイトで買い物をする理由
Q.

アンケート設問

あなたが、ECサイトで買い物をする理由をお答えください。（自由記述）
ChatGPT設問

ECサイトで買い物をする理由をお答えください（できるだけ具体的に。)

ECサイトで買い物をする理由は【アンケート】と【ChatGPT】共に、「ポイント還元」「実店舗(販売店)」「商品」などのワードが多くあげられており、「お得であること」「利便性」「使い勝手の良さ」などを重視されていることがわかる。一方で、【アンケート】では「コロナ」などの時事ネタに関するワードがあげられているが、【ChatGPT】の方ではあげられていない。

ECサイトで買い物をする理由

■「配送」に関する満足度
Q.

アンケート設問

あなたが最も多く利用するECサイトの「配送」に関する満足度を、項目別にお知らせください。（MTSA）
ChatGPT設問

一般的に最も多く利用するECサイトの「配送」に関する満足度を、以下の項目別に順位付けしてお知らせください。

「配送」に関する項目別満足度ランキングは【アンケート】では、1位「配送の正確さ」2位「配送スピード」3位「商品の到着状態の良さ」となっている。【ChatGPT】では、1位「商品の到着状態の良さ」2位「配送料金の妥当性」3位「追跡サービスの有無」となっているが、2位の「配送料金の妥当性」は、【アンケート】では9位となっており、大きな順位の違いが見られた。

「配送」に関する満足度

■「送料」に関する満足度
Q.

アンケート設問

あなたが最も多く利用するECサイトの「送料」に関する満足度を、項目別にお知らせください。（MTSA）
ChatGPT設問

一般的に最も多く利用するECサイトの「送料」に関する満足度を、以下の項目別に順位付けしてお知らせください。

「送料」に関する満足度

【　すべての調査結果はこちら　】
https://www.asmarq.co.jp/data/chatgpt-enquete/
※上記ページにて、集計表を含むデータを無料でダウンロードしていただけます。

【　調査内容　】

ECサイトで購入したことがあるもの（よく購入されるもの）
ECサイトで最も購入したことがあるもの（最もよく購入されるもの）
ECサイトで買い物をする理由
「配送」に関する満足度
「サポート対応」に関する満足度
「送料」に関する満足度
「商品」に関する満足度
「使用感」に関する満足度
「信頼性」に関する満足度

【　調査概要　】
調査名：ChatGPTとアンケートの回答比較調査
調査対象者：1ヵ月に1回以上ECサイトで買い物をする20～50代男女
有効回答数：800サンプル
割付　：性年代均等回収
調査期間：2022年4月11日(火)～4月13日(木)
調査方法：Webアンケート
調査機関：株式会社アスマーク