株式会社データグリッド（京都府京都市、代表取締役CEO 岡田 侑貴、以下「データグリッド」）と株式会社ドコモgacco（東京都港区、代表取締役社長 佐々木 基弘、以下「ドコモgacco」）および株式会社データミックス（東京都千代田区、代表取締役社長 堅田 洋資、以下「データミックス」）は、ドコモgaccoが無料オンライン講座プラットフォーム「gacco®(ガッコ)」で提供するAIを活用した学習向け動画コンテンツを活用し、AIで生成した講師動画の視聴者への影響を調査しました。
■ 調査結果サマリー
● AIで生成した講師動画と人間による講師動画の受講状況に大きな差はなかった
● 受講者による動画視聴後テストの正答率もAIと人間の動画では大きな差はなかった
● AIで生成された音声・動画について、受講者の約６割が自然だと感じた
▇ 調査内容
調査方法：動画視聴状況のモニタリングおよびアンケート
調査対象：20代から50代の男女73名 ※1
調査期間：2022年2月28日（月）10時〜2022年3月6日（日）
調査機関：株式会社データミックス
年齢の平均と標準偏差が近しい値になるようランダムに、(i) AIで生成した講師動画 ※２（以下、AI動画）を視聴するグループ、(ii) 人間による講師動画（以下、リアル動画）を視聴するグループの2つのグループに分け、それぞれにドコモgaccoが提供するコース「ビジネスマナー」と「異文化コミュニケーション」の動画を視聴していただき、受講結果を比較・分析しました。
※1 調査の計画段階では、下記の想定で進め調査対象者を集めました。
・今回の分析では、同⼀コースにおいてAI動画とリアル動画を⽐較するために「スチューデントのt検定」を実施。
・同⼀コースで同じテストを⾏うため等分散を仮定。
・その際に、以下の条件下で必要なサンプル数を算出し、調査対象⼈数を決定。
有意⽔準：5%、検出⼒：80%、効果量：0.77（2群の差：0.1/標準偏差：0.13)
・取得後、テストの受講者の⼈数と実際の標準偏差を考慮し以下の条件で検定を⾏なった。
有意⽔準：5%、検出⼒：80%、効果量：0.72（2群の差：0.16/標準偏差：0.22)
※2 AIを活用した動画作成について
https://datagrid.co.jp/news/761/
■ 調査結果
● AIで生成した講師動画と人間による講師動画の受講状況に大きな差はなかった
AI動画、リアル動画の両方において、動画が進むにつれて視聴完了ユーザーの割合が低下する傾向にありますが、AI動画、リアル動画を比較すると、AI動画の方が視聴完了ユーザーの割合が高い場合もあることがわかりました。
▲「ビジネスマナー」コース視聴時にスキップした回数が0回の割合（枠で囲ってある部分）
縦軸はスキップした人数の割合、横軸はスキップした回数を表しています。
また、動画をスキップ（seek）した回数をヒストグラムにし、割合を確認しました。「ビジネスマナー」「異文化コミュニケーション」どちらの動画でも、AI動画とリアル動画を比較すると、AI動画の方がスキップ（seek）した回数が0回の割合が高く、スキップ（seek）せずに視聴していることがわかります。
● 視聴後のテストの正答率はAI動画、リアル動画で大きな差はなかった
各動画の課題提出者を対象に、平均値と標準偏差を計算したところ、「ビジネスマナー」においてわずかにリアル動画を視聴したグループの方が高かったものの、大きな差はないことがわかりました。
● AIで作成された音声・動画は6割の方が自然だと感じた
学習後に行ったアンケートで、AI動画を視聴したグループのうち6割が「とても自然」「まあ自然」と回答しました。
▇ 今後の展望
データグリッドとドコモgaccoは、2020年度よりAIを活用した学習動画の作成サービスを提供してきましたが、一部のお客様からその学習効果や視聴、習得への影響に不安を感じるという声をいただいておりました。
今回の調査ではAIで生成した講師動画と人が講師の動画を実際に視聴していただき、比較することで、AI動画の方が視聴完了率が高く、習得度への影響もほとんどないことがわかりました。また、学習後のアンケートでは映像や音声の機械的な印象や違和感など、改良の余地も発見された一方で、AIによる動画の作成は講師による説明のわかりやすさのバラつきを抑えることが期待できます。
AI技術による動画制作は、講師の方の稼働を軽減しながら動画制作を効率的に行っていただけます。今後も引き続きAI動画についての調査分析を行い、ご利用者のみなさまが各講座をより安心して効果的に受講していただくためにサービス向上に取り組んでまいります。
▇ 会社概要
● 株式会社データグリッド
[代 表 者 ] 岡田 侑貴
[事業内容] シンセティックAIを活用したソリューションの共同開発及びAIプロダクトの提供
[設 立] 2017年7月5日
[所 在 地 ] 京都府京都市左京区吉田本町36番地1 京都大学国際科学イノベーション棟
[U R L] https://datagrid.co.jp/
● 株式会社ドコモgacco
[代 表 者 ] 佐々木 基弘
[事業内容] 無料で学べる大学講座「gacco®」の運営・法人向けeラーニングサービス「gacco for Biz」の提供
[設 立] 2009年9月18日
※NTTナレッジ・スクウェア株式会社として設立（2015年8月25日に株式会社ドコモgaccoに商号変更）
[所 在 地 ] 東京都港区南麻布1丁目6番地15号
[U R L] https://gacco.co.jp/
● 株式会社データミックス
[代 表 者 ] 堅田 洋資
[事業内容] データサイエンス領域における教育プログラム企画・開発・運営、法人向け研修プログラムの提供、データサイエンス人材の人材紹介事業、教育・研修現場の課題に対するソリューションシステムの企画・開発、データ・AI活用やデジタルビジネスのコンサルティングなど
[設 立] 2017年2月
[所 在 地 ] 東京都千代田区神田神保町２−４４ 第２石坂ビル 2F
[U R L] https://datamix.co.jp/
