技術革新が進むAIのディープラーニング技術はファッションデザインを作ったりブログの文章を代筆したりと様々な創作分野にも進出しつつあります。今回、前原研究室が取り組んだシステムは複数のAIモデルを組み合わせて起承転結のあるストーリーとその内容に合う挿絵を自動生成します。生成した画像や文章を、異なる構造・異なる教師データにより作られた別のAIが取捨選択する仕組みにより、自然な形の絵本を自動で生成することを目指した研究は2つの専門学会にて学会賞を受賞しました。本学の研究を取り上げて頂けたら幸いです。
※画像関連学会連合会 第8回秋季大会「優秀ポスター賞」
※日本バーチャルリアリティー学会 第25回サイバースペースと仮想都市研究会シンポジウム「優秀発表賞」
-
ＡＩは物語を考えるか？ストーリーに連続性を持たせるには
ユーザーとAIが対話的にストーリーを組み上げていくこれまでの先行研究と異なり、本研究はユーザーの負荷を最小限とする「自動生成」を目指しています。今回試作したシステムでは初めにキーワードとなる文章を入力すると、後に続く文章を起承転結の４つのステップで連続生成。さらにそれぞれのステップで文章に合う画像を生成します。AIは絵本全体の構成や情感を理解しません。しかし、文章を生成する段階で起承転結それぞれに冒頭の接続詞を設定することで、自動生成される文章はつながりをもち、絵本として成立することが分かりました。また、画像間が違和感なくつながるように生成するための条件についても明らかにし、絵本として鑑賞し易い画像を作り出すことも可能になりました。
-
異なるネットワーク・教師データにより構成されたＡＩが文章・画像を選択する
近年のAIの技術発展は脳の神経伝達を模倣した「ニューラルネットワーク」という仕組みに基づいています。膨大な教師データを学習したAIがそれぞれのネットワークを基に最適なアウトプットを行います。この研究ではAIが生成する複数の文章・画像の候補に対し、別の構造を持つネットワークを異なる教師データにより学習させたAIによって、自然な画像と文章が自動的に選択されていくように設計しています。画像生成にはOpenAI社のDALL-E、文章の生成にはOpenAI社のGPT-2を日本語用にrinna社が学習させたjapanese-gpt-1b。画像の選択にTrier大のVL-T5、文章の選択にはユーザーローカル社のテキストマイニングツールといったそれぞれ異なる目的で開発されたAIツールを使用しました。
-
あなたの選択肢からＡＩがストーリーと絵を作る。リアルタイム絵本制作のデモが可能です
研究成果を基に、AIによる絵本制作の簡単なデモが可能です。ユーザーが初めに選んだキーワードからその後に続くストーリーをAIが組み立てていき、同時にストーリーに合う画像を生成します。膨大な教師データを学習した複数のAIが連携して生成するオリジナル絵本の1編が10分で完成します。
