近年、メタバースのサービスにおいて、3D空間でのアバターの表現力向上が期待されています。多くの人々が集まるメタバースでのアバター技術は、個々のユーザーによる表現力とリアルタイムのモーション生成技術の融合であり、その技術向上はクリエイターエコノミーとしての価値や可能性を拡げるものになります。今回公開した映像はREALITYが提供するスマートフォン向けメタバース「REALITY」で利用できるアバターとスマートフォンからの顔認識に、表現力高く汎用的な音楽演奏表現を実現する「AI Fusion技術」を融合させることで実現したミュージックビデオ風のデモ映像です。
研究内容
実験用に書き起したオリジナル楽曲「ツユハナビ」(作詞作曲・菜那) にあわせてピアノ、エレキギター、エレキベース、ドラムの4種類の楽器の正しい演奏を行う腕や指の動作を生成。今回発表したアバター操作アシストAI技術「AI Fusion」により、全身のモーションや表情を動的に融合させ、リアルタイム映像で自然で高度な演奏パフォーマンスを自由に行うことを可能にしています。歌唱の表情はスマートフォン向けメタバース「REALITY」と共通のアルゴリズムで収録し、全身動作はVFX映画の製作などに使われる株式会社クレッセント（本社：東京都江東区、代表取締役：小谷 創）にて収録しました。
技術部分の解説を下記動画で公開しております。
https://youtu.be/qzcH6BDHT9U
今後の展望
今回開発した技術を使用して、将来的には任意の楽曲を自由な空間で、スマートフォンだけで歌唱や高度な演奏を他のユーザーと同時に全身動作で表現できる可能性があります。近い将来、サイバー万博のようなオンラインイベントが当たり前になる時代では、現在のカラオケにあたるような「誰でも、楽しく、自己表現ができる」体験は、アバターとメタバースで活躍するクリエイターエコノミー創出の時代であり、その基盤技術となることが期待できます。メタバース時代の研究開発にご興味をお持ちの法人さま、研究機関、実証研究のご提案など、この機会にぜひ下記からお問い合わせください。
お問い合わせ先： jp-gi-vr@gree.net
■関連リンク
・特設Webサイト（動画・画像・ダウンロード）： https://vr.gree.net/lab/uxdev/meta-dreamers/
・これまでのUXDevシリーズ： https://vr.gree.net/lab/uxdev/
・Twitter @VRStudioLab
・REALITY会社説明資料：https://speakerdeck.com/realityinc/reality-introduction
・採用サイト：https://reality.inc/jobs/
・募集ポジション：https://hrmos.co/pages/1218800560317673472/jobs
・グリーグループ新卒採用：https://corp.gree.net/jp/ja/recruit/
GREE VR Studio Laboratoryは、メタバース時代のユーザー体験やXRライブエンターテインメント関連技術の研究開発・異業種との研究開発連携強化、業界振興・人材の支援発掘や育成を通し、メタバース時代における人とコンピューティングの新時代を切り拓いていきます。
GREE VR Studio Laboratoryとは“なりたい自分で、生きていく。” を ビジョンとするREALITYにおいて、GREE VR Studio Laboratoryは、メタバース時代の近未来のUX (ユーザ体験) を開発する UXDev という研究を行っています。スマートフォン向けメタバース「REALITY」の魅力的なアバターとコミュニケーション体験をそのままに、より「なりたい自分になれる」体験をわかりやすい映像でYouTubeチャンネル(https://j.mp/VRSYT)にて発信しています。
