本取り組みはDentsu Lab Tokyoが2022年6月に立ち上げた「ALL PLAYERS WELCOME」の一環です。
アルスエレクトロニカ・フェスティバルでは、Dentsu Lab TokyoとNTTによる最新の筋電研究に関する対談の他、ALS(筋委縮性側索硬化症)※1と共生し、DJでもあるWITH ALS代表の武藤将胤さんによるライブパフォーマンスを東京からリモートで披露します。
テクノロジーの進化により、身体機能に制限のある方でも“筋電”を活用することで、リアルタイムで自身の意思や感覚と連動したアバター操作やコミュニケーションが可能になる未来を目指します。
※1:ALS(筋委縮性側索硬化症)は、運動神経が損傷し、脳から筋肉への指令が伝わらなくなることで、全身の筋肉が少しずつ動かしにくくなる病気です。体を自由に動かすことができなくなっても、脳の機能は変わらず、意識や考えもはっきりしています。
-
今回のチャレンジ
「Project Humanity」のアバター操作では、身体に生体情報を取得する筋電センサを装着し、自身の微細な筋活動によって得られる生体情報を操作情報に変換し、アバターの自由な操作を実現します。実験室での試験では、身体(首、腕、足)の6ケ所に筋電センサを設置し、ALS共生者の意思で動作した部分の筋電データが得られることを確認しました。
リアル空間での見た目では、微細なALS共生者の動きも、筋電データとして見ると、はっきりとした波形で検出されます。NTTは、センシングしたデータをアバター操作情報に変換し、その操作情報を用いて、DLTがメタバース上に生成した6種類のモーション(手を挙げる、ジャンプする、歩くなど)から視線による選択をすることで、メタバース上に作成したアバターがアクションを自由に発動できるシステムです。
今回のアルスエレクトロニカのステージでは、メタバース空間においてALS共生者の意思でわずかに動作する自らの身体を動かすことでアバターを操作し、DJとして観客を盛り上げてきたの身体表現をアバターによって再現し、会場を盛り上げます。
-
実施背景
「世界には、まだ使われていないクリエイティビティがたくさんある。」私たちはそう考えています。そのきっかけとなったのが「TOKYO2020パラリンピック」です。パラリンピック開会式演出や競技会場の演出の中で、多くのパラアスリート、パラパフォーマーと出会い、ともに演出や仕組みを作りました。その中で、武藤将胤さんをはじめ、多くの素晴らしいクリエイティビティや気づきを持つ人と出会いました。そして、世界が彼ら、彼女らの力や才能や気づきもっと享受することで、世界はもっとよくなることに気づきました。これを「All Players Welcome」というプロジェクトの中で推進しています。さらに想いを共にしたDentsu Lab Tokyo、NTT、WITH ALSは最新テクノロジーを活用した研究開発を通じて、オリジナル操作UIの開発や無償公開だけに留まらず、メタバース空間でのALS進行による身体の制約からの解放や、会話や表現をより豊かに、よりスムーズに他者と交流し合える世界の実現を目指す活動を開始しました。
■Dentsu Lab Tokyo、NTT、WITH ALS3社協働の取り組みについて
https://prtimes.jp/main/html/rd/p/000000020.000088502.html
-
アルスエレクトロニカ・フェスティバルについて
アルスエレクトロニカ・フェスティバルは、オーストリアのリンツ市を拠点に40 年にわたり「先端テクノロジーがもたらす新しい創造性と社会の未来像」を提案し続けている、世界的なクリエーティブ機関です。今年は2023年9月6日~10日の日程でオーストリアのリンツでメディアアートに関するイベントを開催します。
登壇概要
・イベント名:アルスエレクトロニカ・フェスティバル
・日程:日本時間 9月8日(金)
・場所:オーストリア・リンツ
・会場:Deep Space 8K
・登壇者:田中直基(Dentsu Lab Tokyo)、中村真理子(NTT)、武藤将胤(WITH ALS)
・「Project Humanity」プロジェクト公式サイト:https://project-humanity.live/
・イベント公式サイト:https://ars.electronica.art/festival/en/
-
Dentsu Lab Tokyoについて
Dentsu Lab Tokyo(デンツウラボトウキョー)は、研究・企画・開発が一体となったクリエーティブのR&D組織です。「PLAYFUL SOLUTION」「おもいもよらない」をフィロソフィーとしながら、デジタルテクノロジーとアイデアによって、人の心を動かす表現開発や、いま世の中が求める社会の課題解決を実践しています。
公式サイト:https://dentsulab.tokyo/