本取り組みはDentsu Lab Tokyoが2022年6月に立ち上げた「ALL PLAYERS WELCOME」の一環です。
※1 ALS（筋委縮性側索硬化症）は、運動神経が損傷し、脳から筋肉への指令が伝わらなくなることで、全身の筋肉が少しずつ動かしにくくなる病気です。体を自由に動かすことができなくなっても、脳の機能は変わらず、意識や考えもはっきりしています。
協働背景と目的
Dentsu Lab Tokyoは2017年に開始した「PARA-SPORTS LAB」を始め、様々なバックグラウンドを持つ方々と共に社会課題の解決と新しい表現方法の模索をする中で、2022年からは身体に障がいを持つ方と共に、誰でも表現ができるためのツールや環境をつくることを目的とした「ALL PLAYERS WELCOME」プロジェクトとオリジナルコミュニケーションUIを公開する「ALL PLAYERS TOOL LAB」を始動しました。
今回は、当事者でもある武藤将胤さん率いるWITH ALSと、高度な通信技術とコミュニケーション技術を多数保有するNTT、そしてコミュニケーション手段としてのツールや表現方法の開発を行うDentsu Lab Tokyoがタッグを組みさらなる拡張を目指します。
この背景として、ALS（筋委縮性側索硬化症）という脳から筋肉への指令が伝わらなくなることで、全身の筋肉が少しずつ動かしにくくなる病気があります。ALSは進行していくと、認知機能は正常なまま、全身の筋力が徐々に機能を失っていきます。人工呼吸器をつけることにより、本来の生を全うできると言われていますが、一方で、人工呼吸器をつけるための気管切開手術によって声を失います。命をつなぐための選択が、声を出せず、音声言語と身体表現によるコミュニケーション手段を失うことに繋がるのです。社会との断絶を恐れ、生きる希望を失う人も少なくなく、世界的に見ると約9割以上の方が人工呼吸器装着を拒否している現状があります。この課題を少しでも緩和するため、ツールの開発だけでなく新たな他者交流の場を実現することが必要です。
- 具体的な取り組み
昨年度、Dentsu Lab Tokyoはフランスで開催された2022 カンヌライオンズ 国際クリエイティビティ・フェスティバルのステージでオリジナル操作ツールを使い、声を発することのできないALS共生者が自らの声色で英語による対話と、視線入力から新しい音色を奏でることによる音楽パフォーマンスを実現しました。音声発話に関しては、人工呼吸器を装着した後も音声言語でのコミュニケーションを継続できるように、残されていた非常に少ない録画映像の音声から、本人らしい声を再現しました。本人らしい声の再現には、NTTが開発した音声合成技術が活用されています。これにより、本人の声色で多言語でのコミュニケーションも可能となりました。
今年度は、6月21日（水）の世界ALSデーに合わせて6月18日（土）に開催されるWITH ALS主催のALS 啓発音楽フェス「MOVE FES.」にて、技術を更に進化させ、声を失った複数のALS共生者のALS進行前の数秒程度の音声から作成した合成音声と進化したオリジナル操作UIツールを使った音楽ライブを実施します。
MOVE FES. 2023 Supported by AIRU 開催概要
・開催日時：2023年6月18日(日) 17:00〜21:00（15:30開場）予定
・開催場所：EX THEATER ROPPONGI（〒106-0031 東京都港区西麻布1-2-9）
・チケット情報：https://withals.zaiko.io/e/movefes2023
・形式：会場LIVE+オンライン配信＋メタバースのハイブリッド開催
・主催：一般社団法人：WITH ALS
- 今後の展望
メタバースというと、健常者に向けたエンターテインメントコンテンツやコミュニケーションプラットフォームを想起する方が多いと思います。私たちは、メタバースに対して、身体的な制約を越え、すべての人がフラットにコミュニケーションをしていく場所として最適だと感じています。
このプロジェクトの目標は、さまざまな生体情報をトリガーに武藤将胤さんをはじめとする身体的な制約を持つ方とともに新しい表現ツールを開発し、その自由な場を作ることです。
その第一歩として、昨年実施した視線入力データによるコミュ二ケーションに加え、今年は「筋電データ」を利用した操作ツールの開発に着手しています。筋電は、視線入力以上に、もともとの身体性との親和性が高いものであり、「ALS＝自由な身体性の欠如」というこれまでの考え方を覆す可能性があると考えています。また、この入力データのセンシングは筋電センサから取得した自身の微細な筋活動を操作情報に変換するNTTの技術を活用し、アバターの自由な操作を実装します。
Dentsu Lab Tokyoは、得意とする表現や体験の開発を軸に、また、武藤将胤さんが持っている身体性を起点に、より自然にコミュニケーションを行うためのUI/UXの開発を実施。さらには、武藤将胤さんだからこそのユニークで新しい表現をするためのツール開発、表現開発に注力していきます。
今後もWITH ALSとNTTと協働し、ツール開発に留まらずメタバース空間やコミュニケーションの分野において
他企業とも協業しながら、様々な人が表現者として活動できる環境作りに挑戦していきます。
各社の役割
・WITH ALS：ALS共生の当事者として、課題提示。テクノロジーを活用し、評価
・NTT：コミュニケーションに関する技術。（音声合成技術、運動能力転写技術、身体モーション生成技術）
・Dentsu Lab Tokyo：メタバースの空間設計、モーション・データを用いたメタバースでの演出、表現創造
- 誰でも表現ができるためのツールや環境をつくることを目的とした「ALL PLAYERS WELCOME」
「ALL PLAYERS WELCOME」第1 弾として、ALSという難病を抱えながらアーティストして活動する武藤将胤さんとコンポーザーのPONE(Guilhem Gallart)さんと共に開発した、目の動きのみでライブ演奏ができる3 種のツールを無償で提供を開始しました。また、同日には制作したライブ演奏ツールを活用し、フランスで開催され
る2022 カンヌライオンズ 国際クリエイティビティ・フェスティバルにて武藤将胤さん、PONEさんによる世界初のコラボレーションライブパフォーマンスを世界に向けて披露。その後も、ハンガリーやトルコでライブパフォーマンスを実現しました。
また、音楽未経験の重度心身障害を抱えるFUSAKIさんによる生音楽演奏パフォーマンスを実現し、会場に居合わせた100名を超える観客に感動を届けることに成功。
このプロジェクトを通し、障がいを持つ方のクリエイティブを発信しています。
- Dentsu Lab Tokyo について
Dentsu Lab Tokyo（デンツウラボトウキョー)は、研究・企画・開発が一体となったクリエーティブのR＆D 組織です。「PLAYFUL SOLUTION」「おもいもよらない」をフィロソフィーとしながら、デジタルテクノロジーとアイデアによって、人の心を動かす表現開発や、いま世の中が求める社会の課題解決を実践しています。
