CRI LipSyncは、信号処理と機械学習を組み合わせた独自の解析エンジンを搭載したミドルウェアです。解析のための事前学習を話者ごとに行う必要がなく、誰の音声でもリアルタイムに解析し、高精度なリップシンクデータを生成します。
■ 音声データだけで高精度なリップシンクが可能に。制作工数を大幅に削減
CMやアニメといった映像作品から、家庭用ゲーム、VTuber配信アプリなどさまざまな分野で、言葉（音声）に合わせてキャラクターの唇の形や舌の位置を動かす「リップシンク」の需要は高まりつつあります。しかし、音声に合わせて自然な動きをつけるには唇の動きや舌の位置を細やかに設定する必要があり、非常に手間がかかります。VTuber配信などで使用されるカメラ映像を元にしたリップシンクの手法もありますが、トラッキング精度の問題や、実際の人間の口の動きとキャラクターとして表現したい口の動きが異なるなど、リップシンクの精度が低いという課題があります。
CRI LipSyncを利用することで、音声データから高精度なリップシンクが可能になり、制作工数を大幅に削減することができます。
■ Live2D Cubism 5.0では、2Dアニメーションモデルに加え、モデルに合わせた高精度なリップシンクの作成が可能に
Live2D CubismにCRI LipSyncが標準搭載されたことにより、2Dアニメーションモデルの制作からアプリケーション上での利用まで、あらゆる場面でCRI LipSyncの高品質なリップシンクをキャラクターに適用することが可能になりました。
Live2D Cubism SDKは対応プラットフォームが幅広く、Windows®、macOS（Apple Silicon対応）をはじめ、iOS、Android™、Webブラウザにも対応しています。CRI LipSyncは今後新たにWebブラウザにも対応し、これら全てのプラットフォームでリアルタイム音声解析をサポートします。
また、Live2D Cubism Editor上で音声解析ができるため、モデルの作成時にリップシンクを含めた動作確認までを一貫して行うことができ、クリエイターの作業能率が向上します。
■Live2D Cubismグループ グループリーダー 佐藤 健一氏のコメント
「導入のきっかけは、VTuberなどアバターとしてモデルを活用するニーズが増加し、音声に連動して口を動かすリップシンクの需要が高まったことです。高精度でかつリアルタイムで動作可能な処理速度、さらに多くのプラットフォームへの対応が求められましたが、これらの要件を満たす製品としてCRI LipSyncを採用する決定に至りました。」
ＣＲＩは、これからもすべてのクリエイターが快適かつ効率的に制作活動が行えるよう、これまで培ってきた技術で貢献してまいります。
CRI LipSyncの製品詳細についてはこちら
Live2D Cubismの製品詳細についてはこちら
【株式会社ＣＲＩ・ミドルウェアについて】
「音と映像で社会を豊かに」を企業理念として、主に音声・映像関連の研究開発を行い、その成果をミドルウェア製品ブランド「CRIWARE（シーアールアイウェア）」として、ゲーム分野や組込み分野を中心にさまざまな分野に展開しています。ＣＲＩは、「CRIWARE」を通じて、ユーザビリティの向上、クオリティ向上のための技術やソリューションを提供し、開発者の皆様の課題解決をサポートするとともに、エンドユーザーのユーザビリティの向上をサポートしてまいります。
※「ＣＲＩ」、「CRIWARE」およびCRIWAREロゴは、日本およびその他の国における株式会社ＣＲＩ・ミドルウェアの商標または登録商標です。
※その他、文中に記載されている会社名および商品名は、各社の商標または登録商標です。
