唇の動きが異様にリアルなヒューマノイドロボットが誕生

ヒューマノイドロボットの口の動きを自然に見せるには、音声に合わせて唇やあごを細かく動かす必要があります。しかし、人間の口形をひとつひとつルールとして作り込む方法は手間が大きく、別のロボットや別の言語に広げにくいという課題があります。コロンビア大学の研究チームは音声に合わせて口形を作れるロボットの顔面機構を開発し、ロボットが自分の顔を動かして得た映像と音声から推定した「理想の口形」を突き合わせて学習させ、音声から口の動きを推定するという手法を提案しました。

コロンビア大学のCreative Machines Labに所属するユーハン・フー氏やホッド・リプソン氏らの研究チームが開発したロボットの顔は柔らかいシリコン製の唇を備えており、口角・上唇・下唇・あごを合わせて10カ所を別々に動かせる仕組みになっています。唇の皮膚を「引っ張る」だけでなく「押す」動きもできる構造を採用し、口をすぼめる動作や唇をきっちり閉じる動作といった発話に必要な形を作れるようにしました。

音声と口の動きが合っていないと、見た目の不自然さが強まり不気味だと感じられやすくなる可能性がありますが、フー氏は「不気味の谷を越えつつある」と述べ、人型ロボットの顔が今後自然に動くようになるという見通しを示しています。

学習は、人間が発話する際の口形を正解として大量に用意する形ではなく、ロボット自身の動きから始まりました。まずロボットがランダムに唇を動かすモーターバブリングを行い、カメラで撮影したロボットの唇の映像と、そのときのモーター指令を対にしたデータを集めます。次に、音声から口の動きを合成するWav2Lipを使い「この音声なら口はこう動くはず」という参照映像を作りました。

そのうえで研究チームは、参照した映像と実機の映像の差を埋めるために、画像の特徴を圧縮して扱う変分オートエンコーダーを用いました。参照した映像の「口形の特徴」に近づくようにモーター指令を学習させることで、映像から動作へ変換します。さらに、動きがカクつかないように、過去のモーター指令の流れも見ながら次の指令を予測する「facial action transformer(FAT)」を組み合わせ、時間方向のつながりをなめらかにしました。

この記事のタイトルとURLをコピーする

2026年01月24日 10時00分00秒 in 動画, ハードウェア, サイエンス, Posted by log1b_ok

You can read the machine translated English article A humanoid robot with incredibly realist….

最新ニュース40件人気記事ランキング

Netflixが再び値上げ、2025年1月ぶり
ついに任天堂が2026年5月からNintendo Switch 2専用の新作ファーストパーティゲームのパッケージ版とダウンロード版で価格を変えるとアメリカで発表
中国の自動車メーカーが11分で満充電できて450km走行可能なEV用ナトリウムイオンバッテリーの量産技術を確立
食虫植物のハエトリソウを粒子加速器の中に入れるとどうなるのか？
AIが不適切と判定した約200冊の本が学校の図書室から撤去される、「一九八四年」「チェンソーマン」「鬼滅の刃」「呪術廻戦」「ワンパンマン」など
任天堂はNintendo Switch 2の生産台数を33％削減し600万台から400万台に引き下げるとの報道、アメリカ市場での需要低迷が主な理由
11年間迷子になった愛犬のマイクロチップ情報を更新し続けついに再会に成功した人物
ChatGPTのアダルトモードが「無期限延期」に
AIを8倍高速化しメモリ使用量を6分の1に削減するGoogleの新アルゴリズム「TurboQuant」
日本語にも対応したオープンソースの文字起こし専用音声認識モデル「Transcribe」をCohereが発表