メタバースにおける VR の新しいアプリケーション

複雑な環境では、人間は耳だけでなく目も使うため、AIよりも音声の意味を理解できます。
たとえば、私たちは誰かの口が動いているのを見て、聞こえる音がその人から発せられているに違いないと直感的に知ることがあります。
Meta AI は新しい AI 対話システムの開発に取り組んでいます。これは、AI が会話の中で見たり聞いたりすることの間の微妙な相関関係を認識できるように学習することを目的としています。
VisualVoice は、人間が新しいスキルを習得するのと同じ方法で学習し、ラベルのないビデオから視覚的および聴覚的な手がかりを学習することで、視聴覚音声の分離を可能にします。
これにより機械にとっては知覚が向上し、人間の知覚も向上します。
世界中の同僚とメタバースでのグループ会議に参加でき、仮想空間を移動しながら小規模なグループ会議に参加できることを想像してみてください。その間、シーン内のサウンドのリバーブと音色が環境に応じて調整されます。
つまり、オーディオ、ビデオ、テキスト情報を同時に取得でき、より豊富な環境理解モデルを備えているため、ユーザーは「非常に素晴らしい」サウンド体験を得ることができます。