プロジェクト一覧に戻る
会議向け音声・映像マルチモーダル音声認識(AVSR)
【概要】複数の会話が同時に進む環境で、部屋の音声と対象話者の口元の映像から、その1人の発話だけを書き起こす音声認識の研究開発です。未公開の研究のため、本ページでは課題・担当範囲・開発基盤を紹介し、モデルの設計と詳細な結果は掲載していません。
- 役割
- シニアAIリサーチエンジニア
- 期間
- 2026年8月〜現在
- 案件
- 自動車メーカー系研究所(クリエイティブシナジーズグループより常駐)
- 規模
- 約5名
| 約9億 | 再現した公開システムのパラメータ数(公開モデルと同等の精度を確認) |
| 114 | NVIDIA H100(8基)で学習・評価したモデル |
| 600時間 | 構築した複数話者の音声・映像シミュレーションデータ |
01課題とアプローチ
課題
実際の会議では、複数の人の発話が重なります。音声だけのASRは重畳発話に弱く、どの話者の発話を書き起こすべきかも判断できません。
アプローチ
まず公開済みの音声・映像システムを忠実に再現し、以降の改良を信頼できるベースラインと比較できるようにします。そのうえで、発話が重なる場面でのモデルの頑健性を高め、実会議の録音による厳密な評価で採否を判断します。モデルの設計は未公開のため、ここでは説明していません。
02担当した内容
- 公開済みの音声・映像の話者指定音声認識システム(約9億パラメータ)をNVIDIA NeMoで再現し、公開モデルと統計的に同等の精度を確認。
- 発話の重なりに対応する新しいモデル構成を設計・学習・検証。設計の詳細は未公開です。
- リーク検査済みの実会議データで評価系を再構築し、結果を歪めていたスコアリングとラベルの不具合を発見・修正。
- 単語レベルの誤り分析により、誤りの多くが学習データの作り方に起因することを特定し、修正のうえ再学習。
- 公開済みの第2のベースモデル(約10億パラメータ)を別のフレームワークから移植し、公開重みとトークン単位で出力が一致することを検証。
- NVIDIA H100(8基)で114モデルを学習・評価(マルチGPU DDP・bf16・Docker)。ジョブキュー、GPUスケジューラ、自動評価を構築し、すべての結果を対応のある検定・ブートストラップ信頼区間・リピート実験で判定。
- 複数話者の音声・映像シミュレーションデータ600時間と会議形式の混合データを構築。自動の品質チェックと、リークのない評価データの分割で品質を担保。
- 書き起こしから話者を会話グループに分類する、LLMを用いた会話クラスタリングを構築。
03使用技術
- PyTorch
- PyTorch Lightning
- NVIDIA NeMo
- ESPnet
- Lhotse
- Hydra
- MeetEval
- vLLM
- Docker
- Weights & Biases