プロジェクト一覧に戻る

研究開発中 音声・マルチモーダル 2026年8月〜現在

会議向け音声・映像マルチモーダル音声認識(AVSR)

【概要】複数の会話が同時に進む環境で、部屋の音声と対象話者の口元の映像から、その1人の発話だけを書き起こす音声認識の研究開発です。未公開の研究のため、本ページでは課題・担当範囲・開発基盤を紹介し、モデルの設計と詳細な結果は掲載していません。

役割
シニアAIリサーチエンジニア
期間
2026年8月〜現在
案件
自動車メーカー系研究所(クリエイティブシナジーズグループより常駐)
規模
約5名
表1主なポイント
約9億 再現した公開システムのパラメータ数(公開モデルと同等の精度を確認)
114 NVIDIA H100(8基)で学習・評価したモデル
600時間 構築した複数話者の音声・映像シミュレーションデータ

01課題とアプローチ

課題

実際の会議では、複数の人の発話が重なります。音声だけのASRは重畳発話に弱く、どの話者の発話を書き起こすべきかも判断できません。

アプローチ

まず公開済みの音声・映像システムを忠実に再現し、以降の改良を信頼できるベースラインと比較できるようにします。そのうえで、発話が重なる場面でのモデルの頑健性を高め、実会議の録音による厳密な評価で採否を判断します。モデルの設計は未公開のため、ここでは説明していません。

02担当した内容

  1. 公開済みの音声・映像の話者指定音声認識システム(約9億パラメータ)をNVIDIA NeMoで再現し、公開モデルと統計的に同等の精度を確認。
  2. 発話の重なりに対応する新しいモデル構成を設計・学習・検証。設計の詳細は未公開です。
  3. リーク検査済みの実会議データで評価系を再構築し、結果を歪めていたスコアリングとラベルの不具合を発見・修正。
  4. 単語レベルの誤り分析により、誤りの多くが学習データの作り方に起因することを特定し、修正のうえ再学習。
  5. 公開済みの第2のベースモデル(約10億パラメータ)を別のフレームワークから移植し、公開重みとトークン単位で出力が一致することを検証。
  6. NVIDIA H100(8基)で114モデルを学習・評価(マルチGPU DDP・bf16・Docker)。ジョブキュー、GPUスケジューラ、自動評価を構築し、すべての結果を対応のある検定・ブートストラップ信頼区間・リピート実験で判定。
  7. 複数話者の音声・映像シミュレーションデータ600時間と会議形式の混合データを構築。自動の品質チェックと、リークのない評価データの分割で品質を担保。
  8. 書き起こしから話者を会話グループに分類する、LLMを用いた会話クラスタリングを構築。

03使用技術

  • PyTorch
  • PyTorch Lightning
  • NVIDIA NeMo
  • ESPnet
  • Lhotse
  • Hydra
  • MeetEval
  • vLLM
  • Docker
  • Weights & Biases

ご請求制

履歴書・職務経歴書のご請求

履歴書・職務経歴書はご請求制でお送りしています。以下をご入力いただければ、内容を確認のうえメールでお送りします。

お立場

ご希望の書類

0 / 100語

ご入力いただいた情報は、本請求の対応にのみ使用し、第三者に提供することはありません。