プロジェクト一覧に戻る

音声・リアルタイム 2024年3月〜2025年3月

リアルタイム音声AI(ASR/TTS)

【概要】企業の研究所で開発した、社内データシステム向けの音声インターフェース。

役割
AIエンジニア
期間
2024年3月〜2025年3月
案件
総合電機メーカー研究所(ヒューマンリソシアより派遣)
規模
5名
表1成果
int8 CTranslate2による低レイテンシ推論
ハンズフリー 音声で登録・修正・削除
統合済み 顧客の既存アプリケーションに統合

01課題とアプローチ

課題

キーボードを使わずにデータの登録・修正・削除を行いたい、しかも認識は即座に感じられる速さで、という要件でした。

アプローチ

Faster-Whisperをint8のCTranslate2で動かして低レイテンシ化し、文字列マッチングで操作に対応付け、すべての操作を音声で復唱確認します。

02処理の流れ

  1. 入力 音声入力 ユーザーが音声でコマンドを入力し、Streamlitがライブ録音。
  2. ステップ 02 音声認識 · Faster-Whisper 音声をテキスト化。int8のCTranslate2で推論を高速・軽量に。
  3. ステップ 03 意図マッチング 文字列マッチングでテキストをデータ操作に対応付け。
  4. ステップ 04 データ操作 ハンズフリーでデータを登録・修正・削除。
  5. ステップ 05 音声合成 · VITS 処理結果を確認する音声を合成。
  6. 出力 音声応答 応答を自動再生し、操作のループを完結。
図1リアルタイム音声AI(ASR/TTS)の処理の流れ

03担当した内容

  1. 音声でデータの登録・修正・削除ができるハンズフリー入力システムを開発。int8のCTranslate2で動くFaster-Whisperによる低レイテンシな音声認識と、VITSによる読み上げを実装。
  2. 文字列マッチングと復唱確認で入力精度を向上。
  3. ライブ録音・自動再生に対応したStreamlit UIを構築し、WSL環境での音声ライブラリの障害を解消。
  4. 顧客の既存アプリケーションへ統合し、安定運用を実現。

04使用技術

  • Python
  • PyTorch
  • Faster-Whisper
  • CTranslate2
  • VITS
  • ESPnet
  • Conformer
  • FastSpeech2
  • HiFi-GAN
  • Parallel WaveGAN
  • Streamlit

ご請求制

履歴書・職務経歴書のご請求

履歴書・職務経歴書はご請求制でお送りしています。以下をご入力いただければ、内容を確認のうえメールでお送りします。

お立場

ご希望の書類

0 / 100語

ご入力いただいた情報は、本請求の対応にのみ使用し、第三者に提供することはありません。