プロジェクト一覧に戻る
リアルタイム音声AI(ASR/TTS)
【概要】企業の研究所で開発した、社内データシステム向けの音声インターフェース。
- 役割
- AIエンジニア
- 期間
- 2024年3月〜2025年3月
- 案件
- 総合電機メーカー研究所(ヒューマンリソシアより派遣)
- 規模
- 5名
| int8 | CTranslate2による低レイテンシ推論 |
| ハンズフリー | 音声で登録・修正・削除 |
| 統合済み | 顧客の既存アプリケーションに統合 |
01課題とアプローチ
課題
キーボードを使わずにデータの登録・修正・削除を行いたい、しかも認識は即座に感じられる速さで、という要件でした。
アプローチ
Faster-Whisperをint8のCTranslate2で動かして低レイテンシ化し、文字列マッチングで操作に対応付け、すべての操作を音声で復唱確認します。
02処理の流れ
- 入力 音声入力 ユーザーが音声でコマンドを入力し、Streamlitがライブ録音。
- ステップ 02 音声認識 · Faster-Whisper 音声をテキスト化。int8のCTranslate2で推論を高速・軽量に。
- ステップ 03 意図マッチング 文字列マッチングでテキストをデータ操作に対応付け。
- ステップ 04 データ操作 ハンズフリーでデータを登録・修正・削除。
- ステップ 05 音声合成 · VITS 処理結果を確認する音声を合成。
- 出力 音声応答 応答を自動再生し、操作のループを完結。
03担当した内容
- 音声でデータの登録・修正・削除ができるハンズフリー入力システムを開発。int8のCTranslate2で動くFaster-Whisperによる低レイテンシな音声認識と、VITSによる読み上げを実装。
- 文字列マッチングと復唱確認で入力精度を向上。
- ライブ録音・自動再生に対応したStreamlit UIを構築し、WSL環境での音声ライブラリの障害を解消。
- 顧客の既存アプリケーションへ統合し、安定運用を実現。
04使用技術
- Python
- PyTorch
- Faster-Whisper
- CTranslate2
- VITS
- ESPnet
- Conformer
- FastSpeech2
- HiFi-GAN
- Parallel WaveGAN
- Streamlit