シニアAIリサーチエンジニア · 東京
ティワリ サティヤム
【概要】音声・マルチモーダル・LLMのAIシステムを、研究から本番運用まで手がけています。現在は自動車メーカー系研究所で、複数話者の会議を対象とした音声・映像マルチモーダル音声認識を研究開発しています。前職では日本企業向けにAIエージェント、オフラインRAG、リアルタイム音声システムを開発しました。
【キーワード】音声認識、音声・映像音声認識、LLMエージェント、オフラインRAG、厳密な評価
| 項目 | 値 | 補足 |
|---|---|---|
| レビュアー判定との一致 ネットワーク設計レビューAIエージェント | 18/19 | ネットワーク設計レビューAIエージェント |
| ジョブあたりのLLM呼び出し回数 エアギャップ・CPUのみの環境で完全オフラインのハイブリッドRAG | 25 → 10 | エアギャップ・CPUのみの環境で完全オフラインのハイブリッドRAG |
| 学習・評価したモデル数 現在の研究 · NVIDIA H100(8基)· DDP · bf16 · 対応のある検定とブートストラップ信頼区間 | 114 | 現在の研究 · NVIDIA H100(8基)· DDP · bf16 · 対応のある検定とブートストラップ信頼区間 |
| 構築した音声・映像の学習データ 複数話者の会議を模擬したデータ。自動の品質チェック付き | 600時間 | 複数話者の会議を模擬したデータ。自動の品質チェック付き |
| AI開発の経験年数 研究から本番運用まで(日本・インド) | 3+ | 研究から本番運用まで(日本・インド) |
01プロフィール
研究の深さと、本番に届ける実装力
研究段階のプロトタイプから本番サービスまで、AIシステムの開発に3年以上携わってきたAIリサーチエンジニアです。音声認識・音声合成、そして現在は音声・映像マルチモーダル音声認識を中心に、LLMエージェントやRAGにも取り組んでいます。
現在は自動車メーカー系研究所で、複数話者が同時に話す会議を対象とした、音声・映像による話者指定音声認識を研究開発しています。公開済みの約9億パラメータのシステムを再現したうえで、発話が重なる場面でも崩れない認識の実現に取り組み、NVIDIA H100(8基)で114モデルを学習・評価し、すべての結果を有意差検定で判定しています。モデルの設計は未公開のため、本サイトでは詳細を掲載していません。前職では、自律型LLMエージェント、エアギャップ環境でのオフラインRAG、医療文書の類似度検索、リアルタイム音声認識・音声合成を日本企業向けに開発し、顧客チームや経営層とも日本語でやり取りしてきました。
- 1.1
音声・マルチモーダルAI
音声認識・音声合成から、会議向けの音声・映像話者指定音声認識まで。600時間規模のデータ構築から、マルチGPUでの大規模な学習・評価までを担当。
- 1.2
LLMエージェント・RAG
ガードレール付きのプランナー型エージェント、決定論的グラウンディング、オフラインのハイブリッド検索。
- 1.3
厳密な評価
公開ベンチマーク、アブレーション、リピート実験、有意差検定。すべての数値を元データから再現可能に。
- 1.4
日英バイリンガル
日本企業の案件を要件定義から運用まで担当し、経営層への説明も日本語で対応。
02プロジェクト
主なプロジェクト
日本企業向けに手がけた研究開発・本番AIシステム。各プロジェクトの詳細をご覧いただけます。
- 2.2
ネットワーク設計レビューAIエージェント
ネットワーク設計書と実機コンフィグを照合する自律型LLMエージェント。エアギャップ環境で完全オフライン動作。
処理の流れ: 設計書+コンフィグ → 抽出・選択的OCR → オフライン・ハイブリッドRAG → エージェントが計画・実行 → ガードレール・グラウンディング → レビューレポート
18/19 レビュアー判定との一致。繰り返す誤検出パターンを解消
詳しく見る - 2.3
医療文書の類似度分析・EMRシステム
機密性の高い臨床記録の類似文書検索。埋め込みモデルをAUROC/F1で比較・選定。
処理の流れ: EMRの取り込み(JSON) → 前処理 → 埋め込み生成 → 類似度・ランキング → 評価 → Streamlitで確認
4 比較した埋め込みモデルのAPI
詳しく見る - 2.4
リアルタイム音声AI(ASR/TTS)
Faster-Whisper(int8 CTranslate2)とVITSの読み上げによる、ハンズフリーの音声データ入力。
処理の流れ: 音声入力 → 音声認識 · Faster-Whisper → 意図マッチング → データ操作 → 音声合成 · VITS → 音声応答
int8 CTranslate2による低レイテンシ推論
詳しく見る - 2.5
視覚障がい者向け音声メールシステム
音声だけでメールの作成・送信・読み上げ。音声認識の精度は約90%、操作時間を約50%削減。
処理の流れ: 音声ログイン → 音声 → テキスト → 操作を選択 → Gmail API → 音声フィードバック
~90% 音声認識の精度
詳しく見る - 2.6
~1,000 自作の学習画像
詳しく見る
2.7個人プロジェクト
03経歴
職務経歴
日本とインドで、企業の研究所から本番システムまで。
-
3.1 2026年8月〜現在
シニアAIリサーチエンジニア 現職
クリエイティブシナジーズグループ · 埼玉
自動車メーカー系研究所に常駐し、複数話者会議を対象とした音声・映像の話者指定音声認識を研究開発。公開システムの再現、重畳発話に対するモデルの改良、実会議での評価、H100マルチGPUの学習基盤までを担当。
-
3.2 2024年3月〜2026年8月
AIエンジニア/データサイエンティスト
ヒューマンリソシア株式会社 · 東京
顧客企業の研究所やシステムインテグレーターにAIエンジニアとして派遣され、プロジェクトを一貫して担当。
-
3.3 2022年6月〜2023年6月
AI開発インターン(2期)
Digipodium, Inc. · インド・ラクナウ
視覚障がい者向けの音声・画像認識アプリを開発し、設計書とテスト仕様書を作成。
04スキル
スキル・学歴
| 分野 | 技術・手法 |
|---|---|
| プログラミング |
|
| 機械学習フレームワーク |
|
| 音声・マルチモーダル |
|
| LLM・生成AI |
|
| 研究・評価 |
|
| インフラ・バックエンド |
|
4.1学歴
- 2021-2023 修士(MCA・情報技術)· GPA 8.45 アミティ大学大学院(インド・ラクナウ)
- 2018-2021 理学士(B.Sc.) RMLAU大学(インド)
- 2023-2024 日本語課程 ヒューマンアカデミー日本語学校
4.2資格
- 2024 日本語NAT-TEST 2級(JLPT N2相当)
- 2023 IBM「Python for Data Science」(Coursera)
- 2023 IBM「Data Analysis Using Python」
- 2022 Cisco CCNAv7(Switching, Routing and Wireless Essentials)
- 2022 Oracle Academy「Database Foundations」
05連絡先
お気軽にご連絡ください
音声・マルチモーダル・LLM領域の研究開発ポジションや、協業のご相談を歓迎しています。東京を拠点に活動しています。
| メール | itssatyam.345@gmail.com |
|---|---|
| 所在地 | 東京 |