シニアAIリサーチエンジニア · 東京

ティワリ サティヤム

図1タグラインを音声信号として描いた図。波形、スペクトログラム、認識された単語。

【概要】音声・マルチモーダル・LLMのAIシステムを、研究から本番運用まで手がけています。現在は自動車メーカー系研究所で、複数話者の会議を対象とした音声・映像マルチモーダル音声認識を研究開発しています。前職では日本企業向けにAIエージェント、オフラインRAG、リアルタイム音声システムを開発しました。

【キーワード】音声認識、音声・映像音声認識、LLMエージェント、オフラインRAG、厳密な評価

ティワリ サティヤムの写真
現在NVIDIA H100で、複数話者会議の音声・映像マルチモーダル音声認識を研究開発中
表1主な数値
項目 値 補足
レビュアー判定との一致 ネットワーク設計レビューAIエージェント 18/19 ネットワーク設計レビューAIエージェント
ジョブあたりのLLM呼び出し回数 エアギャップ・CPUのみの環境で完全オフラインのハイブリッドRAG 25 → 10 エアギャップ・CPUのみの環境で完全オフラインのハイブリッドRAG
学習・評価したモデル数 現在の研究 · NVIDIA H100(8基)· DDP · bf16 · 対応のある検定とブートストラップ信頼区間 114 現在の研究 · NVIDIA H100(8基)· DDP · bf16 · 対応のある検定とブートストラップ信頼区間
構築した音声・映像の学習データ 複数話者の会議を模擬したデータ。自動の品質チェック付き 600時間 複数話者の会議を模擬したデータ。自動の品質チェック付き
AI開発の経験年数 研究から本番運用まで(日本・インド) 3+ 研究から本番運用まで(日本・インド)

01プロフィール

研究の深さと、本番に届ける実装力

研究段階のプロトタイプから本番サービスまで、AIシステムの開発に3年以上携わってきたAIリサーチエンジニアです。音声認識・音声合成、そして現在は音声・映像マルチモーダル音声認識を中心に、LLMエージェントやRAGにも取り組んでいます。

現在は自動車メーカー系研究所で、複数話者が同時に話す会議を対象とした、音声・映像による話者指定音声認識を研究開発しています。公開済みの約9億パラメータのシステムを再現したうえで、発話が重なる場面でも崩れない認識の実現に取り組み、NVIDIA H100(8基)で114モデルを学習・評価し、すべての結果を有意差検定で判定しています。モデルの設計は未公開のため、本サイトでは詳細を掲載していません。前職では、自律型LLMエージェント、エアギャップ環境でのオフラインRAG、医療文書の類似度検索、リアルタイム音声認識・音声合成を日本企業向けに開発し、顧客チームや経営層とも日本語でやり取りしてきました。

  1. 1.1

    音声・マルチモーダルAI

    音声認識・音声合成から、会議向けの音声・映像話者指定音声認識まで。600時間規模のデータ構築から、マルチGPUでの大規模な学習・評価までを担当。

  2. 1.2

    LLMエージェント・RAG

    ガードレール付きのプランナー型エージェント、決定論的グラウンディング、オフラインのハイブリッド検索。

  3. 1.3

    厳密な評価

    公開ベンチマーク、アブレーション、リピート実験、有意差検定。すべての数値を元データから再現可能に。

  4. 1.4

    日英バイリンガル

    日本企業の案件を要件定義から運用まで担当し、経営層への説明も日本語で対応。

02プロジェクト

主なプロジェクト

日本企業向けに手がけた研究開発・本番AIシステム。各プロジェクトの詳細をご覧いただけます。

2.1 研究開発中 音声・マルチモーダル

会議向け音声・映像マルチモーダル音声認識(AVSR)

部屋の音声と口元の映像から、複数人が話す会議で指定した1人の発話だけを書き起こす音声認識の研究開発。

詳しく見る
  1. 2.2

    LLM・エージェント・RAG 2026年4月〜7月

    ネットワーク設計レビューAIエージェント

    ネットワーク設計書と実機コンフィグを照合する自律型LLMエージェント。エアギャップ環境で完全オフライン動作。

    処理の流れ: 設計書+コンフィグ → 抽出・選択的OCR → オフライン・ハイブリッドRAG → エージェントが計画・実行 → ガードレール・グラウンディング → レビューレポート

    18/19 レビュアー判定との一致。繰り返す誤検出パターンを解消

    詳しく見る
  2. 2.3

    埋め込み・医療 2025年4月〜2026年3月

    医療文書の類似度分析・EMRシステム

    機密性の高い臨床記録の類似文書検索。埋め込みモデルをAUROC/F1で比較・選定。

    処理の流れ: EMRの取り込み(JSON) → 前処理 → 埋め込み生成 → 類似度・ランキング → 評価 → Streamlitで確認

    4 比較した埋め込みモデルのAPI

    詳しく見る
  3. 2.4

    音声・リアルタイム 2024年3月〜2025年3月

    リアルタイム音声AI(ASR/TTS)

    Faster-Whisper(int8 CTranslate2)とVITSの読み上げによる、ハンズフリーの音声データ入力。

    処理の流れ: 音声入力 → 音声認識 · Faster-Whisper → 意図マッチング → データ操作 → 音声合成 · VITS → 音声応答

    int8 CTranslate2による低レイテンシ推論

    詳しく見る
  4. 2.5

    音声・アクセシビリティ 2023年1月〜6月

    視覚障がい者向け音声メールシステム

    音声だけでメールの作成・送信・読み上げ。音声認識の精度は約90%、操作時間を約50%削減。

    処理の流れ: 音声ログイン → 音声 → テキスト → 操作を選択 → Gmail API → 音声フィードバック

    ~90% 音声認識の精度

    詳しく見る
  5. 2.6

    画像認識・アクセシビリティ 2022年6月〜9月

    リアルタイム物体認識

    ライブカメラで日常の物体を認識し、音声で知らせる生活支援アプリ。

    処理の流れ: カメラ入力 → 検出(TensorFlow) → 描画(OpenCV) → 音声で通知

    ~1,000 自作の学習画像

    詳しく見る

2.7個人プロジェクト

03経歴

職務経歴

日本とインドで、企業の研究所から本番システムまで。

  1. 3.1 2026年8月〜現在

    シニアAIリサーチエンジニア 現職

    クリエイティブシナジーズグループ · 埼玉

    自動車メーカー系研究所に常駐し、複数話者会議を対象とした音声・映像の話者指定音声認識を研究開発。公開システムの再現、重畳発話に対するモデルの改良、実会議での評価、H100マルチGPUの学習基盤までを担当。

    NVIDIA NeMoPyTorch LightningESPnetLhotseH100

  2. 3.2 2024年3月〜2026年8月

    AIエンジニア/データサイエンティスト

    ヒューマンリソシア株式会社 · 東京

    顧客企業の研究所やシステムインテグレーターにAIエンジニアとして派遣され、プロジェクトを一貫して担当。

    LLM agentsRAGEmbeddingsASR / TTSDjango

  3. 3.3 2022年6月〜2023年6月

    AI開発インターン(2期)

    Digipodium, Inc. · インド・ラクナウ

    視覚障がい者向けの音声・画像認識アプリを開発し、設計書とテスト仕様書を作成。

    DjangoTensorFlowOpenCVStreamlit

04スキル

スキル・学歴

表2分野別の技術スキル
分野 技術・手法
プログラミング
  • Python
  • Bash
  • SQL (PostgreSQL)
  • Git
  • Linux
  • Docker
機械学習フレームワーク
  • PyTorch
  • PyTorch Lightning
  • NVIDIA NeMo
  • ESPnet
  • Hugging Face Transformers
  • scikit-learn
  • TensorFlow
  • Lhotse
  • Hydra
音声・マルチモーダル
  • 音声認識(ASR)
  • 音声・映像音声認識(AVSR)
  • 話者指定・多話者音声認識
  • 話者ダイアライゼーション
  • Transducers (RNN-T / TDT)
  • CTC
  • Conformer
  • E-Branchformer
  • AV-HuBERT
  • Whisper
  • 音声合成(VITS)
LLM・生成AI
  • 検索拡張生成(RAG)
  • AIエージェント
  • LLMファインチューニング
  • 合成データ生成
  • LLM-as-a-judge
  • プロンプト設計
  • vLLM
  • Ollama
  • LangChain
  • DSPy
  • Gemini
  • Claude
  • OpenAI
  • Amazon Bedrock
  • Azure OpenAI
研究・評価
  • 実験計画
  • アブレーション
  • 誤り分析
  • 有意差検定
  • ブートストラップ信頼区間
  • WER / cpWER
  • AUROC / F1
  • Weights & Biases
  • MLflow
インフラ・バックエンド
  • マルチGPU分散学習(DDP・bf16)
  • NVIDIA H100
  • GPUジョブスケジューリング
  • Django
  • FastAPI
  • REST APIs
  • WebSockets
  • ChromaDB
  • AWS
  • Azure
  • Google Cloud

4.1学歴

  1. 2021-2023 修士(MCA・情報技術)· GPA 8.45 アミティ大学大学院(インド・ラクナウ)
  2. 2018-2021 理学士(B.Sc.) RMLAU大学(インド)
  3. 2023-2024 日本語課程 ヒューマンアカデミー日本語学校

4.2資格

  1. 2024 日本語NAT-TEST 2級(JLPT N2相当)
  2. 2023 IBM「Python for Data Science」(Coursera)
  3. 2023 IBM「Data Analysis Using Python」
  4. 2022 Cisco CCNAv7(Switching, Routing and Wireless Essentials)
  5. 2022 Oracle Academy「Database Foundations」

05連絡先

お気軽にご連絡ください

音声・マルチモーダル・LLM領域の研究開発ポジションや、協業のご相談を歓迎しています。東京を拠点に活動しています。

連絡先
メール itssatyam.345@gmail.com
所在地 東京

ご請求制

履歴書・職務経歴書のご請求

履歴書・職務経歴書はご請求制でお送りしています。以下をご入力いただければ、内容を確認のうえメールでお送りします。

お立場

ご希望の書類

0 / 100語

ご入力いただいた情報は、本請求の対応にのみ使用し、第三者に提供することはありません。