プロジェクト一覧に戻る

画像認識・アクセシビリティ 2022年6月〜9月

リアルタイム物体認識

【概要】ライブカメラで日常の物体を認識し、結果を音声で知らせる、視覚障がい者向けの生活支援アプリ。

役割
AI開発インターン
期間
2022年6月〜9月
案件
Digipodium, Inc.(インド・ラクナウ)
規模
1名
表1成果
~1,000 自作の学習画像
リアルタイム 音声フィードバック付きの検出

01課題とアプローチ

課題

視覚障がいのある方が、目の前にある物を介助なしですばやく把握できるようにしたい。

アプローチ

自作のデータセットで検出モデルを学習し、認識結果を音声で読み上げます。

02処理の流れ

  1. 入力 カメラ入力 カメラからライブ映像のフレームを取得。
  2. ステップ 02 検出(TensorFlow) 学習済みモデルが各フレームの物体を識別。
  3. ステップ 03 描画(OpenCV) バウンディングボックスとラベル・信頼度を描画。
  4. 出力 音声で通知 検出した物体を音声で読み上げ。
図1リアルタイム物体認識の処理の流れ

03担当した内容

  1. 約1,000枚の画像データセットを収集・ラベリングし、TensorFlowで物体検出モデルを学習。
  2. OpenCVによるリアルタイム映像処理と、音声フィードバック付きのStreamlit Web UIを開発。
  3. データベースを設計し、基本設計書(ER図・機能設計・画面設計)を作成。
ベッドと椅子を信頼度付きで検出した画面
図2ベッドと椅子を信頼度付きで検出した画面

04使用技術

  • Python
  • TensorFlow
  • OpenCV
  • Pandas
  • Streamlit
  • SQL Server

ご請求制

履歴書・職務経歴書のご請求

履歴書・職務経歴書はご請求制でお送りしています。以下をご入力いただければ、内容を確認のうえメールでお送りします。

お立場

ご希望の書類

0 / 100語

ご入力いただいた情報は、本請求の対応にのみ使用し、第三者に提供することはありません。