プロジェクト一覧に戻る
リアルタイム物体認識
【概要】ライブカメラで日常の物体を認識し、結果を音声で知らせる、視覚障がい者向けの生活支援アプリ。
- 役割
- AI開発インターン
- 期間
- 2022年6月〜9月
- 案件
- Digipodium, Inc.(インド・ラクナウ)
- 規模
- 1名
| ~1,000 | 自作の学習画像 |
| リアルタイム | 音声フィードバック付きの検出 |
01課題とアプローチ
課題
視覚障がいのある方が、目の前にある物を介助なしですばやく把握できるようにしたい。
アプローチ
自作のデータセットで検出モデルを学習し、認識結果を音声で読み上げます。
02処理の流れ
- 入力 カメラ入力 カメラからライブ映像のフレームを取得。
- ステップ 02 検出(TensorFlow) 学習済みモデルが各フレームの物体を識別。
- ステップ 03 描画(OpenCV) バウンディングボックスとラベル・信頼度を描画。
- 出力 音声で通知 検出した物体を音声で読み上げ。
03担当した内容
- 約1,000枚の画像データセットを収集・ラベリングし、TensorFlowで物体検出モデルを学習。
- OpenCVによるリアルタイム映像処理と、音声フィードバック付きのStreamlit Web UIを開発。
- データベースを設計し、基本設計書(ER図・機能設計・画面設計)を作成。
04使用技術
- Python
- TensorFlow
- OpenCV
- Pandas
- Streamlit
- SQL Server