対話型ASL学習
Webカメラベースの学習フローでAmerican Sign Languageを練習し、基本から選択したレベルまで進めながらリアルタイムのフィードバックを受けられます。
Signs
認証するSignsは、AIのガイド付きでAmerican Sign Languageを学べるWebプラットフォーム。初心者や聞こえる家族向けに、手話動画の投稿で公開データセットづくりにも参加できます。
概要
Signsは、AIの支援付きでAmerican Sign Languageを学び、手話動画をデータセットに提供できるWebベースのプラットフォームです。ホームページには2つの主要な導線があります。Learn ASLはWebカメラとAIフィードバックを使って手話の練習を支援し、Record Signsは投稿者が個々の単語や手話を記録してデータセット作成に参加できる機能です。
このプロジェクトはNVIDIAが主導し、Hello Monday/DEPT®およびAmerican Society for Deaf Childrenと連携しています。目的は、ASL学習者を支援し、聞こえる親族がDeafの子どもとコミュニケーションを取る助けとなり、Deafコミュニティ向けのアクセシブルな技術開発に使える公開データセットを構築することです。
主な機能
3Dアバターによるフィードバック
Learnセクションでは3Dアバターからガイダンスを受けられ、静的なテキスト中心の学習や動画のみの学習に代わる方法として提示されています。
手話投稿ワークフロー
個々のASLサインを記録して共有データセットに送信でき、各投稿はサイトの一覧から選んだ単語に紐づきます。
チュートリアルとレベル選択
初めて使うユーザーが学習や手話の記録を始める前に、チュートリアルとレベル選択の流れで案内します。
複数カメラ対応のデバイス処理
デバイスに複数のカメラがある場合は選択でき、デスクトップ環境でのWebカメラ撮影を支援します。
同意に基づくデータ収集
ASLデータセットの収集と公開配布の流れを説明する開示条件のもとで映像を送信できます。
主な使用例
ASL学習を始める
初心者はLearnセクションから始めて、チュートリアルを使い、レベルを選択し、AI駆動のインターフェースからのフィードバックを受けながら一般的なASLの手話を練習できます。
手話動画を投稿する
すでにある程度ASLを知っている人は、一覧から手話を選んで1例を記録し、共有データセットの拡充に役立てることができます。
家族のコミュニケーション練習
聞こえる親や家族は、このプラットフォームを使って、Deafの子どもや家族との日常的なコミュニケーションを支える手話の学習を始められます。
データ収集条件を確認する
プロジェクトの投稿者や研究者は、開示条件を確認することで、参加前に映像の利用方法、共有方法、管理方法を把握できます。
コミュニティによるデータセット構築
ASLコミュニティの参加者は、後にDeafのレビュアーと認定通訳者によって検証される承認済みの録画を提供することで、データセット内の表現の多様性向上に協力できます。
Pros and Cons
Pros
- 学習と投稿を1つのプラットフォームに統合しているため、練習とデータセット構築を同じワークフローで進められます。
- ASLを始める学習者向けに、リアルタイムのフィードバックと3Dアバターを提供します。
- Deafの当事者と認定通訳者によって確認される投稿プロセスを採用しています。
- 公開配布や投稿者のデータ請求オプションを含め、データ収集条件が明確に示されています。
Cons
- 現在のデータセットの重点は手と指の位置にあり、表情や頭の動きなどの非手指信号は将来的な検討事項として説明されています。
- 提供されたページには、価格、プランの詳細、商用パッケージに関する情報は掲載されていません。
FAQ
Signsは何に使うものですか？
Signsは、AIによるガイド付きで共通のASL（American Sign Language）を練習できるように設計された、2つの側面を持つプラットフォームです。学習者はAI支援のフィードバックを受けながら手話を練習でき、投稿者は公開データセットの拡充に役立つ手話を記録できます。
Learnセクションは誰向けですか？
Learnセクションは、初心者やASLを始めたばかりの人向けです。よく使われる手話を段階的に学べるほか、3Dアバターを通じてリアルタイムのフィードバックを受けられます。
手話動画を投稿できるのは誰ですか？
同意のうえで開示条件に同意できる人なら、ASLの習熟度に関係なく誰でも投稿できます。投稿内容は、データセットで利用される前にDeafの当事者と認定通訳者によって確認されます。
このデータセットは表情や頭の動きを含みますか？
このデータセットは主に手と指の位置を中心に構築されています。サイトでは、表情や頭の動きなどの非手指信号も重要だと述べていますが、初期の重点対象ではありません。
収集されたデータは公開されますか？
NVIDIAによると、このデータセットは公開され、広く利用可能になる予定です。開示文には、投稿後に付与される一意のIDを使って、今後の利用や配布からの削除、またはデータの修正を依頼できるとも記載されています。
Quick Facts
- カテゴリ
- ASL学習とデータ収集
- 主なユーザー
- ASLを学ぶ初心者と手話を記録する投稿者
- プラットフォーム
- Web
- 組織
- NVIDIA、Hello Monday/DEPT®、American Society for Deaf Children
- ソースドメイン
- signs-ai.com
- データモデル
- 同意条件付きで公開配布されるASL動画データセット
Signsの代替品
Teacher AI
Teacher AIは、YouTube語学講師のAIクローンと実践会話ができるスピーキング練習アプリ。iOS、Android、Web対応で、毎日の短時間学習に最適です。
Answers AI
Answers AIは、学生と教育者向けのAI教育プラットフォームです。Web、モバイル、Chrome拡張で回答取得、学習資料作成、課題サポート、採点や進捗管理まで対応します。
北极九章
北极九章は、自然言語でデータ分析できる企業向けAIデータインサイトエンジンです。テキストや音声で質問し、業務フロー内でグラフ付きの結果を得られます。
小艺
小艺は華为が自社開発したAI智慧アシスタント。知識Q&A、文章作成、文書閲覧、コード補助、画像認識に対応し、日常検索やコンテンツ処理、HarmonyOS開発まで幅広く活用できます。
GetESP
GetESPは、CSVのメールリストを分析し、受信者のESPと対応するスパム対策ツールを特定するWebアプリです。配信先を分け、最適な送信先を選んで到達率向上に役立ちます。
Super Teacher
Super Teacherは、小学校向けの読み書きと算数を会話形式で段階的に教える個別指導アプリ。教室利用、家庭学習、学校の進捗確認に対応。