Signs icon

Signs

认领

Signs 是一个用于学习美式手语并通过 AI 获得指导的网页平台,也可提交手语视频参与公共数据集建设,适合初学者、听障家庭和社区贡献者。

Signs
Signs

概览

Signs 是一个基于网页的平台,用于在 AI 辅助下学习美式手语,也用于向数据集贡献手语视频。首页提供两条主要路径:“学习 ASL”使用摄像头和 AI 反馈帮助用户练习手势;“录制手势”则允许贡献者录制单个单词或手势,用于构建数据集。

该项目由 NVIDIA 主导,并与 Hello Monday/DEPT® 以及美国聋童协会合作。其明确目标是支持 ASL 学习者,帮助听障家庭与聋儿沟通,并建立一个可用于开发面向聋人社区的无障碍技术的公共数据集。

核心功能

交互式 ASL 学习

通过基于摄像头的学习流程练习美式手语,在学习基础内容和选定级别时获得实时反馈。

3D 头像反馈

在“学习”部分通过 3D 头像获得指导,作为静态文本或仅视频学习方式的替代方案。

手势贡献流程

录制单个 ASL 手势并将其提交到共享数据集,每次提交都与网站列表中选定的单词关联。

教程与级别选择

使用教程和级别选择流程,帮助首次使用的用户在开始学习或录制手势前熟悉平台。

多摄像头设备处理

当设备有多个摄像头可用时,可从中选择一个,以支持桌面环境下的摄像头采集。

基于同意的数据收集

在披露条款下提交视频,条款说明了 ASL 数据集的数据收集与公开分发流程。

常见使用场景

  • 开始学习 ASL

    初学者可以从“学习”部分开始,使用教程,选择级别,并在 AI 驱动的界面反馈下练习常见的 ASL 手势。

  • 贡献手语视频

    已经掌握部分 ASL 的用户可以从列表中录制一个手势,并提交单个示例,以帮助扩充共享数据集。

  • 家庭沟通练习

    听力正常的家长或家庭成员可以使用该平台开始学习手势,以支持与聋儿和亲属的日常沟通。

  • 查看数据收集条款

    项目贡献者或研究人员可以依据披露条款,了解在参与之前这些视频如何被使用、共享和管理。

  • 社区数据集建设

    ASL 社区参与者可以通过贡献经批准的录制内容,帮助提升数据集中代表性;这些内容随后会由聋人审核者和持证口译员进行验证。

Pros and Cons

Pros

  • 将学习与贡献整合在一个平台中,让练习和数据集建设处于同一工作流。
  • 为初学 ASL 的学习者提供实时反馈和 3D 头像。
  • 采用由聋人和持证口译员审核的贡献流程。
  • 明确说明数据收集条款,包括公开分发以及贡献者的数据请求选项。

Cons

  • 当前数据集重点放在手和手指位置上,面部表情和头部动作等非手动信号被描述为未来才会考虑。
  • 在所提供的页面中,网站未公布定价、方案细节或商业包装信息。

FAQ

Signs 用于什么?

Signs 旨在作为一个双向平台:学习者可以在 AI 指导反馈下练习常见的 ASL 手势,而贡献者可以录制手语视频,帮助扩充公共数据集。

“学习”部分适合哪些人?

“学习”部分面向初学者和刚开始学习 ASL 的用户,提供多个级别,引入常用手势,并通过 3D 头像提供实时反馈。

谁可以贡献手语视频?

任何同意披露条款的人都可以贡献,不论 ASL 水平如何。贡献内容会先由聋人和持证口译员审核,再用于数据集。

数据集是否涵盖面部表情和头部动作?

该数据集主要围绕手部和手指位置构建。网站说明非手动信号,例如面部表情和头部动作,也很重要,但它们不是最初的重点。

收集到的数据是公开的吗?

NVIDIA 表示,该数据集将公开并广泛提供。披露内容还说明,贡献者可使用贡献后获得的唯一 ID,请求访问、更改未来使用或分发中的移除,或更正其数据。

Quick Facts

类别
ASL 学习与数据收集
主要用户
学习 ASL 的初学者和录制手势的贡献者
平台
网页
机构
NVIDIA、Hello Monday/DEPT® 和 American Society for Deaf Children
来源域名
signs-ai.com
数据模型
带同意条款的公开分发 ASL 视频数据集