字号:

Kinect帮助聋哑人实现翻译与交流

2013年07月25日 来源:硅谷网

众所周知,微软的Kinect是一个体感游戏设备,但其包含的传感器技术并不仅可以应用于游戏领域。日前,微软亚洲研究院与中科院共同研发出了一套基于Kinect的手语识别系统,能够把聋哑人的手势翻译成文本。

在日常生活中,聋哑人在与他人沟通时,因为手语的缘故无法进行有效的交流。针对这个问题,科学界已经提出了至少两种解决方案:一是数码手套(Data Gloves),这类似于《少数派报告》中出现的那款,可以记录手势的轨迹并将其编译为自然语言;二是摄像追踪(Camera Tracking),是将一段手势用摄像机录制完成后进行画面分析得出语言结果。

这两种技术在理论上都是可行的。不过,前一种方案普及成本过高,后一种方案存在识别率过低的问题(例如当画面背景过于复杂的时候)。

“在我们看来,”中科院研究院陈熙霖说道,“这个项目最大贡献在于,它验证了用现有的、廉价的3D和2D传感器进行手语识别的可能性。”

这个项目诞生于微软的Microsoft Research Connections计划。微软设立MRC计划的初衷就是与全球各地的顶级研究人员一同开发项目,解决人类面临的各种难题。(本文末有该项计划的总结报告)

用Kinect实现手语翻译的核心技术是一套3D动态轨迹校准与匹配系统。它的算法包括两种工作模式:

一是翻译模式(Translation Mode)。即将手语翻译成文本或语音;

二是交流模式(Communication Mode)。这主要是帮助聋人与普通人对话。对方的自然语言可以被翻译成手语,并由设备屏幕上的虚拟人物表示出来。

如下图所示:

 除了这个项目外,之前英国的Technabling公司和西班牙工程师Daniel Martinez Capilla也分别利用Kinect研发出了类似用途的手势识别系统。而中科院与微软亚洲研究院的成果则实现了中国手语与汉语之间的互译。

版权声明

  • 中国残疾人网站所有内容的版权均属于作者或页面内声明的版权人。未经中国残疾人网站许可,任何其他个人或组织均不得以任何形式将中国残疾人网站的各项资源转载、复制、编辑或发布用于其他任何场合;不得将其中任何形式的资讯散发给其他方,不可将这些信息在其他的服务器或文档中作镜像复制或保存;不得修改或再使用中国残疾人网站的任何资源。若有意转载本站信息资料,必需取得中国残疾人网站的授权。
  • 凡本网注明“来源:XXX(非中国残疾人网站)”的作品,均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责。本网转载其他媒体之稿件,意在为公众提供免费服务。如稿件版权单位或个人不想在本网发布,可与本网联系,本网视情况可立即将其撤除。
  • 若对该稿件内容有任何疑问或质疑,请即与中国残疾人网站联系,本网将迅速给您回应并做处理。
    电话:010-84639477 邮箱:chinadp08@126.com