字号:

手语与口语 无障碍沟通

2014年09月03日 来源:中国残疾人网


 
Kinect能够捕捉并实时翻译双方的交流,在口语和手语的交流中实现无障碍沟通。

文_刘一恒

利用Kinect实时动态捕捉动作和声音,从而消除聋人与健全人之间的沟通障碍,比如一个聋人和不会手语的人进行面对面交流,手语将会被转换为声音和屏幕上的文字,而说话则会被转会为手语。

2009年,微软亚洲研究院自然语言计算组主任周明博士在一个聚会上碰见了北京联合大学特殊教育学院的李晗静老师。李老师向周明提出,微软能不能通过技术让自己的聋哑学生能和不懂手语的老师进行交流。因为这些学生特别渴望听到名教授讲课,但一来他们听不见声音,二来那些教授也不懂手语,非常可惜。

这次机缘促成了微软以Kinect体感设备为载体,开发方便聋人与健全人交流的手语识别系统。因为个体差异、经济条件等多方面的原因,并不是每个聋人都能通过助听器,人工耳蜗等设备重新听见声音,也就是说,还有很多聋人,只能通过文字和手语与他人交流,而这两种交流方式在现实生活中其实也有诸多限制和不便。

微软的Kinect体感设备,本身是一个游戏外设,能感知玩家的动作,从而使得游戏更有身临其境的代入感。而微软研究院与中国科学院计算技术研究所合作的这项研究则给Kinect赋予了更有意义的功能:利用Kinect实时动态捕捉动作和声音,从而消除聋人与健全人之间的沟通障碍,比如一个聋人和不会手语的人进行面对面交流,手语将会被转换为声音和屏幕上的文字,而说话则会被转会为手语。

在Kinect之前,中国科学院计算技术研究所研究手语识别技术已经多年,研制成功了一套手语识别与合成系统。中国有两千多万的听力障碍人士,手语识别技术的研究有助于改善和提高他们的生活、学习和工作条件,为他们提供更多的方便,也为他们顺利融入社会减少障碍。

 
乌克兰学生研发的名为“EnableTalk”的手语翻译手套,售价仅为75美元,在价格上颇具优势。

在国外也有很多人在进行手语识别科技产品方面的尝试。2011年日本大阪大学和信州大学的研究者们设计出了一种特别的传感器——指文字手套,这种手套可以探测手指的移动、手语和手势,并将其转换成数字文本。这其实是一种人机交互系统,可以识别手势和各种用手及手势组成的形状。指文字手套的工作原理是磁场,该手套的指端有一小块磁铁,当你做出各种手势时,磁铁会造成磁场变化。根据预先设计好的指令,磁性传感器会捕捉到磁场的改变,并将其转化为文本。2012年,乌克兰4名学生发明了一款手语翻译手套,名为“EnableTalk”,装有复杂的柔性传感器、触摸传感器、陀螺仪、加速度计、指南针以及太阳能电池。其复杂的传感器网络能识别手语意思,将之译成文字,再经过语音系统发声。整个系统可通过蓝牙与智能手机连接,它甚至允许用户自行创建新手势意思。

2013年,几位来自葡萄牙的设计师在悉尼共同创建了一家工作室,旨在创造出能够将手语翻译成普通人使用的语言,让不懂手语的人也能与使用手语的残障人士顺畅沟通。该项目名叫Leap Reader,项目发起人希望利用该技术来开发出一种可穿戴式的手语翻译装置,比如像一条项链那样挂在使用者的脖子上。

除了手语识别系统外,以满足聋人需求为主要目的的高科技产品并不鲜见,比如由一款设计时尚的腕表和两枚戒指组成的Vibering Sensor感应器,可以感受到人的喊声,还有汽车喇叭的声音,这时戒指会振动,并将分析后的声音信息传输给腕表,在腕表上可以看到对应声响的图标,听力有障碍的人可以很容易地判断出声音的来源和类别。

 

版权声明

  • 中国残疾人网站所有内容的版权均属于作者或页面内声明的版权人。未经中国残疾人网站许可,任何其他个人或组织均不得以任何形式将中国残疾人网站的各项资源转载、复制、编辑或发布用于其他任何场合;不得将其中任何形式的资讯散发给其他方,不可将这些信息在其他的服务器或文档中作镜像复制或保存;不得修改或再使用中国残疾人网站的任何资源。若有意转载本站信息资料,必需取得中国残疾人网站的授权。
  • 凡本网注明“来源:XXX(非中国残疾人网站)”的作品,均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责。本网转载其他媒体之稿件,意在为公众提供免费服务。如稿件版权单位或个人不想在本网发布,可与本网联系,本网视情况可立即将其撤除。
  • 若对该稿件内容有任何疑问或质疑,请即与中国残疾人网站联系,本网将迅速给您回应并做处理。
    电话:010-84639477 邮箱:chinadp08@126.com