南京理工大学虚拟仿真实验教学共享平台

Virtual Simulation Experiment Teaching Sharing Platform

热点资讯

南京日报:南理工学生“希声”项目获全国大奖

浏览量 :11759时间 :2019-07-17

本报讯 (通讯员 王浩泽 记者 钱红艳) 对于没有学习过手语的人来说,如何与听障者进行交流是个大问题。为解决这一问题,南理工计算机学院大三学生赖水长和同学花大力气开发“希声”项目,实现了没有手语翻译就能双向沟通。不久前,这一项目在第十二届iCAN国际创新创业大赛中国总决赛中获得一等奖。 

开发“希声”项目的想法,始于大二的一次社会实践。那时,赖水长和同学们来到秦淮区特殊教育学校,第一次接触到听障学生。“没有手语翻译,怎么才能和听障者顺利沟通?”那时,这个问题就在他脑海中蹦了出来。带着“想做一个东西让大家更方便地与听障人士沟通”的想法,赖水长和同年级的小伙伴一起开始了“希声”项目的开发。 

“希声”的功能就像翻译词典实现不同语言间的互译一样。该系统由手机端app和外置双红外摄像头组成。记者看到,正常人与听障者进行沟通时,听障者需要将红外摄像头戴在头上,并将摄像头连接于手机,正常人则手持手机。当听障者运用手语,如表示“吃饭”时,“希声”系统通过双红外摄像头采集手势图像信息,将其翻译成日常交流的有声语言,通过手机麦克风播报;当正常人说话时,麦克风采集到语音,利用语音识别技术、数据库匹配,将自然语言翻译成手语图像,在手机屏幕上呈现。整个过程就是让抽象的语言被“看”见,让无声的手语被“听”见。

“《道德经》中有‘大音希声大象无形’,我们将系统命名为‘希声’,就是想表达真正的大音是能让听不见声音的人在寂静中感受到温暖,让不懂手语的人也能感受到来自聋哑人心中绽放的旋律。”赖水长说。 

项目开展的前期困难重重,为了采集手语动作信息,“希声”团队尝试过手套、臂环等方案,但成本高昂、动作采集精度低以及穿戴不方便等缺陷使他们不得不另辟蹊径。经过几个月的尝试,他们决定使用成本低廉但精度更高的双红外摄像设备作为“希声”的动作采集装置。这一突破使“希声”能比较好地得到手指关节的特征信息。加之深度学习模式的建立和数据分析处理能力的提升,“希声”已经可以实现对部分生活场景,如指路、饭店点单等场景下的对话复现。 

在第十二届iCAN国际创新创业大赛中国总决赛中,“希声”从来自全国19个分赛区的450个大学生项目中脱颖而出斩获一等奖,并获得德国国际总决赛入选资格。 

“目前‘希声’项目还处于初创阶段,需要提高的地方还有不少,比如红外摄像头戴起来还不太方便,需要更小型化,数据库的搭建也需要进一步完善,未来我们团队会继续努力,希望可以早日实现商用。”赖水长说。

(载于《南京日报》 2018年11月22日 星期四 A10版)