作品详情

大赛登录

大赛注册

当前位置：首页大赛首页音为手译——基于加速度传感器和语音识别技术的手语翻译系统

大赛简介

大赛作品

大赛动态

联系我们

联系人：王秀秀

电话：010 -66083178

网址：www.qxwq.org.cn　

地址：北京市西城区广安门

内广义街5号广益大厦

大赛作品详情

作品名称：音为手译——基于加速度传感器和语音识别技术的手语翻译系统
学校名称：安康学院
参赛队伍：手语先锋队
队伍编号：199196
参赛学生：耿嘉钰徐泽庆王子新
指导老师：崔智军
投票日期：2024年10月08日 00:00->2024年12月06日 00:00
请在微信端进行投票。点此扫描二维码。

详细说明

聋哑人由于先天或后天的听觉和言语能力缺失，导致他们与外界的有效交流方式是手语。但是当他们和健全人进行沟通时，会遇到各种各样的困难。目前，能够完成聋哑人和健全人之间的双向交互系统的作用没有达到理想效果：比如应用肌电信号用于聋哑人与健全人进行交互的设备，仅仅只能片面的反映手臂或者上肢神经肌肉的活动，它的识别率不怎么理想；而基于卷积神经网络的聋哑人交互设备在复杂的环境下，识别率会受到影响。并且以上设备仅实现了聋哑人向健全人交流的过程，并未实现健全人向聋哑人交流的过程。

因此，本项目采用六轴加速度传感器、手指弯曲传感器并结合语音识别技术，设计了一种手语实时翻译的聋哑人双向交互系统。当聋哑人向健全人进行交流时，聋哑人做出手语动作，本系统的五个压力传感器采集每个手指弯曲的电压信号，同时手背部的六轴加速度传感器也会采集此时手部在X轴、Y轴、Z轴的倾角和加速度的变化。然后微处理器将采集到的数据进行预处理、特征提取并与预先建好的手势库样本进行比对，实现手语的分类识别。最后通过语音合成模块将系统识别到的手语播报出来，完成聋哑人与健全人进行交流的目的。

当健全人与聋哑人进行交流时，健全人对着语音识别模块发出语音，语音识别模块成功识别语音后向微控制器发送一个16进制指令，微控制器通过SPI通信协议读取外部存储器中与该16进制指令对应的手语动画数据，最后通过TFT—LCD液晶显示屏显示与健全人发出语音相对应的手语动画。完成健全人与聋哑人进行交流的目的。

最后，通过对手语实时翻译的聋哑人双向交互系统进行测试表明，本系统识别效果良好，具有较好的稳定性，有助于聋哑人更好地融入社会生活，提升其生活质量和社交能力。