手语识别和翻译
摘要:为了使聋哑人与更多不懂手语的人自然地交流,本作品将手语翻译成文字和语音,利用Microsoft Kinect记录手语手势的三维坐标,通过机器学习和优化算法,在IntelAtom平台上实现了手语翻译。
简介
手语是聋哑人士的主要沟通工具,它是利用手部和身体的动作来传达意义。虽然手语帮助它的使用者之间互相沟通,但聋哑人士与一般人的沟通却十分困难,这个沟通障碍是源于大部分人不懂得手语。
另一方面,聋哑小朋友由于很难表达自己,以及中国的聋哑教师数量有限,导致他们的学习出现困难,得不到和普通小朋友同等的学习机会。
为了解决这个问题,我们设计实现了一个从手语动作翻译成文字和声音的翻译器,令学习手语更有趣、更方便、更容易,以达到这个项目缩少聋哑人士与其他人的沟通障碍的目的。
工作原理和算法
特征提取 深度图像的分辨率是640x480,意味着每秒钟的数据有17.6MB,存储如此大量的数据是不可能的。同时许多没有用处的数据(例如背景)都包含在原始数据中。因此我们必须从原始数据中提取出有用的信息。骨架是一种可以用来表示手语的有用信息。
我们利用Kinect和OpenNI提取用户的骨架节点得到XYZ三点的坐标。我们一共提取了6个骨架节点,左手、左手肘、左肩、右手、右手肘、右肩。对于每一帧,我们从这些节点中计算出14个特征向量来表示这一帧的手语动作。经过标准化计算,我们用121帧来表示一个手语词语,因此每一个词语有1694个特征。
原始数据标准化 我们通过均匀分配和插值使原始数据标准化。通过二次插值法,利用最相近的三个原始数据计算出标准化的数据,使得每一个手语动作都统一用121帧来表示。
支持向量机 SVM(支持向量机)是统计学和计算机科学中的概念,简而言之,给定一组已经分好类别的数据,而且分类依据是未知的,支持向量机训练算法可以通过计算构建一个模型 ,一组新的数据到来时可以预测出新的数据属于哪一个类别。
SVM的模型将所有数据映像到一个高维空间里,并计算出不同类别数据之间的最大化几何边缘区,然后把新的数据映射到同一个空间,根据之前计算出的最大化几何边缘区来预测新的数据属于哪一个类别。
平台限制与解决方法
平台限制 使用Kinect的建议系统需求是CPU有双核2.66 GHz或以上,内存有2GB或以上,但Intel提供的平台只有分别1GHz CPU和1G 内存,明显与系统需求有差异。
即使我们使用Linux操作系统,处理器使用率依旧满载,并且帧率只有大约2到4左右,远少于正常的30帧。在这种条件下,再加上处理器资源已被提取资源的线程占据,所以不可能在处理器里进行资料分析的工作。
瓶颈 为了找出瓶颈,我们首先关闭了图像用户接口。虽然处理器使用率降至85%,但帧率跟之前的一样。我们观察得到其中一个OpenNI控制的线程依然是占领了整个线程。只是由于所提供的平台是双线程的关系,使用率分别被定在50%及35%。
为您推荐
贷款370万元买保险?消费者需当心有人盯上你的保单
银保监会要求保险机构提升农业保险保障水平 发展特色农产品保险
湖北省棉花“保险+期货”项目落地三县市 5万棉农将成为受益者
排行
最近更新
- 手语识别和翻译
- RC电路原理
- MAX232引脚图功能应用电路
- 寄存器和移位寄存器
- 暖流|短信暖心 服务贴心
- 广西力推中医药壮瑶医药 力争实现基层社区中医药服务全覆盖
- 中信证券:当前地产债券正处于筑底阶段
- RCEP生效“百日” 35份“纸黄金”助宁夏企业享红利
- 计划发债总额163.64亿元!河南77个专项债项目通过评审
- 广州白云管控区“蔬菜特供队”:让民众吃上新鲜菜
- 深铁集团20亿元公司债发行结束 票面利率分别为2.55%及2.97%
- 北京将持续降低核心区人口、建筑、商业、旅游密度
- 加拿大短端国债收益率领跌,在央行宣布加息50个基点后进一步下滑
- 故乡浙江上虞纪念“当代茶圣”吴觉农诞辰125周年
- 国际评级行业发展与监管动态报告
- 工商银行:500亿元二级资本债券发行完毕
- 督察组:偷梁换柱,河北邯郸用违规项目顶替化解钢铁产能
- 中金:中美利差倒挂未必会造成人民币大幅贬值和资金流动压力
- 提高干部群众国家安全意识 社区举办国家安全教育日主题宣传活动
- SBF提出推文上链等多条建议以去中心化Twitter
- 胃炎怎么治疗 五种治疗方法能给胃部消消炎
- 肾结石怎么治疗 3种常见方法能将体内结石击碎
- 胰腺炎的症状 这5个信号竟是胰腺炎的征兆
- 眼睛干涩怎么办 5种润眼方法轻松应对眼睛干涩
- 黄瓜的好处 想不到它竟是减肥瘦身的小帮手
- 全国已经有一百多个城市的银行自主下调房贷利率
- 核酸检测和抗原检测的区别
- 核酸检测待复核什么意思
- 市领导到巩义市调研紧密型医共体工作 加速推动医共体建设落...
- 南昌西湖区:管控区孕妇紧急求助 多部门联动5分钟紧急送医!