智能眼镜将视频转换为声音以帮助盲人看到

智能眼镜将视频转换为声音以帮助盲人看到


作者:奥利维亚·索伦(Olivia Solon)盲人长期以来一直依靠声音作为视觉的替代品,有些人甚至使用回声定位来围绕物体进行导航但事实证明,声音可以专门设计用于传达视觉信息现在,这种现象被用于为盲人建立更好的导航设备来自帕萨迪纳加州理工学院的研究人员已经制造了智能眼镜,可以将图像转换为无需培训即可直观理解的声音该设备名为vOICe(OIC代表“哦!我看到”),是一副带有相机的黑眼镜,连接到电脑它基于荷兰工程师Peter Meijer于1992年开发的同名算法系统将摄像机视频输入中的像素转换为声音,将亮度和垂直位置映射到相关的音高和音量框架底部的一组暗像素听起来很安静并且音高很低,而顶部的一个明亮的音色会发出响亮而高音的声音声音随时间变化的方式取决于图像在帧中从左向右扫描时的外观耳机将处理过的声音发送到佩戴者的耳朵 “你正在从视觉中汲取一些东西,而你正在进行试镜,”加州理工学院的Noelle Stiles说道,他在vOICe工作 “你的大脑正在做相反的事情 - 它吸收所有的声音,并在视觉上理解它们”在本周发表的一篇论文中,Stiles和她的同事Shinsuke Shimojo解释说,以这种方式将视觉效果映射到声音反映了我们如何整合来自不同感官的数据例如,感知玫瑰意味着体验的不仅仅是它的颜色 - 它的香味,花瓣的质地和叶子的沙沙声也很重要 Shimojo和Stiles努力了解人们如何直观地将对象映射到声音他们要求有视力的志愿者将图像(条纹,斑点和自然纹理)与声音相匹配,同时要求盲人志愿者感受纹理并选择似乎与之相对应的声音选择模式直接影响了vOICe的算法,似乎产生了直观的结果在设备上进行测试后,没有使用经验的盲人能够将形状与声音匹配,就像那些经过训练的人一样 - 两组的表现都比偶然的好33%但是当编码被反转时,图像的大部分变得低音并且图像的明亮部分变成了安静的声音,志愿者发现将图像与声音匹配起来更加困难研究人员写道:“选择自然刺激可以直观地进行感觉替代,无论有没有训练,都是出乎意料的”西雅图华盛顿大学的Ione Fine说:“这项研究表明,你提供的信息数量并不重要,但是你是否以一种人们可以直观地理解的方式提供信息” “他们基本上都说魔术子弹将会找到一个直观的测绘系统,而不是依靠训练,”她说很好地指出,实验室中区分模式与使用vOICe观察和理解现实世界之间存在鸿沟但她说这项工作最终可以帮助设计更好的视力辅助工具传统上,这些依赖于训练用户理解他们在将视觉转换为其他刺激时产生的模式 “找到直观易用的东西要好得多,”她说 Stiles和Shinsuke现在使用功能磁共振成像(fMRI)数据来分析大脑内的活动,寻找直观的绘图系统期刊参考:科学报告,DOI:10.1038 / srep15628(图片来源:Giorgia Aloisio / Getty)关于这些主题的更多信息:
  • 首页
  • 游艇租赁
  • 电话
  • 关于我们