智能眼镜将视频转换为声音以帮助盲人看到

智能眼镜将视频转换为声音以帮助盲人看到


奥利维亚·索伦(Olivia Solon)盲人常常将声音替换为视觉,有些人甚至可以使用回声定位来控制物体但事实证明,声音可以定制,以传达视觉信息这种现象现在被用来帮助为盲人建立更好的导航设备帕萨迪纳加州理工学院的研究人员开发出智能眼镜,可将图像转化为声音,用户无需培训即可直观地理解这个名为vOICe的设备(OIC代表“哦!我看到”)是一副带有摄像头的黑眼镜,连接到计算机它基于荷兰工程师Peter Meijer于1992年开发的同名算法 vOICe将摄像机视频输入中的像素转换为声音,将亮度和垂直位置映射到音高和音量 “系统将像素转换为声音,将亮度和位置映射到音高和音量”框架底部的一组暗像素听起来很安静且音高很低,而顶部的亮片听起来响亮而高音声音随时间变化的方式取决于图像在帧中从左向右扫描时的外观耳机将处理过的声音发送到佩戴者的耳朵加州理工学院的Noelle Stiles和她的同事Shinsuke Shimojo解释说(Scientific Reports,doi.org / 8v9)以这种方式将视觉效果映射到声音,反映了我们如何整合来自不同感官的数据例如,感知玫瑰意味着体验的不仅仅是它的颜色 - 它的香味,花瓣的质地和叶子的沙沙都会起作用 Shimojo和Stiles着手了解人们如何直观地将对象映射到声音他们要求有视力的志愿者将图像(条纹,斑点和自然纹理)与声音相匹配,同时要求盲人志愿者感受纹理并选择似乎与之相对应的声音选择模式直接影响了vOICe的算法,似乎产生了直观的结果第一次测试设备的盲人能够将形状与声音匹配,就像那些经过训练的人一样 - 两组的表现都比偶然的好33%但是当编码被反转时,图像的大部分变得低音并且图像的明亮部分变成了安静的声音,志愿者发现将图像与声音匹配起来更加困难西雅图华盛顿大学的Ione Fine说:“这项研究表明,你所提供的信息的数量并不重要,但是你是否以一种人们可以直观地理解的方式提供信息” “他们基本上都说魔术子弹将会找到一个直观的测绘系统,而不是依靠训练,”她说很好地指出,实验室中区分模式与使用vOICe观察和理解现实世界之间存在鸿沟但她说这项工作最终可以帮助设计更好的视力辅助工具传统上,这些依赖于训练用户理解当设备将视觉转换为其他刺激时产生的模式 “找到直观易用的东西要好得多,”她说 Stiles和Shinsuke现在使用功能性MRI数据来分析大脑活动,寻找直观的绘图系统 (图片:
  • 首页
  • 游艇租赁
  • 电话
  • 关于我们