“耳听为虚，”有了新的解释——大学的生物工程学家发现，我们理解语言时对视觉的依赖程度超过了之前的想象。在合适的条件下，眼睛看到的会覆盖耳朵听到的。这些发现表明，人工听觉设备和语音识别软件不但依赖于麦克风，也能从摄像头获益良多。
“历史上第一次，我们能把大脑中的声音信号和人们误听的声音联系起来。我们证明了视觉能够影响大脑的听觉部分，从而改变你对现实的——而且这种还关不掉，”这项研究的第一作者艾略特·史密斯(ElliotSmith)说。“人们以为物理世界的客观现象和我们的主观感受之间有很好的对应，但那根本不是事实。”
大脑处理语言时同时考虑视觉和听觉——但是如果二者有细微差异，那么视觉优先。这个现象称为“麦格克效应”，人们几十年前就知道它，但是它的来源却一直不为人知。
这项研究记录并分析了癫痫病人颞叶皮层(用来处理声音的区域)的脑信号。所有受试都患有严重的癫痫，自愿在接受手术治疗的过程中进行实验。每个受试者的大脑表面直接放置了几个电极，然后观看一段视频。视频里的人会说"ba"、“va”、“ga”、“tha”这四个音——只不过声音和口型可能被调了包。
第二种是口型明显和声音对不上的，比如口型是“ga”，声音却是“tha”——受试能发现这种明显差错并正确地听到“tha”。
第三种就比较有趣了，声音和口型只有细微的差异，口型是“ba”，声音却是“va”，这时受试就会被而以为自己听到了“ba”。这就是麦格克效应的表现——视觉覆盖了听觉。
史密斯等人测量了受试观看视频时的脑电波活动，并由此判断出受试鉴别声音的时候用到的是视觉信号还是听觉信号。如果声音和口型完美吻合、或者毫无共同点，那么脑活动的增加和声音有相关性。然而，当麦格克效应发挥作用时，脑波活动的模式却和视觉信号相似了。统计分析在所有受试身上都验证了这一结果。
“我们的结果表明，本来应该由声音驱动的神经元信号，被视觉信号覆盖了”，另一位研究者布拉德利·格里格(BradleyGreger)说。“大脑实际上是完全忽视了耳朵里的物理声音，而选择视觉看到的东西。”
格雷格说，这项新发现有助于研究者理解人类处理语言的驱动力，特别是发育中的婴儿试图把声音和唇形连接在一起的时候都发生了什么。该发现也有助于帮助研究者理解，当视觉和听觉信号没能正确地整合到一起的时候(比如失语症)，究竟是语言处理的那一部分出了问题。
最新评论