近日，电子科技年夜学生命科学与技术学院陈华富团队于《信息交金年金字招牌(jinnian)诚信至上-融》发表了年夜脑视觉信息解码研究结果。
将图象及文本等多模态语义特性融会以增强视觉神经体现，于年夜脑视觉解码中已经被证实有用。为了降服先前研究中未解决的对于齐歧义问题，研究团队提出了多模态融会对于齐神经体现模子（MFA-NRM）。该模子经由历程变分自编码器（VAE）及自留意力机制，将图象及文本特性整合到同一的潜于空间，促成与神经运动的稳健对于齐，并引入提醒技术晋升了跨个此外泛化能力。
MFA-NRM模子由五个模块组成，包罗图象编码器、文本编码器、提醒编码器、多模态融会模块及年夜脑编码器。图象编码器提取视觉特性，文本编码器提取文本特性，提醒编码器提取被试的先验提醒特性。多模态融会�？榻枷蠹拔谋咎匦匀诨幔饴肜烫峁└缓竦挠镆迨淙�。
试验结果注解，MFA-NRM于辨认及分类使命中均体现优秀，特别于多模态对于齐方面显著优在单模态要领及其他多模态对于齐要领，可以或许从年夜脑对于多模态视觉刺激的反映中提取更富厚的语义，为视觉神经解码提供了新的思绪。
该表征事情的价值体现于多个方面。其增强视觉神经解码，经由历程多模态融会要领，晋升了视觉神经解码的正确性。同时举行了跨模态信息整合，有用融会图象及文本等模态数据，晋升神经体现的语义富厚性。研究提高了脑机接口性能，为脑机接口提供更切确的神经体现，改善智能辅助装备的节制能力。此外，研究优化神经体现进修要领，资助深切理解年夜脑信息处置处罚机制。
相干论文信息：https://doi.org/10.1016/j.inffus.2025.103717
版权声明：凡本网注明“来历：中国科学报、科学网、科学新闻杂志”的所有作品，网站转载，请于正文上方注明来历及作者，且不患上对于内容作本色性改动；微信民众号、头条号等新媒体平台，转载请接洽授权。邮箱：shouquan@stimes.cn。-金年金字招牌(jinnian)诚信至上-
