科学家们使用人工智能生成的图像来绘制大脑的视觉功能

作者:威尔康奈尔医学院     时间:2024-01-18 14:19:11

威尔康奈尔医学、康奈尔科技和康奈尔伊萨卡校区的研究人员展示了使用人工智能选择的自然图像和人工智能生成的合成图像作为探测大脑视觉处理区域的神经科学工具。目标是应用数据驱动的方法来理解视觉是如何组织的,同时潜在地消除在研究人员选择的一组更有限的图像时可能出现的偏见。

在10月23日发表在《通信生物学》(Communications Biology)杂志上的这项研究中,研究人员让志愿者们看一些图像,这些图像是根据人类视觉系统的人工智能模型选择或生成的。

预计这些图像会最大限度地激活几个视觉处理区域。

使用功能性磁共振成像(fMRI)来记录志愿者的大脑活动,研究人员发现,这些图像确实比对照图像更能激活目标区域。

研究人员还表明,他们可以利用这些图像反应数据来调整他们针对志愿者个体的视觉模型,因此,为特定个体生成的图像比基于一般模型生成的图像效果更好。

“我们认为这是研究视觉神经科学的一种很有前途的新方法,”该研究的资深作者艾米·库切耶斯基博士说,她是威尔康奈尔医学院费尔家庭大脑和精神研究所放射学数学和神经科学数学教授。

这项研究是与默特·萨布库(Mert Sabuncu)博士的实验室合作进行的,萨布库博士是康奈尔工程学院和康奈尔理工学院的电气和计算机工程教授,也是威尔康奈尔医学学院放射学的电气工程教授。

该研究的第一作者是顾子金博士(Zijin Gu),他在研究期间是萨布库博士和库切耶斯基博士共同指导的博士生。

建立人类视觉系统的精确模型,部分通过绘制大脑对特定图像的反应,是现代神经科学更雄心勃勃的目标之一。

例如,研究人员发现,一个视觉处理区域可能会对人脸图像做出强烈反应,而另一个视觉处理区域可能会对风景做出反应。

考虑到用植入电极直接记录大脑活动的风险和困难,科学家们必须主要依靠非侵入性方法来实现这一目标。

首选的非侵入性方法是功能磁共振成像(fMRI),它主要记录大脑小血管中血流的变化——一种对大脑活动的间接测量——当受试者暴露于感官刺激或以其他方式进行认知或身体任务时。

功能磁共振成像(fMRI)机器可以以立方毫米的分辨率,在大脑的三维空间中读出这些微小的变化。

在他们自己的研究中,库切耶斯基和萨布库博士及其团队使用了一个现有的数据集,其中包括数万张自然图像,以及人类受试者相应的功能磁共振成像反应,来训练一个名为人工神经网络(ANN)的人工智能类型系统,以模拟人类大脑的视觉处理系统。

然后,他们用这个模型来预测,在数据集中,哪些图像应该最大限度地激活大脑的几个目标视觉区域。

他们还将该模型与基于人工智能的图像生成器相结合,以生成合成图像来完成相同的任务。

库切耶斯基博士说:“我们的总体思路是以一种系统、公正的方式绘制视觉系统的地图和模型,原则上甚至可以使用人们通常不会看到的图像。”

研究人员招募了6名志愿者,并记录了他们对这些图像的fMRI反应,重点关注了几个视觉处理区域的反应。

结果表明,对于自然图像和合成图像,平均而言,预测的最大激活器图像确实比一组选择或生成的仅为平均激活器的图像更能激活目标大脑区域。

这支持了该团队基于人工神经网络的模型的总体有效性,并表明即使是合成图像也可能作为测试和改进此类模型的探针有用。

在后续实验中,研究小组利用第一次实验的图像和fmri反应数据,为六名受试者分别创建了基于人工神经网络的视觉系统模型。

然后,他们使用这些个性化的模型为每个受试者选择或生成预测的最大激活器图像。

对这些图像的fMRI反应表明,至少对于合成图像,与基于群体模型的图像反应相比,目标视觉区域(称为FFA1的面部处理区域)的激活程度更高。

这一结果表明,人工智能和功能磁共振成像可以用于个性化视觉系统建模,例如研究不同人群视觉系统组织的差异。

研究人员现在正在进行类似的实验,使用一种更先进的图像生成器,称为“稳定扩散”。

他们指出,同样的一般方法也可以用于研究其他感官,如听觉。

库切耶斯基博士也希望最终能研究这种方法的治疗潜力。

“原则上,我们可以使用特别设计的刺激来改变大脑两个部分之间的连接,例如削弱导致过度焦虑的连接,”她说。


作者:威尔康奈尔医学院

链接:https://www.sciencedaily.com/releases/2023/11/231130145431.htm

著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。

声明:海森大数据刊发或者转载此文只是出于传递、分享更多信息之目的,并不意味认同其观点或证实其描述。若有来源标注错误或侵犯了您的合法权益,请作者与本网联系,我们将及时更正、删除,谢谢。电话:152 6451 3069,邮箱:1027830374@qq.com


联系我们
咨询反馈