发现具有创造新药物和新材料所需特性的分子的过程既繁琐又昂贵,需要消耗大量的计算资源和数月的人力来缩小潜在候选分子的巨大空间。
像ChatGPT这样的大型语言模型(LLM)可以简化这一过程,但是使LLM能够理解和推理组成分子的原子和键,就像它理解组成句子的单词一样,这是科学上的绊脚石。
麻省理工学院和麻省理工学院- ibm沃森人工智能实验室的研究人员创造了一种很有前途的方法,可以用其他机器学习模型(称为基于图的模型)来增强LLM,这些模型专门用于生成和预测分子结构。
他们的方法使用基本LLM来解释指定所需分子性质的自然语言查询。它会自动在基本的LLM和基于图形的AI模块之间切换,以设计分子,解释基本原理,并生成一个逐步合成它的计划。它将文本、图形和合成步骤生成交织在一起,将单词、图形和反应组合成一个供LLM使用的通用词汇表。
与现有的基于llm的方法相比,这种多模态技术生成的分子更符合用户规格,更有可能具有有效的合成计划,将成功率从5%提高到35%。
它的表现也超过了比它大10倍以上的llm,而且llm只能用基于文本的表示来设计分子和合成路线,这表明多模态是新系统成功的关键。
“这可能是一个端到端的解决方案,从开始到结束,我们将自动化设计和制造分子的整个过程。如果法学硕士能在几秒钟内给出答案,这将为制药公司节省大量时间,”麻省理工学院研究生迈克尔·孙(Michael Sun)说,他是一篇关于这种技术的论文的合著者。
孙的共同作者包括第一作者刘刚,圣母大学的研究生;Wojciech Matusik,麻省理工学院电子工程和计算机科学教授,领导计算机科学和人工智能实验室(CSAIL)的计算设计和制造小组;孟Jiang,圣母大学副教授;以及资深作者陈洁,他是麻省理工学院- ibm沃森人工智能实验室的高级研究科学家和经理。这项研究将在国际学习表征会议上发表。
两全其美
大型语言模型并不是为了理解化学的细微差别而建立的,这也是它们在逆向分子设计(一种识别具有某些功能或特性的分子结构的过程)方面遇到困难的原因之一。
llm将文本转换为称为令牌的表示,用它来顺序预测句子中的下一个单词。但是分子是“图形结构”,由原子和键组成,没有特定的顺序,这使得它们很难编码为顺序文本。
另一方面,强大的基于图的人工智能模型将原子和分子键表示为图中相互连接的节点和边。虽然这些模型在逆分子设计中很流行,但它们需要复杂的输入,无法理解自然语言,并且产生难以解释的结果。
麻省理工学院的研究人员将法学硕士与基于图形的人工智能模型结合到一个统一的框架中,从而获得了两者的优势。
Llamole代表分子发现的大型语言模型,它使用一个基本的LLM作为看门人来理解用户的查询——对具有某些属性的分子的简单语言请求。
例如,考虑到它的分子量为209和某些键特性,用户可能会寻找一种可以穿透血脑屏障并抑制艾滋病毒的分子。
当LLM预测响应查询的文本时,它在图形模块之间切换。
其中一个模块使用图扩散模型根据输入要求生成分子结构。第二个模块使用图形神经网络将生成的分子结构编码回令牌,供llm使用。最后一个图形模块是一个图形反应预测器,它将中间分子结构作为输入,并预测反应步骤,从基本构建块中搜索生成分子的精确步骤集。
研究人员创造了一种新型的触发令牌,告诉LLM何时激活每个模块。当LLM预测“设计”触发令牌时,它切换到绘制分子结构的模块,当它预测“复古”触发令牌时,它切换到预测下一个反应步骤的逆合成计划模块。
“这样做的美妙之处在于,LLM在激活特定模块之前生成的所有内容都被馈送到该模块本身。该模块正在学习以一种与以前一致的方式操作,”孙说。
以同样的方式,对每个模块的输出进行编码并反馈到LLM的生成过程中,因此它了解每个模块的操作,并将根据这些数据继续预测令牌。
更好,更简单的分子结构
最后,Llamole输出分子结构的图像,分子的文本描述,以及一步一步的合成计划,该计划提供了如何制造它的细节,直至单个化学反应。
在涉及设计符合用户规格的分子的实验中,Llamole的表现优于10个标准llm、4个微调llm和一个最先进的领域特定方法。与此同时,它通过产生更高质量的分子,将反合成计划的成功率从5%提高到35%,这意味着它们具有更简单的结构和更低成本的构建块。
“法学硕士们自己很难弄清楚如何合成分子,因为这需要很多多步骤的规划。我们的方法可以产生更好的分子结构,也更容易合成,”刘说。
为了训练和评估Llamole,研究人员从零开始建立了两个数据集,因为现有的分子结构数据集没有包含足够的细节。他们用人工智能生成的自然语言描述和定制的描述模板增强了数十万个专利分子。
他们为微调LLM而建立的数据集包括与10种分子特性相关的模板,因此Llamole的一个限制是,它只考虑这10种数值特性来设计分子。
在未来的工作中,研究人员希望推广Llamole,使其能够包含任何分子特性。此外,他们计划改进图形模块,以提高Llamole的反合成成功率。
从长远来看,他们希望利用这种方法超越分子,创建可以处理其他类型的基于图形的数据的多模态llm,例如电网中的互联传感器或金融市场中的交易。
陈说:“Llamole展示了使用大型语言模型作为文本描述之外的复杂数据接口的可行性,我们预计它们将成为与其他人工智能算法交互以解决任何图形问题的基础。”
作者:Adam Zewe | MIT News
链接:https://news.mit.edu/2025/could-llms-help-design-our-next-medicines-and-materials-0409
著作权归作者所有。
声明:海森大数据刊发或者转载此文只是出于传递、分享更多信息之目的,并不意味认同其观点或证实其描述。若有来源标注错误或侵犯了您的合法权益,请作者与本网联系,我们将及时更正、删除,谢谢。电话:152 6451 3609,邮箱:1027830374@qq.com