基于大语言模型自注意力机制的材料性能预测

【作者】 崔亚森； 朱健； 任永生； 詹曙； 马文会；

【机构】 合肥工业大学计算机与信息学院； 合肥综合性国家科学中心人工智能研究院； 真空冶金国家工程实验室； 昆明理工大学冶金与能源工程学院；

【摘要】 随着科学技术的发展和硬件计算能力的提高,大语言模型的应用成为当前的研究热点,人工智能一词重新回到大众的主流视野。其中,AI for science是当前深度学习领域的热点之一。预测材料的关键物理化学性质一直是材料科学中的挑战。由于材料成分和制备工艺存在大量可能的组合,仅依靠实验探索成本高昂且效率低下。因此,开发能够根据材料成分和制备参数准确预测性能指标的计算模型变得尤为重要。本文提出了一种基于Transformer模型的自注意力机制方法,可以利用自注意力机制从材料文本描述中捕获相关信息,并预测相关的性能指标。在预训练部分,利用RoBERTa模型作为编码器主干网络,并为此任务设计定制的分词器和微调过程。在SMOD、JARVIS等公开材料数据集上的结果表明,该模型在各项性能指标的预测任务中均取得了显著效果,超越了传统的浅层机器学习模型。此外,通过对自注意力权重的可视化分析,我们发现在基于大语言模型基础上,该方法可以自主学习并关注输入文本中与目标表现高度相关的关键词信息。本文的工作证明了基于Transformer的大语言模型其文本理解能力可以成功应用于材料领域,为基于文本输入预测合金性能提供了一种新的、高效的方法。关键词:深度学习;大语言模型;材料;性能预测更多还原