生成式AI制造化学错误:科学论文AI欺诈引发关注
8月1日消息,C&EN发表文章,揭示生成式人工智能(AI)在科学论文中制造化学错误和学术欺诈的问题。正如青少年被警告互联网上的错误可能永久跟随他们一样,生成式AI在化学领域犯下的错误同样可能长期存在并被传播。
文章以一篇被撤回论文为例展开分析。该论文的开头出现了典型的AI生成痕迹——"当然,以下是关于该主题的可能引言"(Certainly, here is a possible introduction for your topic),这是ChatGPT等生成式AI工具的标志性输出格式。更严重的是,AI在化学论文中可能编造不存在的化学化合物名称、虚构实验条件、错误描述反应机理或引用根本不存在的文献。
化学领域的AI欺诈问题尤为隐蔽。化学命名法和反应描述涉及大量专业术语和精确数值(温度、压力、收率、光谱数据),AI生成的看似合理但实际错误的化学数据对非专家审稿人来说难以识别。即使是经验丰富的化学家,也可能被AI编造的看似自洽的实验细节所迷惑。
出版界和科研机构正在探索应对措施。部分期刊已要求作者声明是否使用了AI工具辅助写作,并引入AI文本检测工具进行初步筛查。然而,AI检测工具的准确率有限,且随着AI模型不断改进,检测难度将持续增加。
更深层的问题是,AI生成的化学错误可能被后续研究引用和传播,形成"错误信息的学术回音室"。在药物发现和材料设计等高风险领域,基于错误数据的研究可能导致实验资源浪费甚至安全风险。化学界需要在学术诚信教育、同行评审流程和技术检测手段上同步加强。
(来源:C&EN)