一张试卷,看穿AI化学功底

RxnBench首先设计了SF-QA（Single-Figure QA）任务，专门考察模型对单张反应图的理解能力。题目覆盖事实提取、试剂角色判断、机理理解、对比推理、全局理解和结构识别六类能力，并通过引入E/Z异构体、区域异构体和对映异构体等“硬负例”，避免模型依靠排除法猜测答案。

  在这一任务中，多模态模型表现相当出色。Gemini-3-Flash-preview取得了96.23%的平均准确率，开源模型Qwen3-VL-235B-Think也达到91.77%。如果只看总成绩，很容易得出一个结论：AI已经能够阅读化学文献。但当作者进一步拆解不同题型后，一个明显的能力断层开始出现。

图2：SF-QA数据构建流程

把六类任务拆开分析后，当前模型的能力边界变得十分清晰。 

（1）事实提取：接近满分

  对于催化剂、温度、收率等直接标注在反应图中的信息，头部模型准确率普遍超过94%，Gemini-3-Pro-preview达到96.48%。只要答案明确写在图中，模型通常能够稳定识别。

（2）机理推理：Think模式带来真实增益

  以Qwen3-VL系列为例，不开启Think时总成绩为85.84%，开启后提升至91.77%。增益主要集中在反应路径分析和过程推导任务中，说明推理链能够帮助模型更好地组织已有信息。

（3）结构识别：全员掉队

  真正的问题出现在结构识别任务。Gemini-3-Pro-preview的准确率下降到74.63%，GPT-4o仅有52.24%。

  模型能够准确识别“Pd(PPh₃)₄”这样的催化剂名称，却未必能够判断一个手性中心究竟是R构型还是S构型；能够读出“95% ee”，却不一定理解这种立体选择性对应的结构差异。

  更重要的是，Think模式几乎无法改善结构识别成绩。同一组模型在机理推理任务上获得明显提升，在结构识别任务上却原地踏步。简单来说就是：推理能补“不理解”的缺，却补不了“看不清”的缺。

图3：不同题型表现对比

如果说SF-QA考察的是“看图能力”，那么FD-QA（Full-Document QA）考察的则是“科研阅读能力”。结果非常直接：单图任务中最佳模型准确率达到96.23%，而到了全文任务，表现最好的模型也只有约46%。

  问题显然不只是论文变长了。在真实科研场景中，一个问题的答案往往分散在多个位置。对于研究人员而言，这些信息会被自然整合；对于模型而言，则需要额外完成多个步骤，任何一个环节出现偏差，最终答案都可能出错：

• 定位相关信息；

• 关联文本、图片和表格；

• 确认不同页面中的结构是否一致；

• 整合证据并完成推理。

  作者进一步比较了上下文推理（Context Reasoning）和结构推理（Structure Reasoning）的表现。以Gemini-2.5-Pro为例：

• 上下文推理准确率：56.82%

• 结构推理准确率：36.52%

  这一趋势几乎出现在所有参测模型中。模型已经能够完成一定程度的信息检索和整合，却仍然难以完成真正依赖分子结构的推导。从96%到46%，失去的并不是阅读能力，而是结构理解能力。

图4：FD-QA上下文推理与结构推理对比

很多Benchmark关注的是模型排名，而RxnBench更重要的价值在于画出了一张能力地图。

  从结果来看，当前多模态模型已经形成了比较清晰的三层结构：

第一层：文本信息提取

实验条件、催化剂和收率识别已经接近实用水平。

第二层：机理推理

推理模型正在快速缩小与专业研究者之间的差距。

第三层：结构理解

结构视觉识别和结构推理仍然是统一短板，也是全文理解能力难以继续提升的主要原因。

  对于AI制药领域而言，这个结论可能比排行榜更有价值。它告诉我们：现阶段模型最可靠的是信息整理和文献阅读，而涉及结构判断和复杂化学推导的环节，仍然需要研究人员保持谨慎。

如果把化学文献理解拆成“读文字、做推理、看结构”三个层次，那么今天的大模型已经基本跨过了前两关，却仍然卡在第三关。RxnBench最大的价值，不是重新排了一次模型名次，而是把这条能力边界画得足够清楚：AI已经学会阅读化学信息，但距离像化学家一样理解结构，仍然还有一段距离。