详细技术指南、论文和代码目前保留英文原文。

交互式教学演示

下一次尝试,你会如何改进?

尝试两次分子选择,查看反馈,并为自己的 RSI 实验准备计划。

由你作出选择,浏览器负责与预存的参考答案对照。本演示不会调用模型,也不会运行 RSI 实验。

两条观测、两个候选项、一个分子样例组。完整基准包含正确配对、打乱和反事实三种证据条件。本演示使用一条原始观测和一条反事实观测。

  1. 作出选择
  2. 查看反馈
  3. 诊断
  4. 拟定修订方案
  5. 规划新样例测试

1. 哪个结构符合这条观测?

这个教学子集包含 2 条观测、2 个候选项和 1 个样例组。为每个偶极矩数值选择一个结构,再与参考答案对照。

共同的分子骨架

阴影标记的是待补全部位。两个候选项都保留了周围的结构。

局部遮蔽的分子骨架:高亮标记的未知基团,将腈基与一个含三个氮原子的五元环上的氮相连。
候选项 0
候选项 0:腈基通过亚甲基碳与环相连。

亚甲基连接(–CH₂–)

候选项 1
候选项 1:腈基通过羰基碳与环相连,该碳与氧形成双键。

羰基连接(–C(=O)–)

完成两条观测的预测

这些数值是 QM9S 中采用 B3LYP/def-TZVP 方法计算的偶极矩大小。D 表示德拜。具体数值还取决于分子几何构型和电子结构。

为每条观测选择一个候选项
观测 1

1.45724 D

观测 2

5.37590 D

为每条观测选择一个候选项,然后点击“检查我的选择”。

这是根据你的选择提供反馈的交互式教学样例。若要衡量模型是否有所改进,需要运行自己的系统,并在独立样例组上评估修订后的版本。

从已知分子构建可核验的任务

保留完整分子记录作为参考,遮蔽一个片段,并提供有效的候选结构。模型需要根据给定性质选择补全结构。改变证据可构建对照,帮助分析错误。

错误选择可以指出值得检查的地方,但不能直接确定原因,也不能提供经过验证的解释。修改系统前,应先检验一个具体假设。

详细任务构建指南

这与 RSI 有什么联系?

用开发集反馈检验拟议修改,再在独立的分子样例组上比较修订后的系统。研究递归改进时,还需检验更新后的系统能否帮助产生更好的后续改进。

基准提供任务与评分反馈。实验所需的模型、诊断、修订和独立测试由你的研究流程提供。这里下载的计划将这些实验均标记为待开展。

查看 RSI 机制

接入你的模型

  1. 下载并解压教学入门示例,使用 Python 3.9 或更高版本运行其中的示例程序。
  2. 将固定选择的适配器替换为你的模型,保存预测结果,再运行评分器。
  3. 开展研究时,请使用完整来源数据,并准备相互独立的开发样例组和评估样例组。

入门示例、代码、模型提示词和导出的 JSON 计划保留英文。详细使用指南说明了输入格式和评分命令。

来源与引用

基准论文。 Yuhang Xie, Zhiyi Shi, Zeyi Zhang, Zhisheng Qi, Yushun Dong, Yu Wang, Xiongye Xiao. MolP2SBench: Do LLMs Really Reason from Molecular Properties to Structure? arXiv:2610.12522 (2026).

引用此资源

使用 MolP2SBench 的任务与设计时,请引用基准论文。使用源自 QM9S 的记录时,还应引用底层 QM9S 论文并注明所用数据集版本。各项来源有各自的复用条款。 A deep learning model for predicting selected organic molecular spectra · QM9S 数据集版本.

选择并复制下方条目,或下载上面的 BibTeX 文件。

@misc{xie2026molp2sbench,
  title = {MolP2SBench: Do LLMs Really Reason from Molecular Properties to Structure?},
  author = {Yuhang Xie and Zhiyi Shi and Zeyi Zhang and Zhisheng Qi and Yushun Dong and Yu Wang and Xiongye Xiao},
  year = {2026},
  eprint = {2610.12522},
  archivePrefix = {arXiv},
  primaryClass = {physics.chem-ph},
  url = {https://arxiv.org/abs/2610.12522}
}

@article{zou2023molecularspectra,
  title = {A deep learning model for predicting selected organic molecular spectra},
  author = {Zihan Zou and Yujin Zhang and Lijun Liang and Mingzhi Wei and Jiancai Leng and Jun Jiang and Yi Luo and Wei Hu},
  journal = {Nature Computational Science},
  year = {2023},
  volume = {3},
  pages = {957--964},
  doi = {10.1038/s43588-023-00550-y},
  url = {https://doi.org/10.1038/s43588-023-00550-y}
}

来源与使用条款