交互式教学演示
下一次尝试,你会如何改进?
尝试两次分子选择,查看反馈,并为自己的 RSI 实验准备计划。
由你作出选择,浏览器负责与预存的参考答案对照。本演示不会调用模型,也不会运行 RSI 实验。
两条观测、两个候选项、一个分子样例组。完整基准包含正确配对、打乱和反事实三种证据条件。本演示使用一条原始观测和一条反事实观测。
- 作出选择
- 查看反馈
- 诊断
- 拟定修订方案
- 规划新样例测试
1. 哪个结构符合这条观测?
这个教学子集包含 2 条观测、2 个候选项和 1 个样例组。为每个偶极矩数值选择一个结构,再与参考答案对照。
亚甲基连接(–CH₂–)
羰基连接(–C(=O)–)
观测 1
原始观测
- 你的选择
- 参考答案
- 候选项 1
–C(=O)–
观测 2
反事实观测
- 你的选择
- 参考答案
- 候选项 0
–CH₂–
这里的得分仅涵盖本演示中的两条教学观测。
把反馈转化为计划。
选择要检验的问题,拟定修改方案,再确定测试方法。本演示帮助你为自己的模型和工具准备一份计划。
诊断
更改分子选择或诊断路径前,请先保存计划;任一更改都会清除已选计划。
选择一种可能的解释进行检验。每条路径都提供修订建议及相应的检查方法。
拟定修订方案
模型提示词(英文)
可选:修订改进方法本身
在 RSI 研究中,I 表示改进流程。以下方案拟修改该流程评估求解器修订版本的方式。
这些策略尚未实施。只能使用获准的开发集反馈来选择修订方案。 部署后的 I1 必须实际生成、测试或选择后续的求解器修订版本。提出策略或修改文件,都不足以证明递归过程已经运行。 查看 RSI 机制.
规划下一轮测试
下一轮获准的开发测试
用反馈指导修订流程
待准备:选择独立的开发样例组,运行计划中的对照测试。
对新样例组做最终独立评估(隔离结果)
置于改进循环之外
开发结束后,使用固定的外部评估程序,对已选定并冻结的版本在独立的新样例组上进行评估。不得用最终评估结果来选择或部署修订版本。
待准备:取得新样例组,在开发结束后开展独立评估。
包含你的作答记录、公开参考数据和选定方案,执行与评估均标记为待开展。入门示例不会读取这份计划,需要在你自己的研究流程中实施。
下一步:用你的智能体运行本地入门示例。入门示例负责为预测评分;计划需要在你自己的流程中实施。
阅读或复制计划 JSON(英文)
更改任一分子选择或诊断路径,都会清除已选计划。此前的尝试仍保留在当前页面会话的记录中。
Chemical reference (English)
The candidate reference values
| Candidate | Reference value |
|---|---|
| Candidate 0 | 5.37590 |
| Candidate 1 | 1.45724 |
Computed dipole magnitudes from QM9S at B3LYP/def-TZVP.
This reference table opens after you commit both choices. Keep it with the evaluator when running your own model.
What this pair can teach
The reference targets differ while the candidate set stays fixed. Checking both observations makes the answer pattern visible.
Net dipole depends on molecular geometry and electronic structure together. A rule based only on the presence of a carbonyl group is unreliable. Explaining this pair’s difference requires further chemical analysis.
Source records and limits (English)
- Observation 1: 原始观测
MCB_QM9_A3_49E99A99315E5E96 - Observation 2: 反事实观测
MCB_QM9_A3CF_1D2CC3D6DB111D41
- One public teaching family, selected after inspecting a documented failure; not a representative performance sample.
- Labels and feedback are public. Repeating this example after seeing the reference is not a hidden test or evidence of improvement.
- A changed answer is not by itself proof of evidence use; a wrong answer does not identify its cause.
- No model calls, self-modification runs or new molecular calculations are performed by this demo.
这是根据你的选择提供反馈的交互式教学样例。若要衡量模型是否有所改进,需要运行自己的系统,并在独立样例组上评估修订后的版本。
从已知分子构建可核验的任务
保留完整分子记录作为参考,遮蔽一个片段,并提供有效的候选结构。模型需要根据给定性质选择补全结构。改变证据可构建对照,帮助分析错误。
错误选择可以指出值得检查的地方,但不能直接确定原因,也不能提供经过验证的解释。修改系统前,应先检验一个具体假设。
详细任务构建指南这与 RSI 有什么联系?
用开发集反馈检验拟议修改,再在独立的分子样例组上比较修订后的系统。研究递归改进时,还需检验更新后的系统能否帮助产生更好的后续改进。
基准提供任务与评分反馈。实验所需的模型、诊断、修订和独立测试由你的研究流程提供。这里下载的计划将这些实验均标记为待开展。
查看 RSI 机制接入你的模型
入门示例、代码、模型提示词和导出的 JSON 计划保留英文。详细使用指南说明了输入格式和评分命令。
来源与引用
基准论文。 Yuhang Xie, Zhiyi Shi, Zeyi Zhang, Zhisheng Qi, Yushun Dong, Yu Wang, Xiongye Xiao. MolP2SBench: Do LLMs Really Reason from Molecular Properties to Structure? arXiv:2610.12522 (2026).
引用此资源
使用 MolP2SBench 的任务与设计时,请引用基准论文。使用源自 QM9S 的记录时,还应引用底层 QM9S 论文并注明所用数据集版本。各项来源有各自的复用条款。 A deep learning model for predicting selected organic molecular spectra · QM9S 数据集版本.
选择并复制下方条目,或下载上面的 BibTeX 文件。
@misc{xie2026molp2sbench,
title = {MolP2SBench: Do LLMs Really Reason from Molecular Properties to Structure?},
author = {Yuhang Xie and Zhiyi Shi and Zeyi Zhang and Zhisheng Qi and Yushun Dong and Yu Wang and Xiongye Xiao},
year = {2026},
eprint = {2610.12522},
archivePrefix = {arXiv},
primaryClass = {physics.chem-ph},
url = {https://arxiv.org/abs/2610.12522}
}
@article{zou2023molecularspectra,
title = {A deep learning model for predicting selected organic molecular spectra},
author = {Zihan Zou and Yujin Zhang and Lijun Liang and Mingzhi Wei and Jiancai Leng and Jun Jiang and Yi Luo and Wei Hu},
journal = {Nature Computational Science},
year = {2023},
volume = {3},
pages = {957--964},
doi = {10.1038/s43588-023-00550-y},
url = {https://doi.org/10.1038/s43588-023-00550-y}
}