详细技术指南、论文和代码目前保留英文原文。

科学数据集

可运行的任务、可核验的答案、可用于学习的反馈。将这些资源接入你的模型或 RSI 流程。

从分子教学包或原始 benchmark 开始使用,数据集将持续扩充。

数据存放在哪里. 完整数据集可以保留在原始仓库。本目录提供来源及访问条款链接,另行提供小型教学示例下载。

搜索和筛选数据集

按资源的主要科学领域浏览。

能力标签表示任务考察的内容,与资源所属的科学领域分开。

分子发现 · 分子性质 → 结构

MolP2SBench

原始论文

根据计算得到的物理性质恢复被遮住的分子片段。已知结构提供参考答案;受控对照帮助研究预测如何变化。

教学入门包

2 条观测 · 2 个候选项 · 1 个分子问题组

包含模型输入、独立标签、评分器和 Python 示例。需要 Python 3.9+;运行基础检查无需 API 密钥。

教学改编:来源与使用说明。

完整基准

每个性质通道有 136 道原始问题 · 每题 2–4 个候选项

完整任务视图、标签、提示词和评分器请见原始仓库,其格式与教学入门包不同。

外部来源。使用前请核对仓库及底层数据的复用条款。

  • 结构恢复
  • 证据使用
  • 反事实响应

完整基准考察的能力。教学样例对用于介绍接口。

这些数量分别指什么?

一道任务对应一条待回答的输入记录。一个问题组包含同一原始恢复问题及相关观测。性质通道提供一类证据,例如偶极矩大小;证据条件则指定它与任务如何配对:正确、打乱或反事实。构建独立评估划分时,相关记录必须留在同一组。

输入
遮蔽后的结构、性质数值和候选补全结构
输出
为每条观测选择一个候选项
反馈
开发样例上的正确性评分与参考对照

来源与引用

基准论文。 Yuhang Xie, Zhiyi Shi, Zeyi Zhang, Zhisheng Qi, Yushun Dong, Yu Wang, Xiongye Xiao. MolP2SBench: Do LLMs Really Reason from Molecular Properties to Structure? arXiv:2610.12522 (2026).

引用此资源

使用 MolP2SBench 的任务与设计时,请引用基准论文。使用源自 QM9S 的记录时,还应引用底层 QM9S 论文并注明所用数据集版本。各项来源有各自的复用条款。 A deep learning model for predicting selected organic molecular spectra · QM9S 数据集版本.

选择并复制下方条目,或下载上面的 BibTeX 文件。

@misc{xie2026molp2sbench,
  title = {MolP2SBench: Do LLMs Really Reason from Molecular Properties to Structure?},
  author = {Yuhang Xie and Zhiyi Shi and Zeyi Zhang and Zhisheng Qi and Yushun Dong and Yu Wang and Xiongye Xiao},
  year = {2026},
  eprint = {2610.12522},
  archivePrefix = {arXiv},
  primaryClass = {physics.chem-ph},
  url = {https://arxiv.org/abs/2610.12522}
}

@article{zou2023molecularspectra,
  title = {A deep learning model for predicting selected organic molecular spectra},
  author = {Zihan Zou and Yujin Zhang and Lijun Liang and Mingzhi Wei and Jiancai Leng and Jun Jiang and Yi Luo and Wei Hu},
  journal = {Nature Computational Science},
  year = {2023},
  volume = {3},
  pages = {957--964},
  doi = {10.1038/s43588-023-00550-y},
  url = {https://doi.org/10.1038/s43588-023-00550-y}
}

把数据接入你的改进循环

  1. 运行你的模型

    向模型提供任务输入,并收集预测结果。 接入你的模型.

  2. 从反馈中学习

    对开发样例评分,并分析错误。 查看反馈示例.

  3. 检验新样例

    在独立问题组上,使用相同的检查器和预算比较不同版本。 从完整来源开始 并按问题组划分数据;教学样例对无法提供独立的新样例。

教学样例对用于熟悉接口。科研评估还需要额外的独立问题组。系统修订由你实现; 我们建议的协议考察改进过程本身的变化.

把你的数据带到社群

分享原创数据,或推荐现有资源。说明科学用途和来源即可;论文可选。

贡献数据集