対話型の教材デモ
次の試行をどう改善しますか？
2 件の分子選択を試し、フィードバックを確認して、自分の RSI 実験の計画を準備します。
選ぶのはあなたです。ブラウザーが保存済みの参照解と照合します。このデモはモデルを呼び出さず、RSI 実験も実行しません。
2 件の観測、2 つの候補、1 つの分子ファミリーを使います。完全なベンチマークには、正しい対応、シャッフル、反実仮想という 3 つの証拠条件があります。このデモでは、元の観測と反実仮想の観測を 1 件ずつ使います。
- 選ぶ
- フィードバックを読む
- 原因を調べる
- 修正案を作る
- 新しい事例での検証を計画する
1. 観測に合う構造はどちらですか？
この教材は、2 件の観測、2 つの候補、1 つのファミリーからなる小さな事例です。それぞれの双極子モーメントに合う構造を選び、参照解と照合してください。
共通の分子骨格
色付きの部分が補完する部位です。どちらの候補も周囲の構造は同じです。
メチレンによる連結（–CH₂–）
カルボニルによる連結（–C(=O)–）
観測 1
元の観測
- あなたの選択
- 参照解
- 候補 1
–C(=O)–
観測 2
反実仮想の観測
- あなたの選択
- 参照解
- 候補 0
–CH₂–
この集計は、デモ内の 2 件の教材用観測だけを対象としています。
フィードバックを計画につなげる。
調べたい問いを選び、変更案を作り、検証方法を決めます。このデモでは、自分のモデルやツールで実施するための計画を準備します。
原因を調べる
分子の選択や検証の方針を変える前に、計画を保存してください。どちらを変えても、選択済みの計画は消去されます。
検証したい仮説を選んでください。それぞれの選択肢に、修正案とその確認方法が用意されています。
修正案を作る
モデル用プロンプト（英語）
任意：改善手法そのものを見直す
RSI 研究では、I は改善の手順を表します。以下は、その手順がソルバーの修正版を評価する方法を変更する案です。
これらは提案段階の方針です。修正版の選択には、使用を許可された開発用フィードバックだけを使います。 導入した I1 が、後続のソルバー修正版を実際に生成・検証・選択する必要があります。方針の提案やファイルの編集だけでは、再帰的な実行があったとはいえません。 RSI の仕組みを見る.
次の検証を計画する
次の開発段階の検証（許可範囲内）
フィードバックを修正手順に活かす
準備が必要：独立した開発用ファミリーを選び、計画した比較を実施します。
新たなファミリーでの独立した最終評価（結果を隔離）
改善ループの外で実施
開発が終わったら、選択して固定した版を、固定の外部評価器で独立した新たなファミリーに対して評価します。最終評価の結果を使って修正版を選んだり導入したりしないでください。
準備が必要：新たなファミリーを用意し、開発後に独立した評価を実施します。
回答履歴、公開された参照情報、選んだ案を含みます。実行と評価は未実施です。スターターはこの計画を読み込まないため、ご自身の研究環境で実施してください。
次へ：自分のエージェントでローカル入門キットを実行。入門キットは予測を採点します。計画の実施は、自分のワークフローで行います。
計画の JSON を読む・コピーする（英語）
どちらかの分子の選択や検証の方針を変えると、選択済みの計画は消去されます。それまでの試行は、このページのセッション記録に残ります。
Chemical reference (English)
The candidate reference values
| Candidate | Reference value |
|---|---|
| Candidate 0 | 5.37590 |
| Candidate 1 | 1.45724 |
Computed dipole magnitudes from QM9S at B3LYP/def-TZVP.
This reference table opens after you commit both choices. Keep it with the evaluator when running your own model.
What this pair can teach
The reference targets differ while the candidate set stays fixed. Checking both observations makes the answer pattern visible.
Net dipole depends on molecular geometry and electronic structure together. A rule based only on the presence of a carbonyl group is unreliable. Explaining this pair’s difference requires further chemical analysis.
Source records and limits (English)
- Observation 1: 元の観測
MCB_QM9_A3_49E99A99315E5E96 - Observation 2: 反実仮想の観測
MCB_QM9_A3CF_1D2CC3D6DB111D41
- One public teaching family, selected after inspecting a documented failure; not a representative performance sample.
- Labels and feedback are public. Repeating this example after seeing the reference is not a hidden test or evidence of improvement.
- A changed answer is not by itself proof of evidence use; a wrong answer does not identify its cause.
- No model calls, self-modification runs or new molecular calculations are performed by this demo.
あなたの選択を使う対話型の教材です。モデルの改善を測るには、自分のシステムを実行し、修正版を独立したファミリーで評価する必要があります。
既知の分子から、答えを確認できるタスクへ
完全な分子記録を参照として保持し、一部を隠して、妥当な候補構造を用意します。モデルは与えられた物性を使い、補完する構造を選びます。証拠を変えて比較条件を作ることで、誤りの調査に役立てられます。
誤った選択は、調べるべき箇所を示します。ただし、原因を特定したり、検証済みの説明を与えたりするものではありません。システムを変更する前に、具体的な仮説を検証してください。
詳しいタスク構築ガイドRSI とのつながり
開発用フィードバックで変更案を検証し、修正版のシステムを独立した分子ファミリーで比較します。再帰的改善を研究するには、更新したシステムが、その後のより良い改善にも役立つかを検証します。
ベンチマークはタスクと採点フィードバックを提供します。モデル、原因の調査、修正、独立した検証は、自分の実験で用意します。ここでダウンロードする計画では、これらの実験は未実施として記録されます。
RSI の仕組みを見る自分のモデルで使う
入門キット、コード、モデル用プロンプト、出力する計画の JSON は英語のままです。詳しい利用ガイドでは、入力形式と採点コマンドを説明しています。
出典と引用
ベンチマークの論文。 Yuhang Xie, Zhiyi Shi, Zeyi Zhang, Zhisheng Qi, Yushun Dong, Yu Wang, Xiongye Xiao. MolP2SBench: Do LLMs Really Reason from Molecular Properties to Structure? arXiv:2610.12522 (2026).
この資料の引用方法
MolP2SBenchのタスクや設計を利用する際は、ベンチマーク論文を引用してください。QM9S由来のデータを使う場合は、QM9Sの原論文も引用し、使用したデータセットのリリースを明記してください。それぞれの出典の再利用条件が適用されます。 A deep learning model for predicting selected organic molecular spectra · QM9Sデータセットのリリース.
下の項目を選択してコピーするか、上のBibTeXファイルをダウンロードしてください。
@misc{xie2026molp2sbench,
title = {MolP2SBench: Do LLMs Really Reason from Molecular Properties to Structure?},
author = {Yuhang Xie and Zhiyi Shi and Zeyi Zhang and Zhisheng Qi and Yushun Dong and Yu Wang and Xiongye Xiao},
year = {2026},
eprint = {2610.12522},
archivePrefix = {arXiv},
primaryClass = {physics.chem-ph},
url = {https://arxiv.org/abs/2610.12522}
}
@article{zou2023molecularspectra,
title = {A deep learning model for predicting selected organic molecular spectra},
author = {Zihan Zou and Yujin Zhang and Lijun Liang and Mingzhi Wei and Jiancai Leng and Jun Jiang and Yi Luo and Wei Hu},
journal = {Nature Computational Science},
year = {2023},
volume = {3},
pages = {957--964},
doi = {10.1038/s43588-023-00550-y},
url = {https://doi.org/10.1038/s43588-023-00550-y}
}