Interaktive Lehrdemo
Wie würden Sie den nächsten Versuch verbessern?
Treffen Sie zwei Molekülentscheidungen, sehen Sie sich die Rückmeldung an und bereiten Sie einen Plan für Ihr eigenes RSI-Experiment vor.
Sie treffen die Entscheidungen; der Browser vergleicht sie mit gespeicherten Referenzen. Diese Demo ruft kein Modell auf und führt kein RSI-Experiment durch.
Zwei Beobachtungen, zwei Kandidaten, eine Molekülfamilie. Der vollständige Benchmark umfasst drei Bedingungen für die bereitgestellten Informationen: korrekt zugeordnet, zufällig vertauscht und kontrafaktisch. Diese Demo verwendet eine Originalbeobachtung und eine kontrafaktische Beobachtung.
- Auswählen
- Rückmeldung lesen
- Ursache untersuchen
- Eine Überarbeitung entwerfen
- Neue Tests planen
1. Welche Struktur passt zur Beobachtung?
Dieses Lehrbeispiel umfasst 2 Beobachtungen, 2 Kandidaten und 1 Molekülfamilie. Wählen Sie für jeden Betrag des Dipolmoments eine Struktur und vergleichen Sie Ihre Auswahl anschließend mit der Referenz.
Ein gemeinsames Grundgerüst
Die schattierte Stelle muss ergänzt werden. Beide Kandidaten behalten die umgebende Struktur bei.
Methylenbrücke (–CH₂–)
Carbonylbrücke (–C(=O)–)
Beobachtung 1
Originalbeobachtung
- Ihre Auswahl
- Referenzantwort
- Kandidat 1
–C(=O)–
Beobachtung 2
Kontrafaktische Beobachtung
- Ihre Auswahl
- Referenzantwort
- Kandidat 0
–CH₂–
Ihre Auswertung bezieht sich auf die beiden Beobachtungen dieses Lehrbeispiels.
Entwickeln Sie aus dieser Rückmeldung einen Plan.
Wählen Sie eine Frage, entwerfen Sie eine Änderung und legen Sie fest, wie Sie diese testen. Dieses Beispiel hilft Ihnen, einen Plan für Ihr eigenes Modell und Ihre Werkzeuge vorzubereiten.
Ursache untersuchen
Speichern Sie Ihren Plan, bevor Sie die Molekülauswahl oder den Untersuchungspfad ändern. Beide Änderungen löschen den ausgewählten Plan.
Wählen Sie eine mögliche Erklärung, die Sie testen möchten. Jeder Pfad schlägt eine Überarbeitung und eine passende Prüfung vor.
Eine Überarbeitung entwerfen
Modell-Prompt (Englisch)
Optional: das Verbesserungsverfahren selbst überarbeiten
In einer RSI-Studie bezeichnet I Ihr Verbesserungsverfahren. Der folgende Änderungsvorschlag betrifft die Art, wie dieses Verfahren Überarbeitungen Ihres Solvers bewertet.
Dies sind vorgeschlagene Auswahlregeln. Nur zulässiges Feedback aus der Entwicklung darf die Auswahl beeinflussen. Das installierte I1 muss tatsächlich eine spätere Überarbeitung des Solvers erzeugen, testen oder auswählen. Eine vorgeschlagene Regel oder eine bearbeitete Datei belegt noch keine rekursive Ausführung. Den RSI-Mechanismus ansehen.
Den nächsten Test planen
Nächste zulässige Entwicklungsrunde
Feedback lenkt Ihren Überarbeitungsprozess
Noch vorzubereiten: unabhängige Molekülfamilien für die Entwicklung auswählen und den geplanten Vergleich durchführen.
Abschließende geschützte Prüfung an neuen Molekülfamilien
Außerhalb der Verbesserungsschleife
Bewerten Sie nach der Entwicklung das ausgewählte, eingefrorene Artefakt mit einer unveränderten externen Bewertungsinstanz an unabhängigen Gruppen neuer Molekülfamilien. Die Ergebnisse dieser Prüfung dürfen nicht zur Auswahl oder Installation von Überarbeitungen verwendet werden.
Noch vorzubereiten: neue Molekülfamilien beschaffen und nach Abschluss der Entwicklung die unabhängige Bewertung durchführen.
Enthält Ihre bisherigen Antworten, die öffentlichen Referenzen und den gewählten Vorschlag. Ausführung und Auswertung stehen noch aus. Das Starterpaket lädt diesen Plan nicht; setzen Sie ihn in Ihrem eigenen Forschungsablauf um.
Nächster Schritt: das lokale Starterpaket mit Ihrem Agenten ausführen. Das Starterpaket bewertet Vorhersagen; Ihren Plan setzen Sie mit Ihrem eigenen Arbeitsablauf um.
Plan im JSON-Format lesen oder kopieren (Englisch)
Wenn Sie eine der Molekülentscheidungen oder diesen Untersuchungspfad ändern, wird der ausgewählte Plan gelöscht. Ihre früheren Versuche bleiben für diese Seitensitzung protokolliert.
Chemical reference (English)
The candidate reference values
| Candidate | Reference value |
|---|---|
| Candidate 0 | 5.37590 |
| Candidate 1 | 1.45724 |
Computed dipole magnitudes from QM9S at B3LYP/def-TZVP.
This reference table opens after you commit both choices. Keep it with the evaluator when running your own model.
What this pair can teach
The reference targets differ while the candidate set stays fixed. Checking both observations makes the answer pattern visible.
Net dipole depends on molecular geometry and electronic structure together. A rule based only on the presence of a carbonyl group is unreliable. Explaining this pair’s difference requires further chemical analysis.
Source records and limits (English)
- Observation 1: originalbeobachtung
MCB_QM9_A3_49E99A99315E5E96 - Observation 2: kontrafaktische beobachtung
MCB_QM9_A3CF_1D2CC3D6DB111D41
- One public teaching family, selected after inspecting a documented failure; not a representative performance sample.
- Labels and feedback are public. Repeating this example after seeing the reference is not a hidden test or evidence of improvement.
- A changed answer is not by itself proof of evidence use; a wrong answer does not identify its cause.
- No model calls, self-modification runs or new molecular calculations are performed by this demo.
Ein interaktives Lehrbeispiel mit Ihren eigenen Entscheidungen. Um eine Modellverbesserung zu messen, führen Sie Ihr eigenes System aus und bewerten Sie die überarbeitete Version anhand unabhängiger Molekülfamilien.
Vom bekannten Molekül zur überprüfbaren Aufgabe
Bewahren Sie den vollständigen Moleküldatensatz als Referenz auf, maskieren Sie ein Fragment und bieten Sie gültige Kandidatenstrukturen an. Das Modell muss die angegebenen Eigenschaften nutzen, um eine Ergänzung zu wählen. Durch Änderungen der bereitgestellten Informationen entstehen Vergleiche, die bei der Untersuchung von Fehlern helfen können.
Eine falsche Entscheidung zeigt, wo sich eine Untersuchung lohnt. Sie belegt weder die Ursache noch liefert sie eine bestätigte Erklärung. Testen Sie eine konkrete Hypothese, bevor Sie das System ändern.
Ausführliche Anleitung zur AufgabenkonstruktionDer Zusammenhang mit RSI
Nutzen Sie Entwicklungsfeedback, um eine vorgeschlagene Änderung zu testen. Vergleichen Sie das überarbeitete System anschließend an unabhängigen Molekülfamilien. Um rekursive Verbesserung zu untersuchen, prüfen Sie außerdem, ob das aktualisierte System dabei hilft, später bessere Verbesserungen hervorzubringen.
Der Benchmark stellt Aufgaben und bewertetes Feedback bereit. Modell, Fehlerdiagnose, Überarbeitungen und unabhängige Tests gehören zu Ihrem Experiment. Der hier herunterladbare Plan vermerkt diese Experimente als ausstehend.
Den RSI-Mechanismus ansehenMit Ihrem Modell verwenden
Starterpaket, Code, Modell-Prompts und exportierter JSON-Plan bleiben auf Englisch. Die ausführliche Nutzungsanleitung erläutert das Eingabeformat und die Bewertungsbefehle.
Quelle und Zitierhinweise
Publikation zum Benchmark. Yuhang Xie, Zhiyi Shi, Zeyi Zhang, Zhisheng Qi, Yushun Dong, Yu Wang, Xiongye Xiao. MolP2SBench: Do LLMs Really Reason from Molecular Properties to Structure? arXiv:2610.12522 (2026).
Diese Ressource zitieren
Zitieren Sie die Publikation zu MolP2SBench für dessen Aufgaben und Aufbau. Wenn Sie Daten verwenden, die aus QM9S stammen, zitieren Sie zusätzlich die ursprüngliche QM9S-Publikation und nennen Sie die verwendete Version des Datensatzes. Für jede Quelle gelten eigene Bedingungen für die Nachnutzung. A deep learning model for predicting selected organic molecular spectra · Veröffentlichte Version des QM9S-Datensatzes.
Markieren und kopieren Sie die Einträge unten oder laden Sie die BibTeX-Datei oben herunter.
@misc{xie2026molp2sbench,
title = {MolP2SBench: Do LLMs Really Reason from Molecular Properties to Structure?},
author = {Yuhang Xie and Zhiyi Shi and Zeyi Zhang and Zhisheng Qi and Yushun Dong and Yu Wang and Xiongye Xiao},
year = {2026},
eprint = {2610.12522},
archivePrefix = {arXiv},
primaryClass = {physics.chem-ph},
url = {https://arxiv.org/abs/2610.12522}
}
@article{zou2023molecularspectra,
title = {A deep learning model for predicting selected organic molecular spectra},
author = {Zihan Zou and Yujin Zhang and Lijun Liang and Mingzhi Wei and Jiancai Leng and Jun Jiang and Yi Luo and Wei Hu},
journal = {Nature Computational Science},
year = {2023},
volume = {3},
pages = {957--964},
doi = {10.1038/s43588-023-00550-y},
url = {https://doi.org/10.1038/s43588-023-00550-y}
}