대화형 교육 데모

다음 시도를 어떻게 개선할까요?

두 분자 선택을 직접 해 보고, 피드백을 확인한 뒤 자신의 RSI 실험 계획을 준비하세요.

선택은 사용자가 하고, 브라우저는 저장된 기준 정답과 비교합니다. 이 데모는 모델을 호출하거나 RSI 실험을 실행하지 않습니다.

관측 2개, 후보 2개, 분자 사례군 1개를 사용합니다. 전체 벤치마크에는 올바른 대응, 섞인 물성, 반사실적 물성이라는 세 가지 증거 조건이 있습니다. 이 데모는 원래 관측 1개와 반사실적 관측 1개를 사용합니다.

데모 시작 태스크를 만드는 방법 내 모델로 사용

선택
피드백 읽기
원인 검토
수정안 작성
새 사례 검증 계획

1. 관측에 맞는 구조는 무엇인가요?

이 교육용 부분집합에는 관측 2개, 후보 2개, 사례군 1개가 들어 있습니다. 각 쌍극자 모멘트 값에 맞는 구조를 선택한 뒤 기준 정답과 비교하세요.

공통 분자 골격

음영으로 표시된 곳이 채워야 할 부분입니다. 두 후보 모두 주변 구조는 그대로 유지합니다.

일부를 가린 분자 골격: 강조된 미지의 작용기가 나이트릴기와, 질소 원자 3개를 포함한 5원환의 질소를 연결합니다.

후보 0: 나이트릴기와 고리가 메틸렌 탄소를 통해 연결되어 있습니다. — 후보 0

후보 1: 나이트릴기와 고리가 카보닐 탄소를 통해 연결되어 있으며, 이 탄소는 산소와 이중 결합을 이룹니다. — 후보 1

2. 피드백 읽기

관측 1
원래 관측
내 선택
기준 정답
후보 1
–C(=O)–
관측 2
반사실적 관측
내 선택
기준 정답
후보 0
–CH₂–

이 점수는 데모에 포함된 교육용 관측 2개만 대상으로 합니다.

피드백을 계획으로 연결하세요.

검토할 질문을 고르고, 변경안을 만든 뒤 검증 방법을 정하세요. 이 데모는 자신의 모델과 도구로 실행할 계획을 준비하는 데 도움을 줍니다.

원인 검토

분자 선택이나 진단 경로를 바꾸기 전에 계획을 저장하세요. 어느 쪽을 바꾸든 선택한 계획이 지워집니다.

다음으로 무엇을 확인할까요?이 관측 쌍 이외의 사례에서 검증솔버를 그대로 유지하고 독립적인 개발용 사례군에서 동작을 살펴보세요.물성 정보의 사용 확인솔버가 올바르게 대응된 증거보다 익숙한 후보 구조에 의존할 가능성이 있을까요?화학적 지름길에 의존하는지 확인‘카보닐기가 있으면 쌍극자 모멘트가 더 크다’와 같은 규칙이 선택에 영향을 주었을 가능성이 있을까요?후보와 인덱스의 대응 확인분자는 올바르게 식별했지만 표시된 인덱스를 잘못 반환했을 가능성이 있을까요?

검증할 가설을 선택하세요. 각 경로에는 수정안과 확인 방법이 제시되어 있습니다.

Chemical reference (English)

The candidate reference values

Dipole magnitude (D), rounded to five decimal places
Candidate	Reference value
Candidate 0	5.37590
Candidate 1	1.45724

Computed dipole magnitudes from QM9S at B3LYP/def-TZVP.

This reference table opens after you commit both choices. Keep it with the evaluator when running your own model.

What this pair can teach

The reference targets differ while the candidate set stays fixed. Checking both observations makes the answer pattern visible.

Net dipole depends on molecular geometry and electronic structure together. A rule based only on the presence of a carbonyl group is unreliable. Explaining this pair’s difference requires further chemical analysis.

Source records and limits (English)

Family: MCB_QM9_A3_49E99A99315E5E96
Repository version: MolP2SBench, commit 1ede82bf68f6
Benchmark paper: MolP2SBench: Do LLMs Really Reason from Molecular Properties to Structure?
Worked example: Appendix I.3, p. 27 of the supplied 44-page manuscript

Observation 1: 원래 관측MCB_QM9_A3_49E99A99315E5E96
Input record Reference label
Observation 2: 반사실적 관측MCB_QM9_A3CF_1D2CC3D6DB111D41
Input record Reference label

One public teaching family, selected after inspecting a documented failure; not a representative performance sample.
Labels and feedback are public. Repeating this example after seeing the reference is not a hidden test or evidence of improvement.
A changed answer is not by itself proof of evidence use; a wrong answer does not identify its cause.
No model calls, self-modification runs or new molecular calculations are performed by this demo.

사용자가 직접 선택하는 대화형 교육 사례입니다. 모델의 개선 정도를 측정하려면 자신의 시스템을 실행하고, 수정한 버전을 독립적인 사례군에서 평가해야 합니다.

알려진 분자에서 검증 가능한 태스크로

완전한 분자 기록을 기준으로 보관하고, 일부 조각을 가린 뒤 유효한 후보 구조를 제시합니다. 모델은 주어진 물성을 사용해 빈 부분을 채울 구조를 선택해야 합니다. 증거를 바꾸어 비교 조건을 만들면 오류를 조사하는 데 도움이 됩니다.

잘못된 선택은 무엇을 살펴볼지 알려 줍니다. 그러나 원인을 확정하거나 검증된 설명을 제공하지는 않습니다. 시스템을 바꾸기 전에 구체적인 가설을 검증하세요.

자세한 태스크 구성 안내

RSI와 어떻게 연결되나요?

개발용 피드백으로 변경안을 검증하고, 수정된 시스템을 독립적인 분자 사례군에서 비교하세요. 재귀적 개선을 연구하려면 갱신된 시스템이 이후에 더 나은 개선을 만드는 데에도 도움이 되는지 검증해야 합니다.

벤치마크는 태스크와 채점 피드백을 제공합니다. 모델, 진단, 수정, 독립적인 검증은 자신의 실험에서 준비해야 합니다. 여기서 다운로드하는 계획에는 이러한 실험이 아직 수행되지 않은 것으로 기록됩니다.

RSI 작동 방식 보기

내 모델로 사용

교육용 입문 예제를 다운로드해 압축을 푸세요. Python 3.9 이상에서 포함된 예제를 실행하세요.
고정된 후보를 선택하는 어댑터를 자신의 모델로 바꾸고, 예측을 저장한 뒤 채점기를 실행하세요.
연구에는 전체 원본 자료를 사용하고, 서로 독립적인 개발용 사례군과 평가용 사례군을 준비하세요.

입문 예제, 코드, 모델 프롬프트, 내보낸 JSON 계획은 영문으로 유지됩니다. 자세한 사용 안내에 입력 형식과 채점 명령이 설명되어 있습니다.

입문 예제 ZIP 다운로드 사용 안내 데이터셋 기여

출처와 인용

벤치마크 논문 Yuhang Xie, Zhiyi Shi, Zeyi Zhang, Zhisheng Qi, Yushun Dong, Yu Wang, Xiongye Xiao. MolP2SBench: Do LLMs Really Reason from Molecular Properties to Structure? arXiv:2610.12522 (2026).

논문 읽기BibTeX 다운로드

이 자료 인용하기

MolP2SBench의 과제나 설계를 활용할 때는 벤치마크 논문을 인용하세요. QM9S에서 가져온 데이터를 사용한다면 QM9S의 원본 논문도 인용하고, 사용한 데이터셋 릴리스를 밝혀 주세요. 각 출처의 재사용 조건이 적용됩니다. A deep learning model for predicting selected organic molecular spectra · QM9S 데이터셋 릴리스.

아래 항목을 선택해 복사하거나 위의 BibTeX 파일을 내려받으세요.

@misc{xie2026molp2sbench,
  title = {MolP2SBench: Do LLMs Really Reason from Molecular Properties to Structure?},
  author = {Yuhang Xie and Zhiyi Shi and Zeyi Zhang and Zhisheng Qi and Yushun Dong and Yu Wang and Xiongye Xiao},
  year = {2026},
  eprint = {2610.12522},
  archivePrefix = {arXiv},
  primaryClass = {physics.chem-ph},
  url = {https://arxiv.org/abs/2610.12522}
}

@article{zou2023molecularspectra,
  title = {A deep learning model for predicting selected organic molecular spectra},
  author = {Zihan Zou and Yujin Zhang and Lijun Liang and Mingzhi Wei and Jiancai Leng and Jun Jiang and Yi Luo and Wei Hu},
  journal = {Nature Computational Science},
  year = {2023},
  volume = {3},
  pages = {957--964},
  doi = {10.1038/s43588-023-00550-y},
  url = {https://doi.org/10.1038/s43588-023-00550-y}
}

출처와 재사용 조건

다음 시도를 어떻게 개선할까요?

1. 관측에 맞는 구조는 무엇인가요?

공통 분자 골격

두 관측 모두 예측하기

관측 1

관측 2

피드백을 계획으로 연결하세요.

원인 검토

수정안 작성

다음 검증 계획

다음 개발 단계 검증(허용 범위 내)

새 사례군에서 독립적인 최종 평가(결과 격리)