Demonstração didática interativa
Como você melhoraria a próxima tentativa?
Faça duas escolhas moleculares, examine o feedback e prepare um plano para seu próprio experimento de RSI.
Você faz as escolhas; o navegador as compara com referências armazenadas. Esta demonstração não chama um modelo nem executa um experimento de RSI.
Duas observações, dois candidatos e uma família molecular. O benchmark completo tem três condições de evidência: correta, embaralhada e contrafactual. Esta demonstração usa uma observação original e uma contrafactual.
- Escolher
- Ler o feedback
- Diagnosticar
- Esboçar uma alteração
- Planejar novos testes
1. Qual estrutura corresponde à observação?
Este subconjunto didático contém 2 observações, 2 candidatos e 1 família de casos: um mesmo problema original de reconstrução e suas observações. Escolha uma estrutura para cada magnitude do momento dipolar e compare suas escolhas com as respostas de referência.
Um esqueleto comum
A região sombreada é a parte a completar. Ambos os candidatos preservam a estrutura ao redor.
Ponte de metileno (–CH₂–)
Ponte de carbonila (–C(=O)–)
Observação 1
Observação original
- Sua escolha
- Resposta de referência
- Candidato 1
–C(=O)–
Observação 2
Observação contrafactual
- Sua escolha
- Resposta de referência
- Candidato 0
–CH₂–
Seu resultado abrange as duas observações didáticas deste roteiro.
Transformar este feedback em um plano.
Escolha uma pergunta, esboce uma alteração e decida como testá-la. Este roteiro prepara um plano para seu próprio modelo e suas ferramentas.
Diagnosticar
Salve seu plano antes de mudar as escolhas moleculares ou o caminho de diagnóstico; qualquer uma dessas mudanças apaga o plano selecionado.
Escolha uma possível explicação para testar. Cada caminho sugere uma alteração e uma forma de avaliá-la.
Esboçar uma alteração
Prompt do modelo (em inglês)
Opcional: modificar o próprio método de melhoria
Em um estudo de RSI, I representa seu procedimento de melhoria. A alteração proposta abaixo diz respeito à forma como esse procedimento avalia modificações no seu sistema de resolução.
Estas regras são propostas. Somente o feedback de desenvolvimento permitido pode orientar a seleção. O procedimento I1 instalado deve realmente gerar, testar ou selecionar uma alteração posterior no sistema de resolução. Uma regra proposta ou um arquivo editado não demonstram uma execução recursiva. Ver o mecanismo de RSI.
Planejar o próximo teste
Próxima rodada de desenvolvimento permitida
O feedback orienta seu processo de alteração
A preparar: selecionar famílias de desenvolvimento independentes e realizar a comparação planejada.
Auditoria final protegida com famílias novas
Fora do ciclo de melhoria
Após o desenvolvimento, avalie o artefato selecionado e congelado com um avaliador externo fixo, em grupos independentes de famílias novas. Não use os resultados da auditoria para escolher ou instalar alterações.
A preparar: obter famílias novas e realizar a avaliação independente após o desenvolvimento.
Inclui suas tentativas, as referências públicas e a proposta escolhida. A execução e a avaliação ainda estão pendentes. O exemplo inicial não importa este plano; coloque-o em prática no seu próprio fluxo de pesquisa.
Próximo passo: executar o pacote inicial local com seu agente. O pacote pontua as previsões; seu próprio processo executa o plano.
Ler ou copiar o plano JSON (em inglês)
Mudar uma escolha molecular ou este caminho de diagnóstico apaga o plano selecionado. As tentativas anteriores do visitante permanecem no registro da sessão da página.
Chemical reference (English)
The candidate reference values
| Candidate | Reference value |
|---|---|
| Candidate 0 | 5.37590 |
| Candidate 1 | 1.45724 |
Computed dipole magnitudes from QM9S at B3LYP/def-TZVP.
This reference table opens after you commit both choices. Keep it with the evaluator when running your own model.
What this pair can teach
The reference targets differ while the candidate set stays fixed. Checking both observations makes the answer pattern visible.
Net dipole depends on molecular geometry and electronic structure together. A rule based only on the presence of a carbonyl group is unreliable. Explaining this pair’s difference requires further chemical analysis.
Source records and limits (English)
- Observation 1: observação original
MCB_QM9_A3_49E99A99315E5E96 - Observation 2: observação contrafactual
MCB_QM9_A3CF_1D2CC3D6DB111D41
- One public teaching family, selected after inspecting a documented failure; not a representative performance sample.
- Labels and feedback are public. Repeating this example after seeing the reference is not a hidden test or evidence of improvement.
- A changed answer is not by itself proof of evidence use; a wrong answer does not identify its cause.
- No model calls, self-modification runs or new molecular calculations are performed by this demo.
Um caso didático interativo baseado nas suas escolhas. Para medir a melhoria de um modelo, execute seu próprio sistema e avalie sua versão modificada em famílias de casos independentes.
De uma molécula conhecida a uma tarefa verificável
Mantenha o registro molecular completo como referência, oculte um fragmento e ofereça estruturas candidatas válidas. O modelo deve usar as propriedades fornecidas para escolher como completar a estrutura. Mudar as evidências cria comparações que podem ajudar a investigar erros.
Uma escolha errada indica onde investigar. Ela não estabelece a causa nem fornece uma explicação verificada. Teste uma hipótese específica antes de modificar o sistema.
Guia detalhado de construçãoA relação com RSI
Use o feedback de desenvolvimento para testar uma alteração proposta e compare o sistema modificado em famílias moleculares independentes. Para estudar a melhoria recursiva, teste também se o sistema atualizado ajuda a produzir melhorias posteriores de maior qualidade.
O benchmark fornece tarefas e feedback com pontuação. Seu experimento fornece o modelo, o diagnóstico, as alterações e os testes independentes. O plano baixado aqui registra esses experimentos como pendentes.
Ver o mecanismo de RSIUsar com seu modelo
O pacote inicial, o código, os prompts do modelo e o plano JSON exportado permanecem em inglês. O guia de uso detalhado explica o formato de entrada e os comandos de pontuação.
Fonte e referência bibliográfica
Artigo do benchmark. Yuhang Xie, Zhiyi Shi, Zeyi Zhang, Zhisheng Qi, Yushun Dong, Yu Wang, Xiongye Xiao. MolP2SBench: Do LLMs Really Reason from Molecular Properties to Structure? arXiv:2610.12522 (2026).
Citar este recurso
Cite o artigo do MolP2SBench pelas tarefas e pela concepção do benchmark. Se usar registros derivados do QM9S, cite também o artigo original do QM9S e identifique a versão do conjunto de dados. Cada fonte tem suas próprias condições de reutilização. A deep learning model for predicting selected organic molecular spectra · Versão do conjunto de dados QM9S.
Copie as referências abaixo ou baixe o arquivo BibTeX acima.
@misc{xie2026molp2sbench,
title = {MolP2SBench: Do LLMs Really Reason from Molecular Properties to Structure?},
author = {Yuhang Xie and Zhiyi Shi and Zeyi Zhang and Zhisheng Qi and Yushun Dong and Yu Wang and Xiongye Xiao},
year = {2026},
eprint = {2610.12522},
archivePrefix = {arXiv},
primaryClass = {physics.chem-ph},
url = {https://arxiv.org/abs/2610.12522}
}
@article{zou2023molecularspectra,
title = {A deep learning model for predicting selected organic molecular spectra},
author = {Zihan Zou and Yujin Zhang and Lijun Liang and Mingzhi Wei and Jiancai Leng and Jun Jiang and Yi Luo and Wei Hu},
journal = {Nature Computational Science},
year = {2023},
volume = {3},
pages = {957--964},
doi = {10.1038/s43588-023-00550-y},
url = {https://doi.org/10.1038/s43588-023-00550-y}
}