RSI4Science
Benchmarks para um ciclo de melhoria reproduzível
RSI significa autoaperfeiçoamento recursivo. O nosso papel é fornecer tarefas científicas, respostas verificáveis e feedback útil para o desenvolvimento. Os pesquisadores conectam estes recursos aos seus próprios sistemas de IA.
Executar uma tarefa → analisar o feedback → revisar o sistema → avaliar novos casos.
O que torna os dados úteis?
Uma tarefa precisa de entradas e saídas claras, uma referência ou um verificador confiável, feedback que oriente a investigação e casos independentes para avaliar a próxima versão.
O feedback pode indicar uma escolha errada ou uma restrição não cumprida. Pode ajudar a localizar uma fragilidade; uma resposta correta, por si só, não demonstra o raciocínio do modelo.
De uma escolha molecular a uma pergunta de pesquisa
O MolP2SBench propõe reconstruir um fragmento oculto de uma molécula conhecida a partir de propriedades físicas. A estrutura preservada permite verificar a resposta. Condições controladas da evidência ajudam a examinar se as previsões respondem às informações fornecidas.
Utilize os casos de desenvolvimento para diagnosticar uma fragilidade, altere o seu modelo ou agente e depois compare as versões em novas famílias moleculares, com as mesmas verificações e orçamento. A demonstração didática de duas perguntas explica a interface; não fornece um conjunto de avaliação independente.
Obter os dadosO passo recursivo
O autoaperfeiçoamento recursivo (RSI) usa as capacidades atuais de um sistema para melhorá-lo e incorpora as capacidades atualizadas às próximas rodadas de melhoria. Nosso protocolo proposto torna esse ciclo explícito: um processo de melhoria revisado é instalado e usado para produzir mudanças posteriores.
I: processo de melhoria
O processo de melhoria revisado produz a próxima alteração.
Comparar com um processo de melhoria fixo
O benchmark fornece evidências para estes experimentos. Uma pontuação mais alta em uma tarefa, por si só, não demonstra autoaperfeiçoamento recursivo nem geração molecular.
Escolher dados para a sua pergunta
Escolha uma linha de pesquisa e examine a tarefa, o feedback e os casos de avaliação disponíveis. Os nomes das linhas descrevem a área científica; cada recurso indica o que realmente mede.
Explorar conjuntos de dadosPara quem contribui
Um artigo é opcional. Compartilhe dados originais ou organize um recurso existente com fontes e condições de reutilização claras.
Comece com uma ligação à fonte, versão, uso científico e condições de acesso. Um pacote verificável acrescenta exemplos de tarefas, um verificador e um plano de divisão dos dados. O registo da revisão indica os materiais examinados.