RSI4Science
Benchmarks para un ciclo de mejora reproducible
RSI significa automejora recursiva. Nuestra función es proporcionar tareas científicas, respuestas verificables y retroalimentación útil para el desarrollo. Los investigadores conectan estos recursos a sus propios sistemas de IA.
Ejecutar una tarea → examinar los resultados → revisar el sistema → evaluar casos nuevos.
¿Qué hace que los datos sean útiles?
Una tarea necesita entradas y salidas claras, una referencia o un verificador fiable, retroalimentación que oriente la investigación y casos independientes para evaluar la siguiente versión.
La retroalimentación puede señalar una elección incorrecta o una restricción incumplida. Puede ayudar a localizar una debilidad; una respuesta correcta por sí sola no demuestra el razonamiento del modelo.
De una elección molecular a una pregunta de investigación
MolP2SBench plantea reconstruir un fragmento oculto de una molécula conocida a partir de propiedades físicas. La estructura conservada permite verificar la respuesta. Las condiciones controladas de la evidencia ayudan a examinar si las predicciones responden a la información suministrada.
Utilice los casos de desarrollo para diagnosticar una debilidad, modifique su modelo o agente y compare después las versiones en familias moleculares nuevas, con las mismas verificaciones y presupuesto. La demostración didáctica de dos preguntas explica la interfaz; no proporciona un conjunto de evaluación independiente.
Obtener los datosEl paso recursivo
La automejora recursiva (RSI) utiliza las capacidades actuales de un sistema para mejorarlo e incorpora las capacidades actualizadas en rondas posteriores de mejora. Nuestro protocolo hace explícito este ciclo: se instala un proceso de mejora revisado y se utiliza para producir cambios posteriores.
I: proceso de mejora
El proceso de mejora revisado produce el siguiente cambio.
Comparar con un proceso de mejora fijo
El benchmark aporta evidencia para estos experimentos. Una puntuación más alta en una tarea no demuestra por sí sola automejora recursiva ni generación molecular.
Elegir datos para su pregunta
Elija una línea de investigación y examine la tarea, la retroalimentación y los casos de evaluación disponibles. Los nombres de las líneas indican el área científica; cada recurso declara qué mide realmente.
Explorar conjuntos de datosPara quienes contribuyen
Un artículo es opcional. Comparta datos originales o prepare un recurso existente con fuentes y condiciones de reutilización claras.
Empieza con un enlace a la fuente, su versión, uso científico y condiciones de acceso. Un paquete verificable añade ejemplos de tareas, un verificador y un plan de partición. El registro de revisión indica qué materiales se examinaron.