RSI4Science

반복 가능한 개선 루프를 위한 벤치마크

RSI는 재귀적 자기개선을 뜻합니다. 우리는 과학 태스크, 검증 가능한 답, 개발에 유용한 피드백을 제공합니다. 연구자는 이 리소스를 자신의 AI 시스템에 연결합니다.

태스크 실행 → 피드백 확인 → 시스템 수정 → 새 사례로 검증.

데이터가 유용하려면 무엇이 필요할까요?

태스크에는 명확한 입력과 출력, 신뢰할 수 있는 기준 정답이나 검증 도구, 조사를 이끄는 피드백, 다음 버전을 평가할 독립된 사례가 필요합니다.

피드백은 잘못된 선택이나 제약 위반을 알리고 약점을 찾는 데 도움을 줄 수 있습니다. 하지만 정답만으로 모델의 추론을 입증할 수는 없습니다.

MolP2SBench에서는 물성 증거로 알려진 분자의 가려진 조각을 복원합니다. 보존된 구조로 답을 검증하고, 증거 조건을 통제해 예측이 제공된 정보에 반응하는지 살펴봅니다.

개발용 사례로 약점을 진단하고 모델이나 에이전트를 변경한 뒤, 동일한 검증 방법과 예산으로 새로운 분자 패밀리에서 버전을 비교하세요. 두 문항의 교육용 데모는 인터페이스를 설명할 뿐, 독립된 평가 세트를 제공하지 않습니다.

재귀적 자기 개선(RSI)은 시스템의 현재 능력으로 자신을 개선하고, 갱신된 능력을 다음 개선 단계에 활용하는 과정입니다. 제안하는 프로토콜은 이 순환을 명시적으로 검증합니다. 수정된 개선 절차를 설치하고 이후 변경을 만드는 데 사용합니다.

P: 과학 프로그램
I: 개선 과정

연구자가 과학 프로그램과 개선기를 제공합니다. 화살표는 각 수정본을 만드는 과정을 나타냅니다. 수정 경로를 설명하는 예시입니다.

벤치마크는 이러한 실험에 필요한 증거를 제공합니다. 태스크 점수가 높아졌다는 사실만으로 재귀적 자기개선이나 분자 생성을 입증할 수는 없습니다.

연구 분야를 선택한 뒤 태스크, 피드백, 이용 가능한 평가 사례를 살펴보세요. 분야명은 과학적 영역을 나타내며, 실제 측정 대상은 각 리소스에 명시됩니다.

논문은 선택 사항입니다. 출처와 재사용 조건을 명시하여 원본 데이터나 정리한 기존 리소스를 공유하세요.

출처 링크, 버전, 과학적 용도, 접근 조건부터 제공해 주세요. 검증 가능한 패키지는 과제 예시, 검사 도구, 데이터 분할 계획도 포함합니다. 검토 기록에는 실제 확인한 자료를 명시합니다.