Delphik Open Defects — README 한국어 번역

번역 기준: 원문 README. commit e7938081c5592c5cc368162a47504adca037f64e. 확인일 2026-09-19. Apache-2.0. 번역: Environment Foundry 연구 작업. 아래는 README 본문의 완역이며, 링크 대상 문서까지 번역한 것은 아니다. 명령과 파일 경로는 유지했다. 본문의 ‘확인한다’ 등은 프로젝트가 서술한 동작이다.

Delphik Open Defects

에이전트 벤치마크를 위한 공개 결함 장부다. 찾아보기 쉽도록 task별로 결함을 정리한다.

이 저장소는 BFCL, SWE-bench Verified, Terminal-Bench를 비롯해 Delphik가 추적하는 에이전트 벤치마크의 결함 자료를 다룬다.

벤치마크 upstream GitHub issue와 PR을 검토 가능한 JSON 자료로 정리해 지속적인 벤치마크 품질 관리를 지원한다. 벤치마크 결함을 투명하게 드러내고, 근거를 추적하고, 더 쉽게 해석하도록 한다는 Agentic Benchmark Checklist(ABC)의 보고 목표에 맞춘다.

언제 사용하는가

• 벤치마크를 실행했을 때 모델이 실패한 것인지 task가 잘못된 것인지 빠르게 확인하고 싶을 때 사용한다.
• 새로운 벤치마크를 평가하면서 결함 현황을 알고 싶을 때 사용한다. 벤치마크 페이지의 health badge를 확인한다.
• 잘못된 task를 발견해 보고하고 싶을 때 사용한다. 연구자 페이지의 /report-defect 스킬을 이용한다.

추적하는 내용

• 어떤 GitHub thread가 실제 벤치마크 결함인지 추적한다.
• task 단위 결함인 경우 영향을 받는 task 행을 추적한다.
• 각 결함의 상태가 발견, 수정 중, 수정 완료 중 어디에 있는지 추적한다.
• 정식 결함 기록을 뒷받침하는 중복 제보, 수정, 근거 thread를 추적한다.
• SWE-bench Verified와 Lite, Terminal-Bench 2와 2.1처럼 영향을 받는 seed·split·버전을 추적한다.

시작 문서

Codex 동기화 runbook을 읽는다.

디렉터리 구성

candidates/   GitHub issue/PR 후보와 최종 감사 판정
defects/      확인된 정식 결함 자료
docs/         자료 정리 runbook

공개 GUI는 posttrain.dev/benchmarks에서 제공한다.

작업 흐름

GitHub upstream thread
→ Codex가 thread·source·task 근거를 감사한다.
→ candidates/와 defects/ 자료를 갱신한다.
→ posttrain.dev/benchmarks의 공개 GUI에 결과를 표시한다.

정정

잘못되었거나 누락된 기록은 PR로 알릴 수 있다. Codex가 PR을 확인한 다음 병합하거나 닫는다.

기여

CONTRIBUTING.md를 참고한다.