모델이 틀렸을까, 시험지가 틀렸을까

모델이 정답을 냈는데 채점기가 실패로 처리한다면, 점수를 높이려면 모델을 고쳐야 할까? 테스트가 한 개도 실행되지 않았는데 통과했다면, 그 성공은 무엇을 뜻할까?

벤치마크 결함은 이런 문제다. 문제 설명, 정답, 채점 코드, 실행 환경 중 하나가 잘못되면 모델의 실력과 다른 점수가 나온다. Defect Lab은 이런 의심을 기록하고, 근거를 확인하고, 실제로 재현해 보는 연구 자료집이다.

posttrain.dev는 무엇을 하는 곳인가

posttrain.dev는 현재 Delphik이라는 이름으로 벤치마크와 학습 환경의 품질 검증을 설명한다. 공개 화면에서 발견한 벤치마크는 77개, 표시된 task 수 합계는 22,722개다. 별도의 Open Defects 저장소는 결함 제보와 수정 상태를 장부로 관리한다. 이 자료집에는 그중 고정한 버전의 600건을 담았다. 세 숫자는 서로 다른 대상을 센 것이다.

공개 코드에서 확인한 흐름은 제보 수집 → 후보 정리 → LLM 감사 → 근거 검증 → 장부 반영이다. 제보가 있다고 곧바로 결함이 확정되지는 않는다. 코드를 읽어서 알 수 있는 것과 실제 실행해야 알 수 있는 것도 다르다. 공개되지 않은 내부 탐지 알고리즘은 확인하지 못했다.

어떤 순서로 읽으면 되나

1. 이 글로 무엇을 조사하고 왜 실험하는지 잡는다.
2. 공개 운영 방법에서 결함 의심이 장부에 반영되기까지의 절차를 본다.
3. TVB 논문 요약에서 선행 연구의 질문과 실험 범위를 확인한다.
4. 실험 결과에서 예시를 주었을 때 무엇이 달라졌는지, 어떤 후보가 실제로 재현되었는지 읽는다.
5. 600건 장부에서 관심 있는 벤치마크를 검색하고 원출처로 돌아가 본다.

10분만 있다면 이 글과 실험 결과부터 읽으면 된다. 방법을 재구현하려면 운영 방법과 각 후보의 재현 근거까지 확인한다.

논문은 무엇을 주장하나

Jongwon Park의 Can LLMs Detect Benchmark Defects? A Meta-Benchmark from Benchmark Updates는 벤치마크 수정 전후 사례를 이용해 LLM의 결함 판별을 평가한다. 공식 목록에서 확인한 발표 범주는 ICML 2026 DL4C 워크숍 포스터다. ICML 본 학회 논문으로 표기하지 않는다. 공식 발표 목록

논문 설명과 서비스 구현은 구분해 읽어야 한다. 최종 평가 데이터, 정확한 프롬프트와 실행 환경을 모두 확보하지 못했기 때문에 여기의 실험을 논문 재현이나 성능 우위로 부르지 않는다.

여기서 직접 한 실험은 무엇인가

첫 실험은 GPT-5.5가 짧게 재구성한 코드 16개를 판별하는 실험이었다. 예시 없음과 예시 제공 조건을 5쌍, 실제 모델 호출 20회로 비교했다. 두 조건의 평균 F1은 모두 0.987이었다. 이 작은 실험에서는 예시 제공의 개선이 관찰되지 않았다. 벤치마크 원문에서 새 결함을 찾았다는 결과는 아니다.

후속 실험은 GPT-6 Astra, reasoning max 서브에이전트가 실제 원문을 읽는 감사다. HumanEval, EvalPlus, BigCodeBench, LiveCodeBench, SWE-bench의 커밋과 파일을 고정했다. 각 원문을 두 조건에서 새 에이전트가 읽게 하고, 발견한 후보는 주 작업이 코드를 검토한 뒤 제한된 환경에서 실행한다. 원문 감사 결과와 재구성 실험은 별도 페이지에 기록한다.

읽을 때는 세 가지만 확인하면 된다. 실제 원문에서 재현했는가, 실제 입력 계약에서 문제가 되는가, 이미 알려진 문제인가. 코드가 이상해 보인다는 말만으로는 충분하지 않다. 아직 확인하지 못한 후보는 unknown으로 남긴다.

이 자료집의 범위

600건 장부는 외부 제보의 스냅샷이다. 600건 모두를 우리가 검증했다는 뜻은 아니다. 로컬 Defect Lab에서는 제보, LLM 검토, 재현 근거, 판정과 변경 이력을 저장한다. 이 공개판에서는 검토한 자료와 결과를 편하게 읽고 검색할 수 있다.

권리가 확인된 문서는 원문 링크와 함께 한국어 번역을 제공한다. 일반 웹페이지와 논문은 상세 요약으로 제공하며, 공개 접근 가능하다는 이유만으로 전문을 복제하지 않는다.