TVB 논문 한국어 요약
유형: 요약. 전문 번역이 아니다. 라이선스: 미확인. 확인일: 2026-09-19.
원문: 저자 PDF. DL4C 2026 Poster.
PAPER CLAIM: 원래 task의 설명·테스트·gold patch로 결함과 원인을 찾는다. 수정 기록·사람 주석은 평가자에게만 준다. SWE-bench는 주석자 3명 중 2명 이상 동의한 결함을 사용한다. Terminal-Bench는 PR을 Opus 4.7로 분류하고 잡음을 검토했다.
| 최종 평가셋 | 결함/정상 | 판정 recall | 원인 recall | 원인 precision |
|---|---|---|---|---|
| SWE-bench | 129/129 | 62.0% | 59.7% | 70.0% |
| TB2 | 26/26 | 88.5% | 34.6% | 21.4% |
| TB1 | 37/37 | 94.6% | 48.6% | 26.9% |
기준선은 GPT-5.4+Codex, verify-only, Docker다. 절제실험은 GPT-5.4/Gemini 3.1 Pro, 선행풀이·harness 유무를 비교한다. 선행풀이는 GPT-5.4로 고정했다. judge는 GPT-5.4, temperature=0이다. 3회 일치율 97.3%를 확인한 뒤 단일 실행으로 평가했다.
원인 recall의 분모는 정답 결함, precision의 분모는 모든 결함 예측이다. 정답 원인 하나만 맞아도 인정한다. 사람이 77사례를 검토했다.
범주는 환경, 설명 부족, 과도한 테스트, 정보 유출, oracle 오류, 부족한 테스트다. prompt 전문·seed·token·시간·비용은 미확인이다. 정답의 과잉·누락, judge 오류, 작은 표본이 한계다.
블로그의 TB1 65/56·41.5%와 현재 PDF는 구별한다. 독립 재현은 아니다.
라이선스를 확인하지 못한 원문은 복제하지 않고 출처 링크와 자체 요약만 제공합니다.