posttrain.dev 블로그 7편 한국어 안내

확인 기준: 2026-09-19, 공개 blog 인덱스에 연결된 7개 영문 글과 각 글의 공식 /ko 경로. 아래 글은 원문 번역이 아니라 제목·공개 설명·페이지 연결을 바탕으로 한 짧은 자체 요약이다. 원문 본문과 한국어 페이지의 전체 문장을 복사하지 않았다.

권리 상태는 7편 모두 동일하다. Terms of Service는 200으로 확인했고 Open Data 섹션이 존재하지만, 블로그 글 전체의 저작권·번역·재배포 허가를 별도로 부여하는 명시적 라이선스는 이 인벤토리에서 확인하지 못했다. 따라서 이 문서는 메타데이터와 자체 요약만 제공하며, 전문 번역이나 원문 재배포의 근거로 사용하지 않는다. 근거 해시는 rights-evidence.json에 있다.

한눈에 보기

글별 메모

1. 환경을 모델만큼 감사하라

영문 글: Audit the Environment, Not Just the Model · 공식 한국어

이 글은 모델이 보상 신호에 적응한다는 사실만으로 평가를 끝내면 안 된다고 본다. verifier가 실제 과제 해결 없이 통과를 허용하면, 모델의 결함처럼 보이는 결과가 환경의 결함에서 비롯될 수 있다. 따라서 환경이 독립적인 adversarial audit을 통과하는지 확인해야 한다는 position paper 성격의 글이다.

출처 상태: Delphik의 position paper 주장. 이 인벤토리는 독립 검증이나 전문 번역을 제공하지 않는다.

2. Reward hacking은 환경의 속성이다

영문 글: Reward Hacking Is a Property of the Environment · 공식 한국어

글의 핵심은 같은 frontier model이라도 어떤 coding benchmark를 만나느냐에 따라 지름길 행동이 달라질 수 있다는 점이다. 그러므로 reward hacking 측정은 모델 한 개의 성향 측정이 아니라, 여러 환경을 가로질러 비교하는 환경 감사가 되어야 한다. 글은 세부 수치와 인터랙티브 결과를 Coding Index로 연결한다.

출처 상태: 공개 분석 글의 주장과 링크. 모델별 수치는 현재 실험 결과로 재사용하지 않고 원문 시점과 버전을 함께 확인해야 한다.

3. 결함 보고가 없다고 건강한 benchmark는 아니다

영문 글: A Benchmark With No Reported Defects Isn't Clean. It's Unaudited. · 공식 한국어

결함이 보고되지 않았다는 사실은 결함이 없다는 증거가 아니라 감사가 충분하지 않았다는 신호일 수 있다. 이 글은 공개 결함 thread를 found, fixing, fixed와 같은 상태로 나누고, 수정이 leaderboard와 benchmark 해석에 미치는 영향을 추적하는 closure loop를 강조한다. 글에는 BenchJack 논문과 Terminal-Bench 2.1 writeup이 연결돼 있다.

출처 상태: Delphik 집계와 해석. 공개 count는 시점별 집계이므로 현재 pinned ledger 600개와 동일한 수치로 취급하지 않는다.

4. agentic benchmark를 고치는 사람들

영문 글: The Unsung Heroes Fixing Agentic Benchmarks · 공식 한국어

이 글은 benchmark가 계속 작동하도록 issue를 제기하고 PR을 검토하는 공개 감사자들을 조명한다. 여러 저장소의 thread와 기여자를 집계해, benchmark 품질이 제작자나 모델만의 일이 아니라 반복적인 유지관리 활동에 의존한다는 관점을 제시한다.

출처 상태: 공개 community/data 글의 집계와 소개. 사람 수와 thread 수는 원문이 제시한 주장으로만 기록한다.

5. Defect Hub 소개

영문 글: Introducing Defect Hub · 공식 한국어

깨진 oracle, verifier, task 또는 solution leakage를 만났을 때 어디에 신고할지 모호하다는 문제에서 출발한다. Defect Hub는 coding agent에서 짧은 명령으로 신고를 만들고, upstream maintainer에게 라우팅하고, 수정 상태까지 이어 붙이는 운영 흐름으로 설명된다.

출처 상태: 서비스 소개 글. 실제 보상이나 공개 지급을 약속하는 문서로 읽지 않으며, Terms의 No Public Payment Program 항목과 함께 봐야 한다.

6. LLM은 benchmark 결함을 찾을 수 있는가

영문 글: Can LLMs Detect Benchmark Defects? · 공식 한국어

이 글은 benchmark의 버전 diff에서 실제 수정 전후를 확인할 수 있다는 점을 이용해, LLM의 결함 탐지 능력을 평가하는 Task Verification Bench를 소개한다. 모델이 문제를 잘 푸는지와 환경의 결함을 찾아내는지는 별도 능력으로 보고, 후자를 독립적인 meta-benchmark 대상으로 삼자는 방향이다.

출처 상태: 연구 소개 글. 연결된 한국어 페이지는 공식 대체 읽기 경로이며, 논문·데이터셋의 재사용 권리는 별도로 확인해야 한다.

7. 모든 post-training run에 trajectory 검사가 필요하다

영문 글: Post-Training Is Flying Blind · 공식 한국어

aggregate eval score만으로는 reward hacking, 잘못된 테스트, 도구 사용 실패를 구분하기 어렵다는 문제 제기다. 이 글은 각 run의 trajectory를 검사하고 사건 유형을 분류하는 전용 inspection layer를 post-training pipeline에 추가하자는 방향을 제시한다. 페이지에는 PostTrainBench 논문, METR reward-hacking 글, NIST 권고, SWE-bench Verified 관련 OpenAI 글, Anthropic 연구, MALT dataset, CoT Monitoring PDF가 연결돼 있다.

출처 상태: Delphik의 opinion/problem framing과 연결 출처 목록. 연결된 외부 논문·데이터셋은 본 안내에서 복사하지 않았다.

재사용 경계

이 문서의 일곱 요약은 자체 작성한 읽기 안내다. 공식 /ko 페이지의 존재는 확인했지만, 공식 페이지가 있다는 사실만으로 그 내용을 재배포하거나 번역할 권리가 생기지는 않는다. 연구 seed로 사용할 때는 원문 URL, 확인 시각, SITE CLAIM 또는 외부 출처의 구분을 유지하고, seed-cases.json의 reporter claim과 benchmark card 집계를 서로 섞지 않는다.