Repository navigation
Conversation
…iff docs are not evidence (AGT-4900) A worker report that says tests or lint pass now has to carry one Ran: line per check (command, exit code, and passed/failed counts for test runners). Without one, or when its only evidence is a document written in the same diff, the worker result is not a success. Where the adapter observed execution, reported runs must match an observed command and its exit code. The rejection is fed back to the retry with the exact line format, and the worker prompt (en/ko) asks for these lines.
This file contains hidden or bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
Add this suggestion to a batch that can be applied as a single commit.This suggestion is invalid because no changes were made to the code.Suggestions cannot be applied while the pull request is closed.Suggestions cannot be applied while viewing a subset of changes.Only one suggestion per line can be applied in a batch.Add this suggestion to a batch that can be applied as a single commit.Applying suggestions on deleted lines is not supported.You must change the existing code in this line in order to create a valid suggestion.Outdated suggestions cannot be applied.This suggestion has been applied or marked resolved.Suggestions cannot be applied from pending reviews.Suggestions cannot be applied on multi-line comments.Suggestions cannot be applied while the pull request is queued to merge.Suggestion cannot be applied right now. Please check back later.
무엇
src/agents/completionReportEvidence.ts: 완료 보고가 검사 통과를 주장하면("All tests pass", "lint clean", "테스트 통과" 등) 실행 증거를 요구합니다. 증거 형식은 검사마다 한 줄입니다.Ran: npm test -> exit 0, 412 passed, 0 failed: 테스트 러너는 passed/failed 수가 필수입니다.Ran: npm run lint -> exit 0: lint·typecheck·build는 개수가 없으므로 종료코드만으로 충분합니다.executedCommands): 관찰되지 않은 명령, 또는 관찰된[exit N]과 다른 종료코드filesChanged중 README/CHANGELOG/docs/·.md 등)를 가리키는Ran:/Evidence:줄은 근거에서 뺍니다. 남는 실행 증거가 없으면 "자기가 쓴 문서는 증거가 아니다"라는 메시지로 거부합니다.worker.ts: git 승격 단계 뒤(되돌려지지 않게), zero-diff 게이트 다음에 검사합니다. 실패하면success=false,unverifiedCompletionClaim=true,error=worker-evidence: …를 설정합니다.pairIterationLoop.ts: 그냥 실패한 워커의 error는 다음 프롬프트에 전달되지 않습니다. 그래서 이 실패를validationreflection으로 기록해, 재시도하는 워커가 빠진 것과 줄 형식을 받게 했습니다.왜
AGT-4900 (AGT-4190 방어 4·5번). 워커 완료 보고가 실행 증거 없이 "테스트 통과"를 쓰거나, 같은 커밋에서 자기가 쓴 문서(cgf-portal #215)를 근거로 드는데 지금은 이를 성공으로 받아들입니다.
검증
npx vitest run src/agents src/adapters src/locale→ 144 files(1 skipped), 2200 passed / 7 skipped.completionReportEvidence.test.ts13개: 증거 없는 "통과" 거부, 같은 diff 문서 근거 거부, 정상 증거 수락, 개수 누락, 실패 run, 관찰 불일치, 부정·유보 문장은 주장이 아님 등worker.completionEvidence.test.ts5개: runWorker 경유, git 승격 뒤에도 유지pairPipeline.completionEvidence.test.ts1개: 재시도 프롬프트에 이슈와 형식이 전달됨npm run typecheck통과, oxlint 0 warnings.리뷰 포인트 / 한계
Ran:줄을 쓰기 전까지 실패합니다. 프롬프트와 재시도 피드백으로 형식을 알려 주지만, 따르지 않는 모델은 iteration을 소모합니다. 실제 운영에서 거부율을 지켜봐야 합니다.executedCommands가 없는 CLI adapter(claude CLI 등)는 실행을 관찰할 수 없어서,Ran:줄의 형식과 일관성만 검사합니다.