Claude Code, CLAUDE.md 추가 뒤 모호한 날짜 요청 3회 중 2회서 먼저 질문

본문

AI Parabellum 편집팀은 2026년 11월 1일 macOS에서 Claude Code 2.1.312와 Opus 5.5를 사용해 프로젝트 행동 지침 파일 CLAUDE.md의 효과를 시험했습니다. 작은 Node.js 프로젝트에서 네 가지 코딩 과제를 파일이 있는 조건과 없는 조건으로 각각 세 번 실행해 총 24회 결과를 비교했습니다. 가장 분명한 차이는 코드 작성 자체보다 요구가 모호할 때 작업에 착수하는 방식에서 나왔습니다.

CLAUDE.md는 프로젝트에서 반복해 알릴 지침을 적어 두는 Markdown 파일입니다. Anthropic의 Claude Code 문서는 이 파일을 세션 시작 때 불러와 문맥으로 활용한다고 설명합니다. 시험 대상인 파일은 불명확한 점을 먼저 질문하고, 불필요한 구현을 줄이며, 요청에 필요한 부분만 수정하고, 성공 기준을 확인하라는 네 원칙을 담았습니다. 파일은 forrestchang 개발자 계정의 저장소에 올라와 있으며, 저장소는 Andrej Karpathy의 관찰에서 파생했다고 설명합니다. AI Parabellum도 Karpathy가 직접 공개한 파일로 소개하지 않습니다.

첫 과제는 "사용자 내보내기가 날짜를 제대로 처리하게 해 달라"는 요청이었습니다. 예시 데이터의 03/05/2024가 3월 5일인지 5월 3일인지 알 수 없도록 만들었습니다. CLAUDE.md가 없을 때는 세 번 모두 Claude Code가 코드를 먼저 작성한 뒤 자신이 택한 해석을 밝혔습니다. 파일이 있을 때는 세 번 중 두 번 작업 전에 어느 날짜 형식인지 물었습니다. 여섯 실행 모두 날짜가 모호하다는 점은 알아챘으므로, 차이는 문제를 발견했는지보다 결정을 이용자에게 넘기는 시점에 있었습니다.

다만 지침이 있는 나머지 한 실행은 8줄만 수정했지만 알 수 없는 날짜 문자열을 그대로 통과시켰습니다. 지침이 없는 세 실행은 모두 그 문자열을 거부했습니다. 짧은 수정이나 되묻기가 항상 더 정확한 결과를 보장하지는 않는다는 사례입니다. 작성팀은 이 날짜 과제에 정해진 정답이 없다고 보고 결과를 직접 읽었으며, 지침이 코드를 쓰기 전에 확인을 유도한 점과 날짜 처리의 정확성은 별도로 살폈습니다.

할인 계산 버그가 들어 있는 정리되지 않은 파일에서는 여섯 실행 모두 같은 한 줄만 고치고 주변의 죽은 코드나 사용하지 않는 가져오기 문은 그대로 뒀습니다. 이 과제에서 필요한 부분만 수정하는 행동은 지침이 없어도 나타났습니다. 달라진 것은 회귀 테스트였습니다. 지침이 있는 세 실행은 모두 테스트를 추가했고, 없는 세 실행은 하나도 추가하지 않았습니다. 코드 수정 범위가 같아도, 지침이 검증 절차를 덧붙일 수 있음을 보여줍니다.

실패한 요청을 최대 세 번 다시 시도하는 함수를 만든 과제에서는 지침이 있는 실행이 코드 파일에 10~12줄, 없는 실행이 12~17줄을 추가했습니다. 작성팀은 세 번씩만 실행한 작은 차이라 결과가 달라질 수 있다고 밝혔습니다. 입력이 명확한 parseDuration 버그 과제에서는 여섯 실행 모두 같은 수정과 테스트를 만들었습니다. 지침이 모호성 해소나 테스트 추가에는 영향을 줬지만, 명확한 버그 수정에는 뚜렷한 변화를 보이지 않았습니다.

결과는 특정 파일 전체를 넣었을 때의 관찰입니다. 네 원칙을 하나씩 분리해 시험하지 않았으므로 어느 규칙이 질문이나 테스트 추가를 유도했는지 밝혀내지는 못했습니다. 실행도 한 모델, 작은 프로젝트, 과제별 세 번에 한정됐습니다. 지침이 포함된 Claude Code가 더 자주 멈춰 질문하면 이용자와 추가로 주고받는 시간도 생기지만, 보고된 전체 실행 시간에는 그 후속 대화가 들어가지 않았습니다. 이 시험에서 확인된 변화는 Claude Code가 전반적으로 더 정확해졌다는 결과보다, 모호한 요청에서 먼저 결정을 확인하고 일부 버그 수정에 테스트를 붙이는 행동입니다.

자료: aiparabellum.com / 정리·해설: Trawling