Are You Smarter Than a Fruit Fly?
초파리보다 똑똑한가요? 초파리 뇌로 코드 리뷰하기
초파리 뇌 시뮬레이션을 코드 리뷰에 적용한 실험에서, 30개 예·아니요 답변은 처음 보는 변경 301건 중 테스트 결과와 290번 일치했습니다. 같은 답변을 입력한 로지스틱 회귀는 298번 일치해 더 나은 결과를 냈고, 글쓴이는 리뷰에서 사람이 맡을 몫을 코드 줄별 검사보다 비즈니스 로직과 의도 판단으로 옮기자고 제안합니다.
- 주제
에디터 노트
이 실험에서 가장 직접적인 결과는 초파리 뇌 시뮬레이션이 코드 리뷰를 대체한다는 점이 아니라, 같은 30개 답변을 로지스틱 회귀에 넣었을 때 기준선이 301건 중 298건으로 초파리 모델의 290건을 앞섰다는 점입니다. 초파리 모델을 코드 리뷰에 적용했다는 발상은 흥미롭지만, 비교 결과만 보면 뇌 시뮬레이션 자체가 더 나은 판단을 보였다고 말하기 어렵습니다. 댓글은 변경 유형별로 나눠 평가해야 한다고 지적합니다. 테스트, 리팩터링, 동작 변경에서 결과가 어떻게 달라지는지 자료에는 제시되지 않았습니다. 글쓴이가 제안한 사람의 역할 분담은 실험 결과와 구분해 읽어야 합니다. 테스트 증거를 확인하고 비즈니스 로직이 사용 사례에 맞는지 판단하자는 주장은 구체적이지만, 301건의 일치율만으로 에이전트 리뷰에 대한 신뢰나 통제권 이양의 범위까지 뒷받침하지는 않습니다.
AI 요약
Google이 수컷 초파리의 뇌 전체를 지도화했다는 소식을 접한 글쓴이는 먼저 시뮬레이션이 노트북에서 돌아가는지 확인했습니다. 초파리 뇌 시뮬레이션은 176,422개의 뉴런으로 구성되며 노트북 CPU에서 실행됩니다. 이어 이 모델을 코드 리뷰에 쓸 수 있는지 실험했습니다.
30개 질문으로 변경 사항 평가
초파리는 코드를 읽지 못하므로 TypeSafe 모델 Jev가 코드 변경마다 예·아니요 질문 30개에 답합니다. 답변을 조합해 변경 사항의 코드 냄새를 판단합니다. 글쓴이는 mutation testing으로 코드베이스의 좋은 부분과 나쁜 부분을 가려낸 뒤 초파리 모델이 이를 기억하도록 학습했습니다.
처음 보는 변경 301건을 평가했을 때 초파리 모델의 판단은 테스트 결과와 290번 일치했습니다. 같은 30개 답변을 사용한 로지스틱 회귀는 298번 일치했습니다. 글쓴이는 초파리가 어느 정도 코드 리뷰를 해낼 수 있다면 사람이 리뷰를 계속 맡아야 하는지 질문합니다.
사람의 리뷰는 무엇을 맡아야 하나
글쓴이는 에이전트가 코드를 작성하는 상황에서 리뷰가 병목이 된다고 봅니다. 모델이 코드 품질을 높이고 테스트와 리뷰를 지속적으로 수행할 수 있다면 사람이 코드 변경을 승인하는 통제권을 일부 내려놓을 수 있다고 주장합니다. 에이전트의 결과를 믿으려면 변경 사항이 문제를 해결하거나 의도한 기능을 추가했다는 증거가 필요하다고 덧붙입니다. 영상, 스크린샷, 테스트 결과, 명령 출력, 스모크 테스트, 직접 재현하는 간단한 방법을 그 증거로 제시합니다.
글쓴이는 최근 승인한 에이전트 PR에서 핵심 비즈니스 로직을 가장 중요하게 살폈습니다. 에이전트가 논리적 정확성을 확인하더라도 그 변경이 실제 사용 사례에 맞는지는 사람이 판단해야 한다고 설명합니다. 사람은 모든 코드를 줄 단위로 검토하기보다 변경 이유와 선택한 방식의 의미, 다른 방식을 택하지 않은 이유를 높은 수준에서 이해해야 한다고 주장합니다.
dev.to 반응
- @alexshev — 로지스틱 회귀를 기준선으로 비교한 점은 정확한 선택입니다. 테스트, 리팩터링, 동작 변경처럼 변경 유형별로 평가도 나눠 보겠습니다. 301건 중 290건이 일치해도 코드 리뷰에서 중요한 유형에서는 성능이 약할 수 있습니다. 전체 결과에서 이기는 단순한 기준선도 어떤 표현을 더 다듬어야 하는지 드러낼 수 있습니다.
원문: dev.to / 번역·요약: Trawling