Trawling

AI · 최신기사

AI 모델과 서비스, 활용 도구와 이용 조건을 다룹니다.

AI 코딩에서 어려운 부분: 작업이 끝났다고 판단하기

발행

Code Factory는 AI 코딩 에이전트가 작업을 마친 뒤 요구사항과 테스트 범위를 확인하고, 검사 결과를 검증 대상 코드와 연결하는 로컬 우선 워크플로를 제안합니다. 작성자는 기록이 정확성을 보장하지 않으며 테스트와 사람의 판단이 여전히 필요하다고 밝힙니다.

초파리보다 똑똑한가요? 초파리 뇌로 코드 리뷰하기

발행

초파리 뇌 시뮬레이션을 코드 리뷰에 적용한 실험에서, 30개 예·아니요 답변은 처음 보는 변경 301건 중 테스트 결과와 290번 일치했습니다. 같은 답변을 입력한 로지스틱 회귀는 298번 일치해 더 나은 결과를 냈고, 글쓴이는 리뷰에서 사람이 맡을 몫을 코드 줄별 검사보다 비즈니스 로직과 의도 판단으로 옮기자고 제안합니다.

Tiden, 코딩 에이전트의 의도 검증

발행

Tiden은 코딩 에이전트가 만든 변경 사항을 코드 작성 세션의 테스트가 아니라 버전 관리되는 요구사항과 대조하는 도구입니다. 개발 환경에서 테스트를 실행하고 결과를 병합 게이트와 연결하며, 운영 오류를 릴리스와 변경 사항, 프롬프트까지 추적한다고 설명합니다.

자신이 만든 코드를 스스로 승인하지 않는 코딩 시스템

발행

Derivative는 자연어 요구사항을 실행 가능한 Python으로 바꾸지만, 생성기가 결과를 승인하지는 않습니다. 별도 검증 파이프라인이 격리 실행과 계약·적대적 검사를 거쳐 패키징을 결정하며, 블라인드 평가에서 검증 성공은 0/6이었지만 실패 판정과 불가능 판정은 각각 3/3을 맞혔습니다.

운영자의 신뢰를 무너뜨리는 오탐을 잡는 15줄 테스트

발행

AI 에이전트 이상 탐지기 43개를 정상 추적 데이터 하나에 함께 실행하고, 어떤 탐지기도 경고하지 않는지 검사하는 테스트를 소개합니다. 이전 프로젝트에서는 경고 56,869건 중 45,575건이 오탐이었으며, 글은 개별 탐지기 테스트만으로 놓치는 통합 문제를 설명합니다.

Garry Tan의 Claude Code 작업 환경 gstack — 기획부터 검토·QA·배포까지 역할별 스킬 제공

발행

gstack은 Claude Code를 기획자, 엔지니어링 매니저, 리뷰어, QA 담당자처럼 역할별 스킬로 구성하는 오픈소스 작업 환경입니다. 작성자는 제품 기획부터 코드 검토, 브라우저 테스트, 배포까지 이어지는 흐름과 여러 에이전트 지원을 제시하며, 일부 보안·검증 기능은 별도 조건과 설정이 필요하다고 설명합니다.

tester-army/e2e — 자연어로 웹·모바일 앱을 테스트하는 E2E 프레임워크

발행

tester-army/e2e는 자연어로 테스트 목표를 지정하면 에이전트가 웹·모바일 앱을 조작하는 E2E 테스트 프레임워크입니다. 에이전트 동작을 검증한 테스트는 다음 실행에서 기록한 동작을 재생해 모델 호출을 줄이며, 일반적인 로케이터와 어서션도 함께 사용할 수 있습니다.

커버리지는 코드 지표를 넘어 커리어 지표가 됐습니다

발행

AI 에이전트가 코드를 빠르게 만드는 환경에서는 테스트 커버리지보다 결과를 검증할 수 있는 증거 기록이 엔지니어의 역량을 보여준다고 주장합니다. 테스트 수뿐 아니라 실제 실행 보고서와 실패 목록을 공개해야 신뢰를 얻을 수 있다고 설명합니다.

데이터는 공개됐지만 에이전트 경로는 아니었습니다 — 기여자의 목업이 문서가 된 과정

발행

Sanity 데이터셋은 인증 없이 조회할 수 있지만, 에이전트가 쓰는 Context MCP 경로에는 조직 토큰이 필요했습니다. 접근할 수 없는 실행 경로를 대신해 기여자가 만든 목업 스키마가 도구 설명에 들어가면서 실제 데이터와 다른 문서가 될 뻔한 과정을 짚고, 실제 스키마에서 생성한 계약 픽스처를 대안으로 제안합니다.

코드를 읽지 못해도 버그를 잡는 방법

발행

비개발자인 Alisio 창업자는 코드를 검토하는 대신 실제 사용 상황을 구체적으로 적고, 직접 동작을 확인해 버그를 찾습니다. 댓글에서는 과거 테스트를 회귀 체크리스트로 관리하고 변경 뒤 모두 다시 실행하라는 제안이 나옵니다.

설명할 수 없는 실패가 일상이 되는 문제

발행

글은 AI 모델 Jev의 확률 점수와 빠른 도입을 예로 들어, 평가 데이터와 검증 없이 AI를 제품에 넣으면 실패 원인을 추적하기 어려워진다고 지적합니다. 저자는 LLM 개발로 실패가 늘어나는 것보다 “그냥 안 된다”는 말로 조사를 끝내는 태도가 보편화되는 일을 우려합니다.

에이전트 평가에서 몇 주를 잃게 한 실수 7가지와 간단한 수정법

발행

에이전트 평가 점수가 낮거나 그럴듯하게 나와도 모델 탓으로 단정하면 안 됩니다. 테스트가 실제로 실행됐는지, 보상 함수와 분모가 적절한지, 실패 데이터와 실행기가 정확한지 점검해야 하며, 이 글은 평가 오류 7가지와 각 수정 사례를 소개합니다.

6개월 동안 AI에게 테스트를 작성하게 해봤습니다 — 실제 프로덕션에서 살아남은 것들

발행

AI는 테스트 코드의 보일러플레이트와 버그 재현용 골격을 빠르게 만드는 데 효과적이지만, 중요한 실패 시나리오와 올바른 검증 조건까지 찾아주지는 못합니다. 작성자는 Playwright와 Flutter 테스트 경험을 바탕으로 AI 생성 테스트의 한계와 사람이 반드시 맡아야 할 역할을 설명합니다.