Tinker로 Qwen3-8B 미세 조정하기: 정확도 50%에서 76%로, 예산은 빠르게 소진
개발자는 Tinker로 Qwen3-8B를 미세 조정해 입력 프롬프트의 복잡도를 5단계로 분류하는 모델을 만들었습니다. 평가 데이터 50개에서 기본 모델은 50%, 학습 예시 2,500개를 쓴 모델은 76%를 기록했지만, 예시 50개로 학습한 모델의 86%보다 낮았습니다. 작은 평가셋과 AI 생성 데이터의 라벨 일관성이 결과 해석을 제한합니다.
AI 모델과 서비스, 활용 도구와 이용 조건을 다룹니다.
개발자는 Tinker로 Qwen3-8B를 미세 조정해 입력 프롬프트의 복잡도를 5단계로 분류하는 모델을 만들었습니다. 평가 데이터 50개에서 기본 모델은 50%, 학습 예시 2,500개를 쓴 모델은 76%를 기록했지만, 예시 50개로 학습한 모델의 86%보다 낮았습니다. 작은 평가셋과 AI 생성 데이터의 라벨 일관성이 결과 해석을 제한합니다.
AI가 제안한 패키지 이름이 실제로 존재하는지, 패키지 매니저가 내려받은 파일의 변경을 막는지, 배포된 바이너리가 소스와 일치하는지는 서로 다른 검증 문제입니다. 세 자료를 비교하면 한 단계의 확인만으로는 다음 단계의 위험까지 해결할 수 없으며, 각 경계에서 무엇을 확인하는지가 달라집니다.
Earnote는 강의나 회의를 녹음하면 Whisper로 기기에서 전사하고 요약, 할 일, 플래시카드와 PDF 학습지를 만듭니다. 음성 인식은 iPhone, iPad, Mac에서 실행되며, 노트 생성까지 기기에서 처리하는 기능은 iPhone 15 Pro 이상에서 제공한다고 설명합니다.
Maxime Labonne의 LLM 학습 자료는 기초 지식부터 모델 학습과 평가, 실제 애플리케이션 구축과 배포까지 세 갈래로 구성됩니다. 각 주제마다 설명과 실습 노트북, 참고 자료를 모아 LLM을 직접 다루려는 개발자가 학습 경로를 정하도록 돕습니다.
Parrot은 Mac의 시스템 오디오와 마이크를 녹음하고 기기에서 전사하는 무료 오픈소스 회의 도우미입니다. 문서에 근거한 답변을 통화 중 보여주며, 전사와 AI 처리에 Claude, Ollama 로컬 모델, 자체 서버 중 원하는 방식을 고릅니다.
Sphinx는 AI 코딩 에이전트가 만든 변경 사항을 푸시하기 전에 질문을 내는 Git 훅입니다. 사용자가 코드의 동작과 예외 상황을 설명하면 푸시를 허용하며, 개발자가 이해하지 못한 채 코드를 배포하는 일을 줄이려는 도구입니다.
ComfyUI는 노드 그래프로 이미지, 영상, 오디오, 3D 등의 생성 워크플로를 만들고 재사용하는 오픈소스 도구입니다. 변경된 그래프 부분만 다시 실행하고 모델 자원을 관리해 로컬 추론을 지원하며, API와 커스텀 노드로 애플리케이션이나 제작 파이프라인에 연결할 수 있습니다.
프로그래밍 초보인 직장인이 AI를 활용해 7주 동안 앱 두 개를 만들고 출시했지만, 사용자를 찾는 일에서 막혔다고 공유합니다. Omakase Cover는 외부에서 약 2,000회 노출됐지만 Microsoft Store 페이지 방문은 8회였고, 체험판 사용은 없었습니다.
ShutterHunt는 사진 과제를 수행하고 Gemma 3n의 평가와 촬영 피드백을 받는 Android 앱입니다. 모델을 휴대전화에 내려받아 실행하므로 인터넷 연결 없이 사진을 판정합니다. 개발 과정에서 사진 방향 오류와 모델의 잘못된 JSON 출력을 해결한 경험도 소개합니다.
NitroStack은 MCP 서버와 AI 앱을 만들고 테스트하고 배포하는 통합 플랫폼입니다. TypeScript·Python SDK, 시각적 디버깅 도구, 워크플로 오케스트레이션, 호스팅, 화이트라벨 채팅 앱을 제공하며, 제작사는 지금까지 8만 개가 넘는 MCP 서버를 배포했다고 밝혔습니다.
AI에 작업을 맡기더라도 엔지니어가 처음과 끝에 직접 판단을 맡는 ‘브레인 샌드위치’ 방식을 소개합니다. 먼저 문제와 방향을 파악하고 AI가 만든 결과물을 검토한 뒤, 변경 내용과 이유를 설명할 수 있을 때 다른 사람에게 리뷰를 요청하라고 제안합니다.
eBay에서 리콜 제품 237종을 검색한 결과, 고유 매물 12,562개 중 리콜 식별 번호를 제목에 적은 매물은 45개였습니다. 이를 바탕으로 중고 판매점 재고와 eBay 매물을 매주 점검하는 RecallDesk를 만들고, 소형 언어 모델의 분류 성능과 비용, 워크플로 복구 능력을 평가했습니다.
메모리 감사기(Memory Auditor)가 Markdown 제목을 지시문으로 추출하지 않아 상충하는 배포 규칙을 놓친 사례를 다룹니다. 작성자는 각 입력 줄의 처리 결과를 기록하고, 추출 누락이 있으면 안심 판정을 막도록 바꿨습니다. 다만 줄 단위 기록만으로 지시문의 의미까지 검사했는지는 보장하지 못한다고 설명합니다.
GBrain Tools는 Gmail, GitHub, Stripe 같은 계정을 한 번 연결해 ChatGPT, Claude, Cursor, 터미널 등에서 함께 쓰게 하는 서비스입니다. AI별로 계정을 다시 연결하는 수고를 줄이고, 작업 기록을 한곳에서 확인하며 제한을 관리한다고 설명합니다.
AI가 표준 UI와 CRUD 같은 반복적인 구현을 빠르게 처리하면서 소프트웨어 개발의 상품화된 부분이 값싸졌다고 설명합니다. 글쓴이는 운영 장애, 예외 처리, 신뢰성처럼 문서화하기 어려운 경험의 희소성이 커졌다고 주장하며, 개발자가 데모에 보이지 않는 문제 해결 능력을 키워야 한다고 말합니다.
35B급 모델을 3GiB 미만의 활성 메모리로 구동한다는 사례부터 PS5에서 GPU로 27B 모델을 돌린 사례까지, 실행 방식과 측정 조건이 서로 다릅니다. 공개된 수치를 나란히 보되 직접적인 성능 순위로 읽기 어려운 이유를 살펴봅니다.
벤치마크가 직업별 업무를 얼마나 포괄하는지, 안전한 판단과 실행을 함께 재는지, 장시간 과제와 상호작용 속 적응을 평가하는지 살펴봅니다. 네 자료는 서로 다른 빈틈을 드러내지만, 어느 하나도 점수만으로 실제 직무 수행 능력을 확정하지는 못합니다.
세 글은 에이전트 시대의 검토 문제를 서로 다른 층위에서 다룹니다. 한 글은 실행 권한을 코드 리뷰와 분리해야 한다고 주장하고, 다른 글은 사람의 병합 승인을 유지하되 검토 자료를 개선하자고 제안합니다. Anthropic 팀 사례는 자동 리뷰와 위험도별 승인 절차를 실제 운영 방식으로 설명합니다. 이 차이를 바탕으로 검토와 권한 통제의 역할을 나눠 봅니다.
RevCheck는 불가리아의 중고차 매물 사이트 mobile.bg와 cars.bg에서 매물 두 개를 읽어 사진, 시세, 엔진별 점검 항목을 비교합니다. Gemma 4, DeepSeek V4 Pro, TabPFN을 각 작업에 나눠 쓰고 규칙 기반 검사를 결합해 어느 차를 보러 갈지 제안합니다. 개발 과정에서는 이미지 오독과 환각을 코드로 제한하고, 40초 요청 제한을 피하도록 비교 과정을 여러 요청으로 나눴습니다.
BOSS Console은 에이전트가 브라우저, 터미널, 편집기를 함께 쓰는 작업 공간을 제공합니다. 사용자는 에이전트의 작업을 확인하고 같은 브라우저 세션에 개입할 수 있으며, Claude Code나 Codex 같은 에이전트도 연결할 수 있다고 제작자는 설명합니다.