AI 모델과 서비스, 활용 도구와 이용 조건을 다룹니다.
모든 프롬프트를 단일 프론티어 모델로 보내는 프로덕션 AI 애플리케이션은 단순 쿼리에서 40~80%의 비용을 과다 지출하고 있습니다. 이 글은 Bifrost, LiteLLM, OpenRouter, RouteLLM, Kong AI Gateway 등 주요 LLM 라우팅 도구를 라우팅 로직, 지연 시간, 장애 조치, 거버넌스 관점에서 비교하며, 팀의 인프라 환경에 맞는 라우팅 아키텍처 선택 기준을 제시합니다.
보안 분석가가 자신의 16GB GPU에서 동작하는 로컬 27B LLM 에이전트에게 Splunk + Sysmon 홈 SOC의 감사와 자동 복구를 맡긴 실험기입니다. 이중 수집, 죽은 데이터 입력, LSASS 접근 탐지 누락 등 실제 문제를 찾아 고쳤고, 과정에서 컨텍스트 관리와 시스템 프롬프트 설계의 중요성을 구체적인 수치로 보여줍니다.
LLM 애플리케이션과 에이전트 워크플로우는 비결정적이기 때문에 HTTP 200을 반환하면서도 할루시네이션, 데이터 유출, 무한 루프를 일으킬 수 있습니다. 이 글은 전통 APM이 이런 장애를 잡지 못하는 이유를 설명하고, OpenTelemetry GenAI 규약 기반의 4계층 아키텍처, 계층형 온라인 평가 전략, 거버넌스 요건, 주요 플랫폼 비교, 단계별 도입 로드맵을 정리합니다.
소액을 AI 에이전트에 맡겨 수천 달러로 불렸다는 바이럴 글 5편을 온체인 풀 데이터, 공식 수수료표, 프로젝트 공식 사이트와 저자의 공개 데모 같은 1차 자료와 대조해 검증한 기록입니다. 수익을 주장한 글은 모두 검증 가능한 증거와 이해관계 항목에서 실패했고, 유일하게 정직했던 오픈소스 데모조차 실측 손실을 보였습니다.
뉴욕주가 지방자치단체가 데이터센터 개발사와 협상할 때 활용할 수 있는 Community Investment Framework(CIF)를 발표했습니다. 전력 수요 메가와트당 100만 달러의 지역 투자를 요구하는 기준을 제시하며, 시설 철수·부지 방치·지속 비용 등에 대한 장기 계획도 함께 수립하도록 권고합니다. 주 전력망에 최대 9,000MW의 데이터센터 수요가 접수된 만큼, 이 기준이 적용되면 지역사회에 90억 달러 이상의 투자가 유도될 수 있습니다.
2인 팀이 7일 만에 Apple Silicon MLX 위에서 네트워크 없이 동작하는 온디바이스 자세 감지 맵 'SENTINEL'을 만든 빌드 노트입니다. 데모 자체보다 macOS 26의 AVFoundation 크래시, yolo-mlx의 지연 평가(lazy eval) 데드락, 파인튜닝 붕괴라는 세 가지 실패 모드의 진단 과정이 핵심입니다. yolo26n 가중치를 그대로 쓰고 바운딩 박스 종횡비 휴리스틱만 얹어 M4에서 720p 16FPS를 달성했습니다.
PeakHour 6는 macOS용 실시간 네트워크 모니터링 앱으로, 온디바이스 AI Advisor가 연결 상태를 A+부터 F까지 등급으로 매기고 이를 일상 언어로 설명해줍니다. Wi-Fi Intelligence, ISP·라우터 정보, 속도 테스트, 장애 알림 기능을 갖추고 있으며 계정 없이 완전히 로컬에서 동작한다는 점이 특징입니다.
Coder는 클라우드 개발 환경과 AI 코딩 에이전트를 위한 셀프호스팅 플랫폼입니다. 워크스페이스를 Terraform으로 정의하고 Wireguard 터널로 안전하게 연결하며, 유휴 시 자동 종료해 비용을 절감합니다. 특히 AI 에이전트의 실행 루프가 자체 인프라의 컨트롤 플레인에서 돌아가 워크스페이스에 API 키를 두지 않는 점이 특징입니다.
UkisAI가 공개한 Swift-Qwen3.8-27B는 Qwen3.8-27B의 추론 효율 파생 모델로, 추론 과정에서 과도한 사고(overthinking)를 유발하는 토큰 사용에 페널티를 줘 사고 토큰을 최대 58.3% 줄이면서도 벤치마크 성능 손실을 1% 미만으로 억제했습니다. 여러 작업에서 약 1.95배의 속도 향상을 보고했으며, 로컬 배포를 겨냥한 GGUF 양자화 파일과 함께 무료 API도 제공합니다.
AI 에이전트의 실패는 악의가 아니라 행동 전 체크와 사후 기록이 없는 구조적 문제라고 지적하는 글입니다. Knight Capital의 4억 4천만 달러 손실 사건과 Air Canada 챗봇 사건을 사례로 들며, 진짜 가드레일은 '누가 AI를 관리하는가'가 아니라 행동을 실시간으로 승인 권한과 대조하는 메커니즘이라고 주장합니다.
Edge0-35B-A3B-preview는 edge0 스트리밍 추론 프레임워크를 통해 3 GiB 미만의 활성 메모리로 동작하는 35B급 sparse MoE 언어 모델의 프리뷰 릴리스입니다. expert 가중치를 SSD에서 온디맨드로 스트리밍하고 prerouter와 Recover-LoRA 기법을 적용해, int4 양자화에도 fp16 베이스 대비 평균 3.9점 차이의 품질과 15 tok/s의 디코딩 속도를 확보했습니다.
Ternary LLM은 모든 가중치를 {-1, 0, +1}로 저장하며, 기존 five-trit packing은 가중치당 1.625비트를 차지했습니다. 연구팀은 29개 모델에서 0이 최대 51.5%를 차지함을 확인하고, 0 밀도 z에 따라 가중치당 2−z비트만 쓰는 BITCOS 레이아웃을 제안했습니다. 가장 희소한 모델에서 1.485비트를 달성했고, 디코드 처리량이 CPU에서 최대 1.18배, GPU에서 최대 1.27배 향상됐습니다.
Ars Technica가 macOS 27 Golden Gate를 리뷰했습니다. Apple Intelligence가 출시 2년 만에 첫 대규모 업그레이드를 받았지만, 이제는 비활성화 토글 자체가 사라져 생성형 AI가 사실상 강제가 되었습니다. 동시에 2019~2020년형 Intel Mac 지원이 종료되어 Apple Silicon 전용 OS가 되었습니다.
저자 Rohan Bansal이 4B 파라미터 오픈 웨이트 모델을 SFT와 에이전틱 RL로 사후 학습시켜, pg_hint_plan 힌트를 통해 Postgres 기본 플랜보다 빠른 쿼리 플랜을 생성하게 한 실험을 상세히 기록한 글입니다. 처음에는 113개 조인 쿼리 중 99개에서 플랜조차 만들지 못하던 모델이 학습 후 Join Order Benchmark 전체에서 평균 44.7%의 지연 시간 감소를 달성했습니다.
AI 코딩에서 '프롬프트가 아니라 루프를 작성하라'는 흐름이 확산되면서, 무인·장시간·병렬로 돌아가는 에이전트 루프의 지출 문제가 커지고 있습니다. 저자는 총비용이 '검증된 결과까지의 반복 횟수 × 반복당 비용'의 곱으로 결정되며, 반복 상한 같은 가드레일로는 줄일 수 없고 고충실도 피드백을 루프 안쪽으로 끌어오는 것만이 두 항을 동시에 줄인다고 주장합니다. 특히 Kubernetes 위의 마이크로서비스에서는 세션 안에서 몇 초 만에 닿을 수 있는 프로덕션 충실도 환경이 비용 구조 전체를 좌우한다고 분석합니다.
자율 AI 에이전트의 재귀적 자기 개선(RSI)에서 탐색 전략 자체를 개선하는 프레임워크 Dream-RSI를 소개합니다. 과거 발견 이력으로 구축한 리플레이 시뮬레이터에서 '드리밍(dreaming)'을 수행해 비용이 큰 온라인 평가 없이 탐색 정책을 다듬고, 알고리즘 엔지니어링·수학적 최적화·GPU 커널 엔지니어링에서 발견 비용을 크게 줄이면서도 경쟁력 있는 결과를 냈습니다.
LLM 질의가 중앙 클라우드의 프론티어 모델에 집중되는 현 구조의 한계를 짚고, 소형 로컬 모델과 로컬 가속기가 수요를 분산할 수 있는지를 검증한 연구입니다. 저자들은 정확도를 전력으로 나눈 'intelligence per watt(IPW)'라는 통합 지표를 제안하고, 20개 이상의 로컬 모델·8종의 가속기·100만 건의 실제 질의를 측정했습니다. 로컬 모델이 질의의 88.7%에 성공적으로 답하며, 2023~2025년 사이 IPW가 5.3배 향상됐다는 결과를 보고합니다.
Colibrì는 744B~2.8T 규모의 MoE 모델을 일반 소비자 하드웨어에서 실행하는 순수 C 추론 엔진입니다. VRAM·RAM·NVMe를 하나의 메모리 계층으로 취급하고 라우팅된 전문가(expert) 가중치를 디스크에서 스트리밍해, 빠른 메모리 부족이 속도만 바꿀 뿐 모델의 의미를 바꾸지 않도록 설계되었습니다.
MCP 도구 탐색(discovery) 자체는 거의 무료이며, 실제 비용은 모든 모델 호출마다 컨텍스트에 주입되는 도구 정의에서 발생합니다. 저자는 토크나이저 기반 측정 하니스로 도구 수와 설명 길이에 따른 비용을 정량화해, 비용이 도구 수에 선형으로 증가하고 설명 스타일이 별도의 승수로 작동함을 보여줍니다.
LM-Kit One은 기업 자체 인프라 위에서 완전히 동작하는 프라이빗 AI 애플리케이션 서버입니다. 단일 REST API를 통해 AI 에이전트 구축, 문서 데이터 추출, 내부 지식 검색, 워크플로 자동화를 제공하며, 클라우드 AI 의존성과 데이터 수집이 없다는 점이 핵심입니다. Windows, Linux, macOS에 배포할 수 있고 기간 제한 없는 무료 평가를 제공합니다.