AI 모델과 서비스, 활용 도구와 이용 조건을 다룹니다.
AMD Instinct MI300X 한 장에 Gemma 4 E2B를 vLLM과 ROCm으로 배포하고, MCP 기반 운영 도구로 상태 확인과 벤치마크를 자동화한 과정을 설명합니다. 1,024 컨텍스트 단일 스트림에서 305 tok/s, 64개 스트림에서 10,284 tok/s를 기록했으며, 온디맨드 비용 기준으로 TPU v5e보다 높은 처리량 대비 비용을 측정했습니다.
170개 변경 계획을 대상으로 LLM 플래너와 비평기, 결정론적 검증 게이트를 결합한 PlannerCritic을 실험했습니다. 더 큰 모델도 구조적 결함을 고치지 못했으며, 의존성·순서·롤백을 코드로 검증하는 하이브리드 방식이 핵심 해법으로 나타났습니다.
RSA-896이라는 RSA challenge number의 소인수 p·q를 공개한 인수분해 기록입니다. Claude가 CADO-NFS의 GPU 포팅과 유휴 GPU fleet 실행을 조율했으며, 최대 2,048개 GPU로 10일 동안 약 30 GPU-years를 투입했습니다. 새로운 알고리즘 개선이나 배포된 키에 대한 새 위협은 없다고 설명합니다.
AMD Instinct MI300X 한 장을 실제 클라우드 환경에서 MCP 도구로 관리하고, 하드웨어와 ROCm 스택이 지원하는 수치 형식을 직접 측정합니다. 결과적으로 이 카드에서는 FP8 E4M3FNUZ가 실용적인 네이티브 경로이며, INT8·MXFP4·NVIDIA용 FP8·GGUF는 사양표나 기능 목록만으로 판단하면 안 된다는 점을 보여줍니다.
저렴하고 로컬에서 실행할 수 있으며 악성 행위를 거부하지 않는 AI 모델이 실제 취약점 탐색과 익스플로잇 작성에 활용될 수 있다는 경고입니다. 글은 공격 모델이 대중화되기 전에 보안 패치의 배포·백포트·검증 체계를 정비하고, 샌드박싱과 최소 권한, 공급망 보안을 강화해야 한다고 주장합니다.
AI 에이전트의 권한을 만료 시간만으로 관리하는 방식의 한계를 짚고, 작업마다 단일 사용 위임을 발급·소진하며 타임아웃과 재시도를 펜싱하는 프로토콜 논의를 설명합니다. 결국 지연 메시지를 차단할 보존 기간은 기술만으로 정할 수 없으며, 명시적인 소유자와 변경 절차가 필요하다고 주장합니다.
동일한 노트북에서 Gemma 4 소형 양자화 모델을 CPU와 4GB GTX 1650 Ti로 번갈아 서빙한 결과, GPU 디코드 속도가 평균 4.27배 빨랐습니다. 모델의 대형 임베딩 테이블이 호스트 메모리에 남는 구조 덕분에 4GB GPU만으로도 충분히 적재할 수 있었습니다.
Higgsfield는 대규모 언어 모델(LLM) 학습을 위해 GPU 노드 할당, 실험 큐 관리, 분산 샤딩, 학습 모니터링, GitHub Actions 연동을 제공하는 오픈소스 프레임워크입니다. PyTorch FSDP와 DeepSpeed ZeRO-3를 지원하며, 여러 노드에서 대규모 모델을 학습하고 체크포인트를 관리하는 흐름을 단순화합니다.
Cua는 AI 에이전트가 Linux·macOS·Windows의 데스크톱 애플리케이션과 브라우저를 조작하도록 하는 오픈소스 도구 모음입니다. 격리된 클라우드 데스크톱, 로컬 macOS VM, 에이전트 평가·학습용 Cua-Bench를 함께 제공합니다.
Intel 연구진이 모델의 가중치나 출력값을 바꾸지 않고 저장 형식만 개선하는 BITCOS를 제안했습니다. 0 가중치의 비율을 별도로 활용해 한 체크포인트를 1.485비트로 저장했으며, 하드웨어에 따라 디코딩 처리량이 CPU에서 최대 18%, GPU에서 최대 27% 향상됐습니다.
OpenAI의 AI 가속기 칩 Jalapeño는 최대 13.4페타플롭스의 4비트 연산과 15.4TB/s 메모리 대역폭을 제공하며, Nvidia GB300보다 엔드투엔드 지연 시간을 최대 3.6배 줄이는 것을 목표로 합니다. 설계 과정에서는 LLM을 고수준 합성, 검증, 소프트웨어 최적화에 활용해 아키텍처 구상부터 첫 실리콘까지 20개월 이내에 진행했습니다.
코딩 에이전트의 지침을 하나의 거대한 파일에 항상 넣는 대신, 작업에 필요한 규칙을 무엇을·어디에·언제라는 기준으로 나눠 필요한 순간에만 불러오는 점진적 공개를 설명합니다. 28,721개 저장소 분석과 AGENTS.md, CLAUDE.md, skills, 경로 설정 사례를 바탕으로 컨텍스트 경쟁을 줄이는 방법과 새롭게 생기는 지침 관리 문제를 다룹니다.
Foundation model은 스스로 코드를 실행하지 않고, 호출할 도구와 입력을 구조화된 요청으로 출력합니다. 애플리케이션이 실제 함수를 실행해 결과를 돌려주면 모델이 답변을 완성하며, 글에서는 Amazon Bedrock의 Converse API로 날씨·날짜 도구, 프롬프트 주입, MCP까지 단계적으로 설명합니다.
대부분의 AI 에이전트는 LLM 호출을 끼운 결정적 파이프라인에 가깝다고 지적한 뒤, 진짜 자율성이 필요한 좁은 조건을 정리합니다. 런타임에 새 경로가 발견되고, 분기 공간을 미리 열거할 수 없으며, 자율 영역을 최소화하고, 모든 결정을 저렴하게 검증·기록할 수 있어야 합니다.
미군 분석가가 챗봇으로 중국 선박의 화물 정보를 분석해 작성한 정보 보고서가 핵무기 프로그램 관련 부품을 운반한다는 잘못된 결론을 냈습니다. 미군은 공중 지원을 동반한 선박 나포·승선을 준비했지만, 챗봇의 오인 식별이 발견되면서 실행 직전에 중단됐습니다.
AI 코딩 어시스턴트가 이전 세션에서 수정된 실수를 새 세션에서 반복하는 문제를 다룹니다. 저자는 Cognee, Mem0, Letta, Supermemory, Zep, Mnemoverse 여섯 메모리 시스템의 공식 문서를 읽고 '리콜 결과에 부정적 판정을 전달하는 공개 입력'이 있는지를 비교했습니다. 결론은 입력의 존재 여부가 아니라, 그 입력이 무엇에 붙어 있고 다음 읽기에서 실제로 무엇이 바뀌는지가 갈림길이라는 것입니다.
LLM의 tool call을 검증하는 자체 하니스에서, '파싱 불가', '비교 불일치', '비교 자체 실패'라는 세 가지 다른 실패가 전부 EXEC_ARGUMENTS_MISMATCH 하나로 기록되던 문제를 다룬 글입니다. 저자는 catch 분리라는 단순한 수정 너머로, 실패 이름이 조용히 삼켜지는 화이트리스트 결함과 테스트가 자기 버그를 옹호하게 되는 함정까지 파고듭니다.
미국 연방항공청(FAA)이 전국적인 항공 교통 관제 인력 부족 문제를 해결하기 위해 12년간 총 8억 7,500만 달러 규모의 AI 소프트웨어 프로그램 SMART를 도입합니다. 클라우드 기반 이 플랫폼은 항공사 스케줄·기상·공항 수용력 등을 분석해 교통 흐름을 예측하고 잠재 충돌을 사전에 식별하며, 워싱턴 D.C. 권역부터 순차 적용됩니다.
Fujitsu가 데이터센터용 프로세서 FUJITSU-MONAKA를 공식 발표했습니다. 코어는 2nm, 캐시와 I/O는 5nm 공정을 조합한 3D 적층 구조이며, 전용 명령어와 SVE2로 다른 CPU 대비 2배의 AI 추론 처리량을 주장합니다. 144개의 ARMv9 코어를 탑재한 서버는 11월부터 출하됩니다.
배포된 LLM은 학습 데이터에 없는 정보를 프롬프트로만 주입받고 요청이 끝나면 버리는데, 이 논문은 실행 중 데이터를 가중치에 기록하는 'Infinite-Parameter LLM'을 제안합니다. 컴팩트한 하이퍼네트워크(Hypernetwork)가 런타임 데이터를 공유 베이스 네트워크의 저차원 변조로 바꾸고, 생성기의 잠재 코드에 대한 베이지안 신념(Bayesian belief)을 온라인으로 갱신해 세션이 진행될수록 유효 가중치를 다시 도출합니다.