Parallel Constrained Decoding — Apple Silicon에서 구조화 추론을 최대 7배 빠르게
MLX 기반의 고처리량 추론 엔진 Parallel Constrained Decoding이 공개됐습니다. 다중 필드 JSON 스키마를 토큰 단위로 순차 생성하는 대신 동시에 평가해, Apple Silicon M4 Max에서 표준 자기회귀 디코딩 대비 5.6~7.0배의 지연시간 단축과 100% 스키마 유효성을 달성했습니다.
AI · 최신기사
AI 모델과 서비스, 활용 도구와 이용 조건을 다룹니다.
이 PCB는 Fable 5가 만들었습니다 — 도구를 만지지 않고 영어 문장만으로 설계한 E-ink 개발 보드
PCB 설계 지식이 없는 개발자가 AI 모델 Fable 5에 영어 설명만으로 RP2350 기반 E-ink 개발 보드의 설계를 전부 맡긴 실험기입니다. 패키지 오류와 미완성 자동 라우팅 등 우여곡절이 있었지만, JLCPCB에서 5장 130유로에 조립 주문한 보드가 실제로 동작했습니다. AI가 하드웨어 진입 장벽을 크게 낮추면서도 성취감과 검증 책임이라는 숙제를 남긴다는 점을 보여줍니다.
AMD Matrix Core의 정확한 모델 — 문서화되지 않은 수치 동작을 실험으로 밝혀내다
최근 GPU의 행렬 곱셈 유닛은 IEEE 754를 따르지 않으며 누적기 폭, 반올림 방식, 서브노멀 처리 등이 공급사와 세대마다 달라 장치 간 결과 재현이 불가능합니다. 연구팀은 CDNA 1~3 세대(MI100~MI300X)의 수치 동작을 특성화하고, 1,000만 개의 무작위 테스트로 비트 단위 일치를 검증한 MATLAB 모델을 만들어 NVIDIA tensor core와의 정확도 차이까지 정량화했습니다.
Meta가 카메라 안경에서 배우는 교훈 — Google이 10여 년 전에 이미 겪은 문제
Meta가 카메라를 제외한 AI 스마트 글라스 변형 모델을 개발 중이라는 보도가 나왔습니다. 얼굴에 카메라를 달고 다니는 제품이 대중의 거부감을 사는 문제는 2012년 Google Glass가 이미 겪은 바 있고, Meta도 같은 벽에 부딪히고 있습니다. 카메라 제거는 기능상 트레이드오프가 있지만 논란을 피하고 새 고객층을 확보하는 수단이 될 수 있습니다.
Edge0-35B-A3B 프리뷰 — 스마트폰급 메모리에서 동작하는 35B급 MoE 모델
Edge0-35B-A3B-preview는 edge0 스트리밍 추론 프레임워크를 통해 3 GiB 미만의 활성 메모리로 동작하는 35B급 sparse MoE 언어 모델의 프리뷰 릴리스입니다. expert 가중치를 SSD에서 온디맨드로 스트리밍하고 prerouter와 Recover-LoRA 기법을 적용해, int4 양자화에도 fp16 베이스 대비 평균 3.9점 차이의 품질과 15 tok/s의 디코딩 속도를 확보했습니다.
프라이버시 우선 AI — MacBook에서 Llama-3를 파인튜닝해 10년치 건강 리포트 해독하기
민감한 의료 데이터를 클라우드에 올리지 않고, Apple Silicon의 MLX 프레임워크와 LoRA를 이용해 MacBook 로컬에서 Llama-3-8B를 파인튜닝하는 과정을 다룬 가이드입니다. 10년치 건강검진 리포트를 OCR·구조화해 JSONL 데이터셋으로 만들고, 어댑터 학습 후 로컬 추론까지 이어지는 전체 파이프라인과 명령어를 단계별로 제시합니다.
NVIDIA, Rust로 GPU 커널을 직접 작성하는 CUDA Rust 공개 — SIMT와 Tile 두 트랙
NVIDIA가 Rust로 GPU 커널을 네이티브하게 작성해 PTX로 컴파일하는 CUDA Rust를 발표했습니다. SIMT 모델의 cuda-oxide와 Tile 모델의 cutile-rs 두 트랙으로 제공되며, Rust의 소유권·빌림 검사로 GPU 커널의 메모리 안전성을 컴파일 타임에 보장하는 것이 핵심입니다.
Ternary LLM의 '1.58비트 장벽' 깨기 — 0의 분포를 활용한 BITCOS 레이아웃
Ternary LLM은 모든 가중치를 {-1, 0, +1}로 저장하며, 기존 five-trit packing은 가중치당 1.625비트를 차지했습니다. 연구팀은 29개 모델에서 0이 최대 51.5%를 차지함을 확인하고, 0 밀도 z에 따라 가중치당 2−z비트만 쓰는 BITCOS 레이아웃을 제안했습니다. 가장 희소한 모델에서 1.485비트를 달성했고, 디코드 처리량이 CPU에서 최대 1.18배, GPU에서 최대 1.27배 향상됐습니다.
macOS 27 Golden Gate 리뷰 — 끌 수 없는 Apple Intelligence와 Intel Mac 지원 종료
Ars Technica가 macOS 27 Golden Gate를 리뷰했습니다. Apple Intelligence가 출시 2년 만에 첫 대규모 업그레이드를 받았지만, 이제는 비활성화 토글 자체가 사라져 생성형 AI가 사실상 강제가 되었습니다. 동시에 2019~2020년형 Intel Mac 지원이 종료되어 Apple Silicon 전용 OS가 되었습니다.
마이크론, 대만 직원에 100만 대만달러 보너스 제시 — 노조는 거부하고 영업이익 15% 이익공유제 요구
Micron이 대만 직원 전원에게 NT$100만(약 US$31,650)의 일회성 현금 보너스를 포함한 사상 최대 규모 보상 패키지를 발표했지만, Taoyuan 공장 노조는 이를 '눈속임'이라며 공식 거부했습니다. 노조는 영업이익의 15%를 분기별로 직원에게 배분하는 상시 이익공유제를 요구하고 있으며, 9월 21일 2차 조정이 결렬되면 파업 찬반 투표에 들어갈 예정입니다.
Apple, 'M8' 칩 기반 AI 서버로 서버 시장 복귀 검토 — Nvidia 네트워킹 도입 논의
The Information 보도에 따르면 Apple이 'M8' 시리즈 칩 기반 AI 서버를 외부 고객에게 판매하는 방안을 검토 중이며, 칩 간 연결을 위해 Nvidia의 NVLink Fusion 도입을 논의하고 있습니다. 실현되면 2011년 Xserve 단종 이후 사라졌던 Apple의 서버 사업이 부활하는 것으로, 추론(inference) 워크로드를 자체 장비에서 돌리려는 기업을 겨냥합니다. 예상 출시 시점은 2029년이나 취소될 가능성도 남아 있습니다.
Pixel 10의 C2PA 서명 위조 — AI 이미지에 '진짜 카메라 서명'을 붙이는 방법
Hacker Factor의 Neal Krawetz가 연구자 retr0id와 함께 Pixel 10의 C2PA 콘텐츠 자격증명 서명을 위조하는 방법을 공개했습니다. 루트 권한을 얻은 뒤 StrongBox/TEE의 서명 프로그램에 임의 데이터를 넘기는 Confused Deputy 공격으로, AI 생성 이미지도 'Pixel 카메라 촬영본'이라는 Google의 유효한 서명을 받을 수 있습니다. Google은 이를 'Won't Fix (Infeasible)'로 종결했습니다.
데이터센터 건설 붐, '쓰나미'급 전자폐기물을 만들 것 — 보고서
비영리 환경단체 Basel Action Network(BAN)의 새 보고서가 AI용 데이터센터 건설 붐이 향후 25년간 전자폐기물 연간 발생량을 세 배로 늘릴 것이라고 전망했습니다. 2030년까지 연간 최대 1,300만 톤의 폐기물이 발생할 것으로 추정되며, 납·수은·카드뮴 같은 유해물질과 회수가 어려운 유가금속이 포함되어 있지만 처리 계획은 사실상 없다고 지적했습니다.
Intelligence per Watt: 로컬 AI의 지능 효율을 측정하다
LLM 질의가 중앙 클라우드의 프론티어 모델에 집중되는 현 구조의 한계를 짚고, 소형 로컬 모델과 로컬 가속기가 수요를 분산할 수 있는지를 검증한 연구입니다. 저자들은 정확도를 전력으로 나눈 'intelligence per watt(IPW)'라는 통합 지표를 제안하고, 20개 이상의 로컬 모델·8종의 가속기·100만 건의 실제 질의를 측정했습니다. 로컬 모델이 질의의 88.7%에 성공적으로 답하며, 2023~2025년 사이 IPW가 5.3배 향상됐다는 결과를 보고합니다.
Colibrì — 가진 하드웨어로 프런티어 MoE 모델을 돌리는 순수 C 추론 엔진
Colibrì는 744B~2.8T 규모의 MoE 모델을 일반 소비자 하드웨어에서 실행하는 순수 C 추론 엔진입니다. VRAM·RAM·NVMe를 하나의 메모리 계층으로 취급하고 라우팅된 전문가(expert) 가중치를 디스크에서 스트리밍해, 빠른 메모리 부족이 속도만 바꿀 뿐 모델의 의미를 바꾸지 않도록 설계되었습니다.
Demon's Souls Remake, PC 에뮬레이터 KyTyPS5에서 30FPS 돌파 — 부팅부터 단기간에 세 번째 마일스톤 달성
PS5 에뮬레이터 프로젝트 KyTyPS5가 Demon's Souls Remake를 최신 빌드에서 30FPS까지 끌어올렸습니다. 하루 만에 2FPS에서 18FPS로, 다시 30FPS 구간까지 도달한 것으로, 프레임 드랍과 프레임페이싱 문제가 남아 있지만 게임 부팅, 인게임 진입에 이은 세 번째 마일스톤이라는 평가입니다. 커뮤니티에서는 AI 보조 개발과 PS5의 x86-64 기반 아키텍처가 이 같은 초고속 진전의 배경이라는 분석이 나옵니다.
NVIDIA, 84GB GDDR7 메모리를 탑재한 RTX PRO 5500 "Blackwell" 워크스테이션 GPU 공개
NVIDIA가 프로페셔널 라인업에 84GB GDDR7 메모리를 탑재한 RTX PRO 5500 Blackwell을 조용히 추가했습니다. CUDA 코어 수는 GeForce RTX 5090과 동일한 21,760개지만 워크로드 인증과 3배 가까운 메모리 용량을 갖춰, 대규모 AI 추론과 프로 비주얼라이제이션 시장을 겨냥합니다. 가격은 미공개입니다.
"AI 규제는 필요 없다, 안전은 우리에게 맡겨라" — Nvidia 젠슨 황의 발언이 던진 논쟁
Nvidia CEO 젠슨 황(Jensen Huang)이 Salesforce Dreamforce 무대에서 AI 안전은 법이 아닌 엔지니어링 문제이며 새로운 규제가 필요 없다고 주장했습니다. 자유 시장이 기업을 통제한다는 논지이지만, 업계 최대 수혜자의 발언이라는 점에서 이해관계 논란과 함께 커뮤니티의 강한 반발을 사고 있습니다.
Apple Reference Image — 검증 가능한 사진을 위한 Apple의 새로운 접근
Apple이 iPhone 18 Pro와 Pro Max의 메인 카메라에 처음 도입하는 'Apple Reference Image'는 센서가 캡처한 픽셀을 하드웨어 수준에서 즉시 서명하고, Private Cloud Compute에서 검증 가능하게 현상해 실제 촬영물임을 증명하는 옵트인 모드입니다. C2PA 기반 기존 방식의 한계를 넘어 복합 포스트퀀텀 서명, 촬영자 익명성, 사후 폐기 메커니즘까지 갖췄습니다.
CXMT, HBM3E 수율 25%에 그치며 고전 — 한국 언론 보도
중국 메모리 업체 CXMT가 HBM3E 위험 생산(risk production) 단계에서 25% 수율에 그치고 있다고 한국 언론이 보도했습니다. 스택 4개 중 3개가 불량인 수준으로, 원인은 TSV(through-silicon via) 기술의 미성숙으로 지목됩니다. 다만 Samsung도 HBM4 수율을 6개월 만에 60%에서 80%까지 끌어올린 전례가 있어, 아직 실패로 단정하기는 이르다는 평가입니다.