Bonsai 2 27B 공개 — 9배 작은 용량으로 거의 무손실 압축 달성
PrismML이 Qwen3.8 27B 기반의 삼진(ternary) 양자화 모델 Bonsai 2 27B를 공개했습니다. 가중치당 1.76비트, 총 5.9GB 용량으로 풀 정밀도 대비 9배 이상 작으면서 벤치마크 성능의 98.2%를 유지합니다. RTX 5090에서 최대 143 tok/s, Apache 2.0 라이선스로 배포됩니다.
하드웨어 · 최신기사
반도체와 컴퓨터 하드웨어의 설계·성능·제품 변화를 다룹니다.
AMD, GPU·칩셋·CPU 전반에 10% 가격 인상 계획 — TSMC 웨이퍼 가격 인상이 원인
AMD가 TSMC의 웨이퍼 가격 인상에 대응해 GPU, CPU, 메인보드 칩셋 등 거의 전 제품에 걸쳐 약 10%의 가격 인상을 준비 중이라는 보도가 나왔습니다. 특히 메인보드 칩셋 가격 인상은 이례적인 사례로 꼽히며, Q4부터 새로운 가격 정책이 적용될 것으로 보입니다.
미국 반도체 제조의 인력 위기 — 삼성·TSMC 인재 확보에 사활
AI 수요에 맞춘 미국 반도체 공장 건설이 역대 최고 속도로 진행되고 있지만, McKinsey와 SEMI Foundation은 2030년까지 최대 157,000명의 인력이 부족할 것으로 전망했습니다. 삼성·TSMC·SK하이닉스·Micron이 대학 투자와 해외 인력 파견으로 대응하는 가운데, 한국보다 낮은 미국의 임금 수준이 구인난의 핵심 원인으로 지목됩니다.
Nvidia와 AMD의 차세대 게이밍 GPU, AI가 더 잘 팔려 2028년까지 지연될 수 있다
유출 정보에 따르면 Nvidia의 RTX 60 시리즈(Rubin)와 AMD의 RDNA 5 기반 Radeon 10000 시리즈 대부분이 2028년으로 밀렸다고 합니다. 데이터센터용 AI 가속기 수요가 소비자 제품보다 수익성이 높아 생산 캐파를 잠식하고 있기 때문입니다. 유일한 예외는 AMD의 AT2 GPU로 내년 출시가 예상됩니다.
WiFi 끈 채로 모델 구동 — MLX 위에 YOLO26을 올리며 깨진 것과 출시된 것
2인 팀이 7일 만에 Apple Silicon MLX 위에서 네트워크 없이 동작하는 온디바이스 자세 감지 맵 'SENTINEL'을 만든 빌드 노트입니다. 데모 자체보다 macOS 26의 AVFoundation 크래시, yolo-mlx의 지연 평가(lazy eval) 데드락, 파인튜닝 붕괴라는 세 가지 실패 모드의 진단 과정이 핵심입니다. yolo26n 가중치를 그대로 쓰고 바운딩 박스 종횡비 휴리스틱만 얹어 M4에서 720p 16FPS를 달성했습니다.
Parallel Constrained Decoding — Apple Silicon에서 구조화 추론을 최대 7배 빠르게
MLX 기반의 고처리량 추론 엔진 Parallel Constrained Decoding이 공개됐습니다. 다중 필드 JSON 스키마를 토큰 단위로 순차 생성하는 대신 동시에 평가해, Apple Silicon M4 Max에서 표준 자기회귀 디코딩 대비 5.6~7.0배의 지연시간 단축과 100% 스키마 유효성을 달성했습니다.
이 PCB는 Fable 5가 만들었습니다 — 도구를 만지지 않고 영어 문장만으로 설계한 E-ink 개발 보드
PCB 설계 지식이 없는 개발자가 AI 모델 Fable 5에 영어 설명만으로 RP2350 기반 E-ink 개발 보드의 설계를 전부 맡긴 실험기입니다. 패키지 오류와 미완성 자동 라우팅 등 우여곡절이 있었지만, JLCPCB에서 5장 130유로에 조립 주문한 보드가 실제로 동작했습니다. AI가 하드웨어 진입 장벽을 크게 낮추면서도 성취감과 검증 책임이라는 숙제를 남긴다는 점을 보여줍니다.
AMD Matrix Core의 정확한 모델 — 문서화되지 않은 수치 동작을 실험으로 밝혀내다
최근 GPU의 행렬 곱셈 유닛은 IEEE 754를 따르지 않으며 누적기 폭, 반올림 방식, 서브노멀 처리 등이 공급사와 세대마다 달라 장치 간 결과 재현이 불가능합니다. 연구팀은 CDNA 1~3 세대(MI100~MI300X)의 수치 동작을 특성화하고, 1,000만 개의 무작위 테스트로 비트 단위 일치를 검증한 MATLAB 모델을 만들어 NVIDIA tensor core와의 정확도 차이까지 정량화했습니다.
Meta가 카메라 안경에서 배우는 교훈 — Google이 10여 년 전에 이미 겪은 문제
Meta가 카메라를 제외한 AI 스마트 글라스 변형 모델을 개발 중이라는 보도가 나왔습니다. 얼굴에 카메라를 달고 다니는 제품이 대중의 거부감을 사는 문제는 2012년 Google Glass가 이미 겪은 바 있고, Meta도 같은 벽에 부딪히고 있습니다. 카메라 제거는 기능상 트레이드오프가 있지만 논란을 피하고 새 고객층을 확보하는 수단이 될 수 있습니다.
Edge0-35B-A3B 프리뷰 — 스마트폰급 메모리에서 동작하는 35B급 MoE 모델
Edge0-35B-A3B-preview는 edge0 스트리밍 추론 프레임워크를 통해 3 GiB 미만의 활성 메모리로 동작하는 35B급 sparse MoE 언어 모델의 프리뷰 릴리스입니다. expert 가중치를 SSD에서 온디맨드로 스트리밍하고 prerouter와 Recover-LoRA 기법을 적용해, int4 양자화에도 fp16 베이스 대비 평균 3.9점 차이의 품질과 15 tok/s의 디코딩 속도를 확보했습니다.
프라이버시 우선 AI — MacBook에서 Llama-3를 파인튜닝해 10년치 건강 리포트 해독하기
민감한 의료 데이터를 클라우드에 올리지 않고, Apple Silicon의 MLX 프레임워크와 LoRA를 이용해 MacBook 로컬에서 Llama-3-8B를 파인튜닝하는 과정을 다룬 가이드입니다. 10년치 건강검진 리포트를 OCR·구조화해 JSONL 데이터셋으로 만들고, 어댑터 학습 후 로컬 추론까지 이어지는 전체 파이프라인과 명령어를 단계별로 제시합니다.
NVIDIA, Rust로 GPU 커널을 직접 작성하는 CUDA Rust 공개 — SIMT와 Tile 두 트랙
NVIDIA가 Rust로 GPU 커널을 네이티브하게 작성해 PTX로 컴파일하는 CUDA Rust를 발표했습니다. SIMT 모델의 cuda-oxide와 Tile 모델의 cutile-rs 두 트랙으로 제공되며, Rust의 소유권·빌림 검사로 GPU 커널의 메모리 안전성을 컴파일 타임에 보장하는 것이 핵심입니다.
Ternary LLM의 '1.58비트 장벽' 깨기 — 0의 분포를 활용한 BITCOS 레이아웃
Ternary LLM은 모든 가중치를 {-1, 0, +1}로 저장하며, 기존 five-trit packing은 가중치당 1.625비트를 차지했습니다. 연구팀은 29개 모델에서 0이 최대 51.5%를 차지함을 확인하고, 0 밀도 z에 따라 가중치당 2−z비트만 쓰는 BITCOS 레이아웃을 제안했습니다. 가장 희소한 모델에서 1.485비트를 달성했고, 디코드 처리량이 CPU에서 최대 1.18배, GPU에서 최대 1.27배 향상됐습니다.
macOS 27 Golden Gate 리뷰 — 끌 수 없는 Apple Intelligence와 Intel Mac 지원 종료
Ars Technica가 macOS 27 Golden Gate를 리뷰했습니다. Apple Intelligence가 출시 2년 만에 첫 대규모 업그레이드를 받았지만, 이제는 비활성화 토글 자체가 사라져 생성형 AI가 사실상 강제가 되었습니다. 동시에 2019~2020년형 Intel Mac 지원이 종료되어 Apple Silicon 전용 OS가 되었습니다.
마이크론, 대만 직원에 100만 대만달러 보너스 제시 — 노조는 거부하고 영업이익 15% 이익공유제 요구
Micron이 대만 직원 전원에게 NT$100만(약 US$31,650)의 일회성 현금 보너스를 포함한 사상 최대 규모 보상 패키지를 발표했지만, Taoyuan 공장 노조는 이를 '눈속임'이라며 공식 거부했습니다. 노조는 영업이익의 15%를 분기별로 직원에게 배분하는 상시 이익공유제를 요구하고 있으며, 9월 21일 2차 조정이 결렬되면 파업 찬반 투표에 들어갈 예정입니다.
Apple, 'M8' 칩 기반 AI 서버로 서버 시장 복귀 검토 — Nvidia 네트워킹 도입 논의
The Information 보도에 따르면 Apple이 'M8' 시리즈 칩 기반 AI 서버를 외부 고객에게 판매하는 방안을 검토 중이며, 칩 간 연결을 위해 Nvidia의 NVLink Fusion 도입을 논의하고 있습니다. 실현되면 2011년 Xserve 단종 이후 사라졌던 Apple의 서버 사업이 부활하는 것으로, 추론(inference) 워크로드를 자체 장비에서 돌리려는 기업을 겨냥합니다. 예상 출시 시점은 2029년이나 취소될 가능성도 남아 있습니다.
Pixel 10의 C2PA 서명 위조 — AI 이미지에 '진짜 카메라 서명'을 붙이는 방법
Hacker Factor의 Neal Krawetz가 연구자 retr0id와 함께 Pixel 10의 C2PA 콘텐츠 자격증명 서명을 위조하는 방법을 공개했습니다. 루트 권한을 얻은 뒤 StrongBox/TEE의 서명 프로그램에 임의 데이터를 넘기는 Confused Deputy 공격으로, AI 생성 이미지도 'Pixel 카메라 촬영본'이라는 Google의 유효한 서명을 받을 수 있습니다. Google은 이를 'Won't Fix (Infeasible)'로 종결했습니다.
데이터센터 건설 붐, '쓰나미'급 전자폐기물을 만들 것 — 보고서
비영리 환경단체 Basel Action Network(BAN)의 새 보고서가 AI용 데이터센터 건설 붐이 향후 25년간 전자폐기물 연간 발생량을 세 배로 늘릴 것이라고 전망했습니다. 2030년까지 연간 최대 1,300만 톤의 폐기물이 발생할 것으로 추정되며, 납·수은·카드뮴 같은 유해물질과 회수가 어려운 유가금속이 포함되어 있지만 처리 계획은 사실상 없다고 지적했습니다.
Intelligence per Watt: 로컬 AI의 지능 효율을 측정하다
LLM 질의가 중앙 클라우드의 프론티어 모델에 집중되는 현 구조의 한계를 짚고, 소형 로컬 모델과 로컬 가속기가 수요를 분산할 수 있는지를 검증한 연구입니다. 저자들은 정확도를 전력으로 나눈 'intelligence per watt(IPW)'라는 통합 지표를 제안하고, 20개 이상의 로컬 모델·8종의 가속기·100만 건의 실제 질의를 측정했습니다. 로컬 모델이 질의의 88.7%에 성공적으로 답하며, 2023~2025년 사이 IPW가 5.3배 향상됐다는 결과를 보고합니다.
Colibrì — 가진 하드웨어로 프런티어 MoE 모델을 돌리는 순수 C 추론 엔진
Colibrì는 744B~2.8T 규모의 MoE 모델을 일반 소비자 하드웨어에서 실행하는 순수 C 추론 엔진입니다. VRAM·RAM·NVMe를 하나의 메모리 계층으로 취급하고 라우팅된 전문가(expert) 가중치를 디스크에서 스트리밍해, 빠른 메모리 부족이 속도만 바꿀 뿐 모델의 의미를 바꾸지 않도록 설계되었습니다.