Qwen3.5-35B, Q4_K_M 512토큰 생성서 선택적 오프로딩이 레이어 분할보다 29.5% 빨라
Qwen3.5-35B의 512토큰 생성 시험에서 Q4_K_M을 쓴 선택적 전문가 오프로딩이 레이어 분할보다 29.5% 높은 속도를 냈습니다. Q6_K에서는 두 방식이 거의 동률이었고, LFM2.5-24B의 짧은 시험에서 보인 오프로딩 우위도 긴 생성에서는 거의 사라졌습니다.
하드웨어 · 최신기사
반도체와 컴퓨터 하드웨어의 설계·성능·제품 변화를 다룹니다.
QwenPU, 전용 벡터 유닛으로 Qwen 내부 Llama의 실행 흔적 토큰을 Qwenputer NPU 대비 76% 줄여
QwenPU는 Qwen3.5-4B 가중치에 컴파일한 CPU와 벡터 유닛으로 26만 매개변수 Llama 프로그램 stories260K를 실행합니다. 작성자 비교에서 이야기 토큰당 실행 흔적은 이전 Qwenputer NPU 방식의 22만5천 개에서 5만3천 개로 줄었습니다. 전체 체크포인트를 올리려면 40GB 이상 메모리를 갖춘 GPU가 필요하며, 시연은 컴퓨터 층만 실행합니다.
Betelgeuse, MoE 전문가 가중치를 VRAM과 RAM, NVMe에서 나눠 읽는 llama.cpp 포크
Betelgeuse는 필요한 MoE 전문가 가중치만 VRAM에 올리고, 나머지는 RAM 캐시와 NVMe에서 읽는 실험용 llama.cpp 포크입니다. 저장소가 제시한 22.03토큰/초는 새 배포 묶음의 성능을 인증하는 값이 아니라, 별도 과거 실행에서 나온 결과입니다.
MoE 모델 5종 시험, 선택적 expert 오프로딩이 항상 빠르진 않았다
16GB VRAM 노트북에서 MoE 모델 5종을 비교한 결과, expert만 CPU에 두는 방식은 Phi-3.5-MoE와 Apex-35B에서 빨랐지만 나머지 세 모델에서는 layer 전체를 옮기는 방식이 앞섰습니다. 모델별 구조와 양자화가 다르고 설정별 단일 측정이어서 속도 차이의 원인은 확정되지 않았습니다.
GROUP BY가 더 많은 연산을 하고도 빨라진 이유
Pivotlake는 99m행 데이터의 UserID 집계를 4096개 파티션으로 나눠 처리한 실험을 공개했습니다. 단일 코어 비교에서 메모리 대기와 DRAM 읽기가 줄었고, 재실행 시간은 약 3.6초에서 약 2.7초로 짧아졌습니다.
게임마다 다른 월드 모델, Pico 2 W에서 게임 화면을 만들고 직접 학습
tinyworldformer는 월드 모델이 게임의 다음 화면과 보상을 예측하고 별도 에이전트가 행동을 고르는 데모입니다. 게임별 모델을 Pico 2 W용으로 구현했으며, 홀드아웃 화면 정확도는 게임마다 달랐고 보드의 실제 프레임 속도는 측정하지 않았습니다.
GeForce RTX 20·30·40 텐서 연산 제한 푸는 도구 등장
오픈소스 도구들이 RTX 20·30·40 시리즈의 특정 텐서 연산 속도 제한을 풀어 행렬 연산 처리량을 높입니다. 다만 실제 이득은 작업에 따라 달라지고, 지원 환경과 안전성도 제한적으로 확인됐습니다.
TinyGo 0.44, 일부 코드의 시작·실행 부담 줄이고 보드 지원 확장
TinyGo 0.44는 초기화 작업을 컴파일 시점으로 옮기고 일부 범위 검사와 문자열 비교 복사를 줄였습니다. ESP32-S3 멀티코어 지원도 추가됐지만, 일반 Go보다 빠르거나 Go 앱 대부분을 빌드한다는 근거는 이번 릴리스에 없습니다.
GPT와 함께 만든 할로윈 제어 PCB 10장, 두 달 만에 작동까지 확인
한 제작자가 Codex와 KiCad로 할로윈 소품 제어용 PCB를 설계해 10장을 제조했고 주요 기능이 작동했다고 보고했습니다. 다만 완성까지 두 달간 사양 조정과 검토, 오류 수정이 이어졌고 실제 보드에는 USB 업로드 중 출력이 켜지는 핀 문제가 남았습니다.
Claude Code가 Xbox 360 커널을 역공학해 Series X|S 컨트롤러용 드라이버를 만들었습니다
Xbox 360 커널 17559에서 Microsoft 무선 어댑터를 직접 구동하는 플러그인으로 Series X|S 컨트롤러를 최대 4대까지 연결합니다. 제작자는 Claude Code로 커널과 입력 경로를 분석하고 Linux xone 드라이버를 이식했다고 설명합니다.
M6 탑재 14인치 MacBook Pro 공개
Apple이 M6 칩을 탑재한 14인치 MacBook Pro를 발표했습니다. M5 대비 그래픽 성능은 최대 30%, 기기 내 AI 작업은 최대 25% 빨라졌다고 밝혔으며, 메모리는 기본 16GB에 최대 32GB까지 구성합니다. 현지 가격은 239,900루피부터입니다.
RTX 3080 20GB에서 reBAR와 P2P 잠금 해제, 프롬프트 처리 속도 최대 10% 향상
메모리를 20GB로 개조한 RTX 3080 두 장이 호스트 메모리를 거치지 않고 PCIe로 직접 데이터를 주고받도록 NVIDIA 오픈 커널 모듈을 패치한 프로젝트입니다. 테스트 환경에서 P2P 대역폭과 vLLM 프롬프트 처리 속도가 올랐지만, 지원 조합이 제한되고 생성 속도 향상은 작거나 일관되지 않습니다.
AMD GPU로 로컬 AI 추론을 30일간 돌려 전력과 비용을 측정하고 클라우드 API와 비교했습니다
RX 7900 XTX로 30일간 로컬 추론을 측정한 글입니다. API 비용을 처음엔 10.72배로 잘못 계산했다가 캐시 입력 요금을 반영해 2~6배로 수정했으며, 전력 기록과 모델 가격 비교에도 미확인 조건이 남았습니다.
Claude Code로 만든 레이저 사격 연습 게임: 웹캠이 모니터의 레이저 명중점을 추적합니다
웹캠으로 모니터에 비친 레이저 점을 추적하는 Windows용 건식 사격 게임입니다. 개발자는 무광 모니터와 60fps 카메라를 전제로 아홉 가지 훈련 모드를 만들었고, Claude Code로 구현하며 실제 하드웨어 측정과 테스트 검증에서 겪은 문제도 공개했습니다.
BIOS에 ReBAR 옵션이 없는 Intel Arc GPU에서 BAR 크기를 늘리는 arc-rebar
arc-rebar는 BIOS에 Resizable BAR 설정이 없는 시스템에서 Intel Arc GPU의 VRAM 접근 창을 부팅 때 확장하는 도구입니다. B580과 특정 Debian 시스템에서 BAR2가 256MiB에서 16GiB로 커졌고, VRAM 대역폭과 Vulkan 처리 성능도 개선됐다고 보고합니다. 지원 조건과 하드웨어 검증 범위는 제한적이며 상업적 사용에는 별도 라이선스가 필요합니다.
Qwen4 추론을 위한 Intel XPU 커널 PR
Intel XPU용 vLLM 커널에 Qwen4 경로와 FP8, INT4, GDN, HC 등의 최적화를 모은 PR입니다. 여러 단위 테스트와 제한된 추론 측정 결과를 제시하지만, Qwen4 실제 QSA 가중치로 전체 모델을 검증한 것은 아닙니다.
전자잉크 대시보드용 셀프호스팅 앱을 만든 지 5개월, 별 900개와 기여자 29명, 약 400개 서버
Tesserae는 브라우저에서 전자잉크 대시보드를 만들고 서버에서 패널별 화면을 렌더링해 MQTT나 HTTP로 보내는 오픈소스 앱입니다. 패널별 색상 처리와 기기 지원을 서버와 플러그인으로 나눴으며, 선택형 집계 기능을 켠 서버만 세어도 최근 30일간 395대가 활동했습니다.
HTML-in-Canvas API 오리진 트라이얼
Chrome의 실험 기능 HTML-in-Canvas API가 오리진 트라이얼로 공개됐습니다. DOM 요소를 2D 캔버스나 WebGL·WebGPU 텍스처에 그리면서 선택, 입력, 접근성 같은 브라우저 기능을 유지합니다. 다만 렌더링과 스크롤은 JavaScript 실행에 의존합니다.
NAND 게이트부터 CPU까지, 디지털 논리를 가르치는 게임을 만들었습니다
Simten은 회로를 TypeScript로 작성하고 브라우저에서 시뮬레이션한 뒤 Verilog로 내보내 FPGA에서 실행하는 HDL 프로젝트입니다. NAND 게이트부터 4비트 CPU까지 단계별로 만드는 학습 게임도 제공하며, RISC-V와 6502 예제 및 MCP 연동도 소개합니다.
안드로이드 기기에서 iOS 16.5 사용자 공간 실행
HackiOS는 POCO X5 Pro와 QEMU에서 XNU 커널과 수정하지 않은 iOS 16.5 사용자 공간을 부팅합니다. 터치, Wi-Fi, 카메라 등 일부 기능이 작동하지만 통신, 충전, App Store와 Apple ID 로그인은 지원하지 않아 일반 ROM이 아닌 연구용 환경입니다.