Microsoft BitNet — 1비트 LLM 추론 프레임워크

AI 요약

BitNet은 1.58비트 모델인 BitNet b1.58을 비롯한 저비트 대규모 언어 모델(LLM)을 CPU와 GPU에서 실행하는 공식 추론 프레임워크입니다. llama.cpp를 기반으로 하며, T-MAC에서 발전한 Lookup Table 방식의 최적화 커널을 사용합니다. 프로젝트는 모델의 삼진 가중치와 이에 맞춘 커널을 활용해 추론 속도와 에너지 효율을 높이는 접근을 소개합니다.

CPU 추론 성능과 에너지 소비

프로젝트의 기술 보고서에 따르면 bitnet.cpp는 전체 정밀도 모델과 비교해 ARM CPU에서 1.37~5.07배, x86 CPU에서 2.37~6.17배 빠르게 동작합니다. 에너지 소비는 ARM에서 55.4~70.0%, x86에서 71.9~82.2% 줄었다고 보고합니다. 모델 크기가 클수록 ARM에서 얻는 속도 향상이 커진다고 설명합니다. 100B 규모 BitNet b1.58 모델을 단일 CPU에서 초당 5~7토큰으로 실행한 사례도 제시합니다. 이는 사람이 읽는 속도와 비슷한 수준이라고 프로젝트는 설명합니다.

BitNet-b1.58-2B-4T는 공식 모델로, 2.4B 파라미터를 4조 토큰으로 학습했습니다. 프로젝트 설명에 따르면 비슷한 크기의 전체 정밀도 모델과 경쟁력 있는 성능을 유지하면서 CPU 추론 속도와 에너지 효율을 높이는 것을 목표로 합니다. 공식 GPU 추론 커널도 제공하며, 대화형 실행 모드도 지원합니다.

임베딩 모델과 적용 범위

프로젝트는 BitNet-embedding-0.6B와 BitNet-embedding-270M도 공개했습니다. 둘 다 임베딩 작업을 위한 1비트 모델이며, x86 CPU에서 I2_S 변환과 최적화 커널을 지원합니다. 8개 스레드로 프롬프트를 처리한(prefill) 성능을 F16과 비교했을 때, 0.6B 모델은 1.42~2.28배, 270M 모델은 1.32~1.74배 빠르다고 보고합니다. 임베딩 품질은 경쟁력 있는 수준이며, 가중치당 2비트로 손실 없는 추론을 제공한다고 프로젝트는 소개합니다.

공개된 지원표를 보면 모델과 CPU 아키텍처에 따라 사용할 수 있는 커널이 다릅니다. 공식 2.4B 모델은 x86에서 I2_S와 TL2, ARM에서 I2_S와 TL1을 지원합니다. 임베딩 모델은 현재 x86의 I2_S를 지원하며 ARM 커널은 표시되어 있지 않습니다. 프로젝트는 CPU와 GPU 추론을 제공하고 NPU 지원은 향후 계획으로 적었습니다.

2026년 공개 항목에는 BitNet 임베딩 모델 외에도 BitNet I2_S 양자화를 사용하는 VibeASR.cpp가 포함됩니다. 프로젝트는 이 CPU 기반 다국어 실시간 음성 인식 엔진이 x86 AVX2와 ARM NEON에서 적은 스레드로 실시간 계수(RTF) 1 미만을 달성했다고 발표했습니다.

빌드와 실행

직접 빌드하려면 Python 3.10 이상, CMake 3.22 이상, Clang 18 이상이 필요합니다. 저장소를 재귀 복제한 뒤 의존성을 설치하고, Hugging Face에서 GGUF 모델을 내려받아 setup_env.py로 실행 환경과 양자화 커널을 준비합니다. 문서의 예시는 -q i2_s 옵션으로 I2_S 변환을 선택합니다. 이후 run_inference.py에 모델 경로와 프롬프트를 지정해 추론하며, 스레드 수와 컨텍스트 크기, 생성 토큰 수를 조절할 수 있습니다. 대화형 모드도 옵션으로 켤 수 있습니다.

성능 측정에는 e2e_benchmark.py를 사용합니다. 모델 경로와 프롬프트 토큰 수, 생성 토큰 수, 스레드 수를 인자로 지정합니다. 공개 모델 레이아웃과 다른 구성을 시험하려면 더미 모델 생성 스크립트로 모델을 만든 뒤 벤치마크를 실행할 수 있습니다. Windows에서는 Visual Studio 2022 개발자 명령 프롬프트나 PowerShell을 사용해야 하며, 문서는 Clang과 Visual Studio 도구가 제대로 초기화됐는지 확인하는 방법도 안내합니다.

원문: GitHub / 번역·요약: Trawling