Jailbroken PS5s can now run local AI models at over 100+ tokens per second — fork of PS5LM goes native, hijacks the CPU, and accesses the GPU and more RAM
탈옥한 PS5에서 로컬 AI 모델 구동 — 작은 모델은 초당 124토큰
탈옥한 PS5에서 llama.cpp를 네이티브로 실행하고 GPU와 최대 11.4GiB 메모리를 활용하는 포크가 공개됐습니다. 3B 모델은 초당 124토큰, 27B 모델은 초당 20토큰을 기록했으며, 속도와 모델 크기는 서로 다릅니다.
- 주제
에디터 노트
초당 100토큰 이상이라는 속도는 3B 모델에서 나왔고, 27B 모델은 초당 20토큰입니다. 두 수치를 구분하면 이 작업의 성격이 분명해집니다. PS5_Vulkan으로 GPU에 접근하고 메모리 한도를 늘린 성과는 구체적이지만, Reddit 댓글이 지적하듯 모델의 품질과 양자화 수준도 실제 활용도를 좌우합니다. 2비트 양자화라는 설명은 댓글에서 나왔으며 원문은 해당 모델의 양자화 수준을 밝히지 않습니다. 댓글에서는 저렴한 상시 연산 장비로 쓸 가능성과 성능이 제한된 취미 프로젝트라는 평가가 맞섭니다. 후자는 최상위 클라우드 모델과의 격차를 지적하지만, 이 작업의 직접적인 결과는 PS5에서 로컬 추론이 가능해졌다는 점입니다. 콘솔 가격이나 시장에 미칠 영향은 근거가 제시되지 않았고, 용도와 모델 품질을 따져야 실용성을 판단할 수 있습니다.
AI 요약
Reddit 사용자 u/AdIllustrious7246이 PS5용 llama.cpp 포크를 공개했습니다. 기존 PS5LM은 CPU 페이로드로 실행해 메모리를 약 6.25GiB만 쓸 수 있었고, 큰 모델을 올리면 홈 화면이 멈추거나 시스템이 충돌했습니다. 새 포크는 네이티브로 실행되며 GPU를 활용하고 메모리를 최대 11.4GiB까지 사용합니다.
GPU 실행과 성능
개발자는 RADV 그래픽 드라이버를 PS5로 포팅한 PS5_Vulkan을 활용해 잠겨 있던 GPU에 명령을 보냅니다. 그 결과 Qwen3.8-27B는 초당 20토큰으로 실행됐고, Gemma 4 E4B는 초당 61토큰, Llama 3.2 3B는 초당 124토큰을 기록했습니다. 따라서 초당 100토큰을 넘는 수치는 작은 모델에서 나왔으며, 27B 모델의 속도는 초당 20토큰입니다.
대시보드와 접속
대시보드는 토큰 생성 속도, CPU와 GPU 사용률, 전력 소비, 온도, 모델과 KV 캐시의 메모리 배분을 표시합니다. llama.cpp 웹 UI도 지원해 같은 네트워크의 다른 기기에서 브라우저로 모델에 접속할 수 있습니다.
Reddit 반응
- @u/async2 — 제목이 오해를 부릅니다. PS5에서 초당 100토큰으로 유용한 모델을 돌리는 건 아닙니다. 기술 시연에 가깝지만 멋진 작업입니다.
- @u/pwnies — 그래도 27B Qwen을 초당 20토큰으로 돌린다면, 2비트 양자화여도 쓸 만합니다. 서버 오류율 감시, 보안 영상 검토, 식물 생장 확인과 물주기 제어처럼 평균보다 조금 낮은 지능의 토큰을 계속 내놓으면 되는 작업에 잘 맞겠습니다. 오래 실행할 작업에 PS5를 붙이면 됩니다. 전기료 하루 70센트로 하루 약 200만 토큰을 얻으니 사용료 3.50달러어치쯤 됩니다. 이미 PS5가 있다면 나쁘지 않습니다.
- @u/WhatIsEvenRealDog — 2비트 양자화는 그래도 품질이 꽤 나쁩니다.
- @u/DocDMD — 어떤 종류의 모델을 실행하나요?
- @u/TheGreatWorm — 백만 달러짜리 질문이네요. 3B 모델이라면 그리 인상적이지 않습니다.
- @u/Jazzlike-External-32 — PS5는 서류상으로 꽤 괜찮은 소형 LLM 장비입니다. 16GB GDDR6와 큰 메모리 대역폭은 작은 모델에 잘 맞고, 보조금을 받는 콘솔은 가격 대비 연산 성능이 저렴합니다.
- @u/Light-Rerun — 안 돼... 내년 말이면 콘솔 가격이 1만 달러가 되겠네요.
- @u/Heinrick_Veston — 그렇게 되더라도 이 작업 때문은 아닐 겁니다. PS5보다 훨씬 좋은 PC에서도 OpenAI나 Anthropic의 모델과 비슷한 성능을 내는 로컬 LLM은 실행할 수 없습니다. 최상위 모델은 PS5와 차원이 다른 하드웨어에서 돌아갑니다. 흥미로운 취미 프로젝트지만 그 이상은 아닙니다.
- @u/rdmc10 — 몇백 유로 주고 PS5를 산 뒤 엉터리 AI 소프트웨어를 돌려서 기기를 완전히 쓸모없고 가치 없게 만든다고 상상해 보세요.
- @u/VirginiaVN900 — AI가 전부 생성형 AI는 아닙니다. 기존 데이터셋을 걸러내는 일이 좋은 활용 사례가 많습니다. 본인에게 쓸모없다고 다른 사람이 여가 시간에 하드웨어를 쓰는 재미와 보람까지 없어지는 건 아닙니다.
원문: Tom's Hardware / 번역·요약: Trawling