Pirate Face, 삭제된 LLM 모델을 토렌트로 되살립니다

AI 요약

Pirate Face는 LLM(Large Language Model)뿐 아니라 이미지·오디오 모델과 데이터셋까지 Hugging Face에서 가져와 BitTorrent 자석 링크(magnet link)로 배포하는 분산형 인프라입니다. 서비스가 내세우는 목표는 오픈 모델의 가용성이 특정 호스팅 업체나 단일 운영자의 존속 여부에 좌우되지 않도록 하는 것입니다. 현재는 Hugging Face에 있는 모델을 대상으로 하며, Apache-2.0 및 MIT 라이선스 모델을 중심으로 실시간 동기화해 토렌트로 등록합니다.

■ Hugging Face를 웹 시드로 사용하는 다운로드 구조

각 모델의 토렌트에는 Hugging Face 파일을 가리키는 웹 시드(web-seed)가 포함됩니다. 웹 시드는 BitTorrent 사양 BEP-19에 정의된 일반 HTTPS URL로, 토렌트 안에 원본 파일의 다운로드 주소를 함께 기록하는 방식입니다. 따라서 모델이 Hugging Face에 남아 있는 동안에는 피어가 하나도 없어도 Hugging Face에서 직접 파일을 받을 수 있습니다. Pirate Face 설명에 따르면 이때에도 기존 Hugging Face 다운로드와 동일한 가중치를 사용합니다.

Hugging Face에서 모델이 삭제되면 웹 시드가 더 이상 동작하지 않고, 다운로드 경로가 토렌트 피어(peer)로 넘어갑니다. 이미 파일을 보유한 사용자가 시딩(seeding)을 계속하고 있다면 모델은 ‘Rescued’ 상태로 표시되며, 중앙 호스트가 사라진 뒤에도 스웜(swarm)을 통해 배포됩니다. 즉 처음부터 모든 트래픽을 피어 네트워크에 의존하는 것이 아니라, 원본 호스트가 살아 있을 때는 기존 경로를 활용하고 원본이 사라지는 순간 P2P 배포로 전환하는 구조입니다.

■ Hugging Face SHA-256으로 미러 파일 검증

미러링된 모델에서 변조된 가중치를 받지 않는 것도 핵심 기능으로 제시합니다. Pirate Face는 각 파일에 Hugging Face가 제공한 공식 SHA-256 해시를 기록합니다. 사용자가 어느 위치에서 파일을 내려받더라도 계산한 해시가 공식 값과 일치해야 하므로, 단순히 동일한 파일명이나 모델 페이지를 복제한 것만으로는 원본 가중치인 것처럼 배포할 수 없습니다. 모델 페이지를 열면 Hugging Face 체크섬이 존재하는 경우 해당 정보가 기록되며, 토렌트가 실제로 등록되고 시딩되는 것과 모델 목록에 표시되는 것은 별개의 과정이라고 설명합니다.

Hugging Face에 더 이상 남아 있지 않지만 살아 있는 복사본을 가진 사용자는 소스 증거와 함께 피어 전용 자석 링크를 제출할 수 있습니다. 이 경우 로그인한 뒤 고정된 리비전(pinned revision), 파일 체크섬, 라이선스 증거를 제출해야 합니다. Pirate Face는 고정 리비전의 Hugging Face LFS 해시와 일치하면 즉시 목록에 올리고, 불일치하거나 원본이 사라진 출처는 검토 대기열로 보냅니다. 현재 직접 제출이 허용된 범위는 MIT와 Apache-2.0이며, 승인된 Kimi-K3 예외도 포함됩니다.

■ 기존 모델 파이프라인과 계정 정책

서비스는 기존 도구의 경로와 API를 유지한 채 엔드포인트만 바꾸는 사용 방식을 제시합니다. 안내된 예시는 `HF_ENDPOINT=https://pirateface.co`를 설정해 모델 해석 요청을 Pirate Face로 보내는 방식이며, Hugging Face가 제공되는 동안에는 Hugging Face에서, 이후에는 토렌트 스웜에서 파일을 받도록 하는 구상입니다. 서비스 설명은 “동일한 경로, 동일한 API, 코드 변경 없음”을 강조합니다.

모델을 탐색하고 다운로드하거나 시딩하는 데 계정은 필요하지 않습니다. 계정 사용자는 `pirateface.co/yourname` 형태의 공개 핸들을 예약할 수 있으며, 같은 이름의 Hugging Face 계정이나 조직을 연결해 본인임을 검증하면 크리에이터 배지를 받을 수 있습니다. 이름만 예약한 상태는 소유권을 증명하지 않으며, 실제로 일치하는 Hugging Face 소유자가 검증을 완료하면 해당 핸들을 되찾을 수 있습니다. 예를 들어 Hugging Face 계정이 `john123`이면 `john123`을 검증할 수 있지만 `john`을 검증할 수는 없습니다.

현재 모델을 Pirate Face에 올리려면 먼저 Hugging Face에 계정과 모델이 있어야 합니다. Hugging Face에 먼저 업로드하지 않고 직접 게시하고 관리하는 기능은 향후 계획으로 제시되어 있으며 아직 제공되지 않습니다. 서비스는 참여를 기록하는 포인트도 운영하지만, 포인트는 금전이나 컴퓨트 크레딧 잔액이 아닙니다. 적격 핸들 1개에 대한 웰컴 포인트, 신규 계정의 첫 핸들에 대한 추천 포인트, 검증된 핸들이 구조한 모델마다 25포인트를 제공하며, 시딩 보상은 아직 활성화되지 않았습니다. 무료 컴퓨트 크레딧과 독점 모델 배포 같은 계정 혜택은 향후 제공 예정이고, 별도 토큰은 없다고 명시합니다.

■ 장기 시딩에 대한 커뮤니티의 검증과 우려

Hacker News에서는 오픈 모델 가중치 배포에 토렌트를 사용하는 발상이 적합하다는 반응이 많았습니다. 동시에 공개 토렌트가 시간이 지나면서 시더를 잃고 사라지는 문제, BitTorrent V1의 장기 시딩 불편, BitTorrent V2의 낮은 사용률이 실제 지속성의 조건으로 지적됐습니다. Pirate Face의 핵심 주장은 토렌트 파일을 만드는 데 그치지 않고, 여러 참여자가 실제로 파일을 보유하고 시딩해야 삭제 이후에도 스웜이 유지된다는 전제를 갖습니다.

■ Hacker News 반응

• @kevinsimper — 꽤 영리한 방식입니다. 토렌트는 더 많은 것에 사용됐어야 하고, 이건 완벽한 사용 사례입니다.

• @phoyd — 토렌트는 정말 AI 모델 가중치를 배포하는 기본 방식이 되어야 합니다. 왜 Hugging Face 같은 단일 장애 지점에 의존해야 합니까? BitTorrent는 정확히 이런 용도로 만들어졌습니다.

• @TeMPOraL — 네, 저는 이미 이런 용도로 사용되고 있다고 생각했습니다. 이게 새 소식이라는 점이 놀랍지만, 동시에 다행이기도 합니다.

• @Oxodao — 제가 기억하기로 Mistral이 예전에 그렇게 했던 것 같은데, 지금도 그런지는 확실하지 않습니다. 수정합니다. 네, 실제로 했지만 더 이상 그런 방식은 아닌 것 같습니다.

• @CodesInChaos — 제 경험상 공개 토렌트는 오래될수록 자주 죽습니다. BitTorrent V1은 장기 시딩을 번거롭게 만들고, BitTorrent V2는 거의 사용되지 않는다는 점도 도움이 되지 않습니다.

원문: Pirate Face / 번역·요약: Trawling