Numbat 정규화·합성곱 텐서 633개, 이름 기반 난수로 재현

본문

Aditya Wakharkar의 Hugging Face 공개 계정 @adityawakharkar가 Numbat 체크포인트를 분석한 독립 포렌식 보고서를 공개했습니다. 앞서 Trawling이 다룬 분석은 정규화·합성곱 텐서 43개에서 난수 생성 절차와의 비트 단위 일치를 보고했습니다. 이번 보고서는 같은 계열의 검사를 633개 텐서로 넓히고 전문가 행렬의 양자화 가중치도 살폈습니다. 원 저장소는 Anthropic의 Mythos급 학습 체크포인트라고 주장하지만, 이번 자료는 공개 저장소의 가중치 일부를 조사한 개인 연구입니다.

이번 분석에서 정규화·합성곱 텐서 633개, 총 11,374,080개 값이 비트 단위로 재현됐습니다. 절차는 텐서 이름의 SHA-256 해시에서 난수 생성기의 시드를 만들고 NumPy PCG64로 표준정규 난수를 생성한 뒤, 텐서 종류에 맞게 변환하고 BF16으로 반올림하는 방식입니다. 분석자는 이 값들을 목표 가중치에 맞춰 조정한 매개변수 없이 재현했다고 밝혔습니다. 보고서에 따르면 결과는 115개 레이어에 걸쳐 나타났습니다.

양자화된 전문가 행렬에서는 별도의 검사를 했습니다. 12개 행렬의 비영 E2M1 코드 373,620,632개에서 부호가 이름 기반 난수 흐름의 예측과 모두 일치했고, 이 부호 검사에는 맞춤 매개변수를 쓰지 않았습니다. 이 검사는 코드의 부호 일치를 본 것으로, 양자화 값 전체를 재구성한 결과와 측정 대상이 다릅니다.

또 다른 검사에서는 5개 전문가 텐서의 173,015,040개 코드를 대상으로 삼았습니다. 분석자는 텐서마다 float32 값 하나를 맞추되 최대 4.55%의 행을 사용하고 나머지 행을 시험했습니다. 그 결과 held-out 코드의 99.5085%가 재현됐습니다. 이 값은 텐서별로 조정한 매개변수를 포함한 근사 재현입니다. 따라서 앞서 나온 매개변수 없는 비트 단위 검사와 같은 조건의 결과로 합쳐 읽을 수 없습니다.

분석자는 7.72TB로 표시된 원 저장소를 통째로 내려받는 대신 safetensors 헤더와 시험에 필요한 바이트 범위만 HTTP range 요청으로 읽었다고 설명했습니다. 특정 리비전을 고정했고 원 저장소의 코드는 실행하지 않았습니다. 분석 코드와 재현 스크립트도 공개했습니다.

검사 범위는 체크포인트 일부입니다. 보고서 개요는 184.4 million 매개변수를 재현 대상으로 집계하고, 이를 저장소 인덱스의 6.85 trillion 매개변수 중 0.0027%라고 제시합니다. 이 집계는 11.37 million의 비트 단위 재현과 173.0 million의 근사 재현을 더한 값입니다. 그러나 결론부는 같은 0.0027%를 비트 단위로 검증했다고 표현합니다. 세부 검사표의 구분을 따르면 0.0027%에는 비트 단위 재현과 근사 재현이 함께 포함됩니다.

분석자는 토큰 임베딩 테이블에서 학습된 의미 구조를 관측했다고 밝혔지만 그 임베딩의 출처는 특정하지 못했습니다. MLA 투영과 전문가 라우터, 일부 입력·가중치 스케일 값도 시험하지 않았습니다. 보고서는 체크포인트 전체 조작설을 확인된 결론 대신 가설로 분류하며, 가중치의 출처나 업로더의 신원, Anthropic과의 관계를 이 분석으로 입증할 수 없다고 적었습니다.

이번 결과는 특정 가중치 계열이 텐서 이름에 연결된 난수 생성 방식으로 만들어졌다는 증거를 앞선 분석보다 넓은 범위에서 보탭니다. 이번 검사는 체크포인트 전체의 정체나 출처까지 판별하지 못했습니다.

자료: Hugging Face / 정리·해설: Trawling