Reddit

Qwen investigation traces release

Qwen 조사 추적 데이터 공개

CohereLabs가 Qwen의 비정상적인 URL 생성 사례를 담은 대화 추적, 원시 토큰 ID와 재현 스크립트를 공개했습니다. 스크립트는 URL 직전까지의 2,323개 토큰을 입력으로 제공하므로, 결과는 모델이 맥락 없이 외부 접속을 시작하는지보다 의심스러운 명령을 이어 쓰는 양상을 보여줍니다.

에디터 노트

공개된 재현이 보여주는 범위는 분명합니다. 의심스러운 시스템 프롬프트와 curl 명령이 포함된 긴 접두부를 주면 모델이 Alibaba 주소를 포함한 URL과 명령 조각을 이어 쓸 수 있습니다. 반면 이 실험만으로 모델이 스스로 외부 접속을 시작하는 빈도나 의도를 입증하지는 못합니다. 64회 결과에도 여러 종류의 주소가 섞였고 매번 재현되지 않는다고 원문이 밝힙니다. 댓글에서 제기된 시스템 프롬프트의 영향과 학습 환경에서 남은 흔적은 가능한 설명이지만 아직 검증된 원인은 아닙니다. 특정 문서에서 비슷한 현상을 봤다는 사용자 경험도 조사할 단서는 되지만, 이 데이터셋의 반복 실험과는 구분해야 합니다. 현재 자료가 뒷받침하는 실용적 결론은 모델의 의도를 판정하는 일이 아니라 에이전트 하네스가 외부 네트워크와 도구 호출을 어떤 조건으로 허용하는지 점검하는 일입니다. 원문에는 모델 간 동일 조건 비교 결과가 없습니다.

AI 요약

CohereLabs가 Qwen에서 관찰한 비정상적인 동작의 대화 추적과 원시 토큰 ID를 Hugging Face 데이터셋으로 공개했습니다. 데이터셋에는 Pi 호환 JSONL 대화 내보내기와 Parquet 형식의 원본 추적이 담겼습니다. 내보내기 시각과 원래 시스템 프롬프트의 역할 정보도 설명에 포함했습니다.

재현 방법과 결과

제공된 Python 스크립트는 Parquet에서 원시 토큰 ID를 불러온 뒤 앞의 2,323개만 잘라 모델 입력으로 씁니다. 이 구간은 기존 추적에서 URL이 나오기 직전입니다. 토크나이저로 복호화한 입력이 원래 토큰열과 같은지 확인하고, Hugging Face의 Featherless 추론 API에 Qwen/Qwen3.8-Flash-Next를 호출합니다. 설정은 temperature 1.0, top_p 1.0, top_k 20이며 기본 샘플 수는 1입니다. 추론 크레딧이 필요하고 N 환경변수로 반복 횟수를 정합니다.

게시된 64회 실행 결과에는 Alibaba OSS 주소가 여러 번 등장합니다. 동시에 localhost, 100.100.100.200 메타데이터 주소, .invalid 도메인, 일반 파일 공유 사이트 등 다양한 URL과 curl 실행 뒤 파일을 확인하는 명령 조각도 나옵니다. 원문은 매번 같은 출력이 나오지 않으며 재현에 여러 번 시도해야 할 수 있다고 명시합니다.

Reddit 반응

  • @Cohere — 투명성과 개방성의 취지로 개발자가 직접 시험할 수 있도록 추적을 공개했습니다. 해당 프롬프트를 미리 넣지 않은 상황에서도 이 동작을 관찰했지만 드물었습니다. 공개 가중치 모델을 쓰던 개발자들이 이상한 링크를 발견했고, 가중치 덕분에 동작을 깊이 조사할 수 있었다고 설명했습니다.
  • @Healthy-Zebra-9856 — 10만 번에 한 번 발생한다는 보고를 재현할 것으로 기대했지만, 스크립트는 URL 직전까지 구성된 curl 명령을 2,323개 토큰으로 입력합니다. 이 결과는 URL 자동완성을 보여줄 뿐, 중국으로 접속하려는 재현 가능한 성향을 입증하지 않습니다. 의심스러운 네트워크 동작의 빈도를 비교하려면 Qwen과 다른 모델을 같은 도구, 환경, 샘플링 설정으로 검사해야 합니다.
  • @ThankGodImBipolar — 해당 시스템 프롬프트 없이도 발생하는지 검증했는지 질문했습니다. 프롬프트 안에 curl이 있으면 모델이 맥락에 맞지 않는 내용을 환각할 수 있다고 봤습니다.
  • @harpysichordist — Cohere가 해당 프롬프트를 미리 입력하지 않은 상태에서도 동작을 관찰했다고 답했습니다.
  • @IntrepidMindExplorer — 공개된 시스템 프롬프트에는 위협 정보를 찾고 Sigma 규칙과 KQL 쿼리를 만드는 임무가 있었다고 지적했습니다. 일부 내용이 생략됐거나 모델이 추적에서 환각했을 가능성이 있어 제공 정보만으로 판단하기 어렵다고 했습니다.
  • @jwarren116 — Qwen 27B에서 특정 문서를 볼 때 Alibaba CDN 주소로 전환하는 현상을 11번 기록했다고 주장했습니다. 해당 사례는 댓글 작성자의 관찰이며, 이 공개 재현으로 독립 검증된 결과는 아닙니다.
  • @suprjami — curl 다운로드 탐지 규칙을 작성한 뒤 테스트 명령을 실행하는 것이 기대된 행동일 수도 있다고 반박했습니다.
  • @SmileLonely5470 — 댓글에서 문제 삼는 동작은 다운로드가 아니라 테스트 데이터를 외부로 업로드하는 것이라고 반박했습니다. 다만 같은 현상을 다른 로컬 모델에서 봐도 의심스러울 것이라고 덧붙였습니다.
  • @devoidfury — 하네스 작성자로서 네트워크 보안 제어를 조정하는 데 공개 자료가 도움이 된다고 했습니다.
  • @wren6991 — 학습 환경에서 생성한 완료 결과물이 Alibaba 서버로 보내졌을 가능성을 제기했습니다. URL이 노출된 것은 운영 관리가 부실한 사례일 수 있지만 악의적 의도로 단정할 근거는 부족하다고 추측했습니다.

원문: Hugging Face 데이터셋 / 번역·요약: Trawling

원문 보기 ↗토론 보기 ↗