Carbon-X is an open 14.8B model trained jointly on DNA and text [R]
DNA와 텍스트를 함께 학습한 오픈 148억 파라미터 모델 Carbon-X
Hugging Face Bio가 DNA 서열과 자연어를 함께 학습한 148억 파라미터 모델 Carbon-X를 공개했습니다. 자체 벤치마크 5종 평균은 추론 기능을 끈 상태에서 66.7%이며, 80GB GPU 한 대에서 실행할 수 있지만 임상 검증은 거치지 않았습니다.
- 주제
에디터 노트
Carbon-X의 장점은 서열을 자연어 질의와 함께 로컬 모델에 넣을 수 있다는 점과, 공개된 시험에서 일부 변이 과제와 다음 염기 예측이 강했다는 점입니다. 다만 평균 점수는 프런티어 모델 GPT-6.1 Sol보다 낮고, 과제별 편차도 큽니다. 스플라이스 부위와 히스톤 표지 점수는 낮으며, 자체 구성 벤치마크도 포함됩니다. 댓글은 비공개 변이 데이터에서 성능이 유지되는지 질문하지만 답이나 검증 결과는 없습니다. 따라서 이 자료가 뒷받침하는 범위는 연구용 DNA 모델과 로컬 실행 가능성까지이며, 임상 활용이나 새로운 데이터에 대한 일반화는 확인되지 않았습니다.
AI 요약
Hugging Face Bio가 공개한 Carbon-X는 Qwen3-14B를 바탕으로 DNA와 자연어를 함께 학습한 148억 파라미터 decoder-only 언어 모델입니다. 별도 DNA 인코더 없이 하나의 토큰 스트림에서 두 종류의 입력을 처리하며, 텍스트에는 Qwen3 BPE 어휘를 쓰고 DNA는 겹치지 않는 6-mer 토큰으로 변환합니다. 기본 설정에서는 6개 이상의 A, C, G, T 염기 연속 구간을 DNA로 감지합니다. 모델은 변이의 병원성 예측, 서열 특징 분류, 다음 염기 예측 등을 영어로 답하고 DNA와 자연어를 함께 출력할 수 있습니다.
학습과 실행
기반 모델에 DNA 토큰을 추가한 뒤 새 토큰 임베딩만 약 100억 토큰으로 학습하고, 전체 모델을 풀어 3,020억 토큰을 추가 학습했습니다. 학습 데이터는 원시 DNA 55%, 영어 20%, 생물학 문서 15%, 지시 데이터 10%로 구성했습니다. 이후 지도 미세 조정과 검증 가능한 보상을 사용하는 강화학습을 진행했습니다. 추론 기능은 끈 상태로 미세 조정하고 평가했으며, 작성자는 이 설정을 권장합니다.
모델은 bfloat16 기준 80GB GPU 한 대에 적재할 수 있고 Transformers v5 이상 또는 vLLM으로 실행합니다. 사용자 정의 DNA 토크나이저를 쓰므로 Transformers에서는 trust_remote_code=True가 필요합니다. llama.cpp와 GGUF 런타임은 해당 토크나이저를 지원하지 않아 사용할 수 없습니다. 컨텍스트 창은 40,960토큰이며, 학습 중 입력 길이는 8,192토큰이었습니다.
벤치마크 결과
작성자가 공개한 DNA 벤치마크 5종 평균은 66.7%입니다. 비교 대상인 GPT-6.1 Sol은 67.5%, 기반 모델 Qwen3-14B는 평균 39.7%입니다. Carbon-X는 코딩 영역 변이 효과 예측에서 74.9%, 다음 염기 예측에서 39.4%를 기록해 표에 제시된 비교 모델 중 가장 높았습니다. 복합 변이 효과 예측은 85.1%로 Opus 5.5의 94.8%보다 낮고, 단일 염기 변이 효과는 70.4%로 Opus 5.5의 76.2%보다 낮습니다. GenomeQA 세부 항목에서는 생물군 분류가 93.2%, 모티프 식별이 90.0%였지만 스플라이스 부위는 29.8%, 히스톤 표지는 34.6%였습니다. 평가에는 문제당 한 번의 응답을 사용했습니다. Carbon-X 자체 벤치마크 일부는 공개 문헌 자료가 아닌 작성자가 구성한 FrontierVEP와 NextBase입니다.
비용과 제약
Hugging Face Bio는 자사 측정 처리량과 시간당 GPU 비용을 바탕으로 ClinVar의 의미 불확실 변이 240만 건 분석 비용을 약 300달러로 추정했습니다. 비교한 프런티어 모델 비용은 3만 2,000달러에서 400만 달러라고 밝혔습니다. 다만 이 비용 추정은 제시된 작업과 설정에 따른 것이며, 해당 모델은 임상 검증을 거치지 않아 의료 판단에 쓰면 안 됩니다. 긴 서열에서 염기 수 세기, 좌표 찾기, 서열 편집은 틀릴 수 있어 작성자는 정확한 연산을 코드에 맡기라고 안내합니다. 긴 DNA 생성 품질도 저하되며, 40,960토큰 전체 길이에 가까운 입력은 충분히 평가하지 않았습니다.
Reddit 반응
- @jatingargiitk — Carbon-X는 일반 채팅에서 원시 DNA를 입력받아 영어로 답하는 148억 파라미터 decoder-only 모델입니다. 텍스트와 DNA에 하나의 토큰 스트림을 공유하며 6-mer 토큰을 쓰고, 3,020억 토큰으로 중간 학습했습니다. Hugging Face는 추론 기능을 끈 상태에서 DNA 벤치마크 5종 평균 66.7%를 보고했습니다. GPT-6.1 Sol은 67.5%입니다. 가중치는 bfloat16 기준 80GB GPU 한 대에 들어가고 Apache 2.0 라이선스입니다. 임상 검증은 되지 않았으며 정확한 서열 연산은 계속 코드로 처리해야 한다고 모델 카드에 적혀 있습니다. 민감한 데이터셋을 대상으로 로컬에서 분석할 수 있다는 점이 유용합니다. 비공개 변이 데이터셋에서도 벤치마크 성능 향상이 유지되는지 시험한 사람이 있나요?
원문: Hugging Face Bio / 번역·요약: Trawling