A 10-year-old CNN outperforms frontier LLMs for skin cancer diagnosis
10년 된 CNN, 피부암 진단에서 최신 LLM보다 높은 정확도
피부 병변 200건을 대상으로 한 비교에서 피부 영상으로 미세 조정한 Inception v3가 GPT-6 Astra와 Claude Fable 5.1보다 정확한 진단을 더 자주 내렸습니다. 다만 표본이 작고 생검 확진 사례만 포함해 실제 진료 성능을 입증한 결과는 아닙니다.
- 주제
에디터 노트
이 비교에서 설득력 있는 결과는 특화된 영상 분류기가 이 표본의 진단 정확도에서 범용 LLM을 앞섰다는 점입니다. 그러나 200건 모두 생검된 어려운 사례이고 흑색종은 30건뿐이라, 수치만으로 실제 진료에서의 안전성을 판단할 수 없습니다. 댓글에서도 이 표본과 실제 입력 분포의 차이를 지적했으며, 다른 이용자는 별도 데이터셋에서 민감도와 특이도를 확인해야 일반화 여부를 가릴 수 있다고 반박합니다. 본문 역시 최신 임상 모델과의 비교가 아니며 LLM은 각 사례를 한 번만 평가했습니다. 따라서 이 결과는 범용 모델을 진단 전용 분류기와 같은 기준으로 쓰기 어렵다는 근거이지, CNN이 진료를 대체한다는 근거는 아닙니다.
AI 요약
피부암 진단에 특화해 미세 조정한 2015년 공개 CNN인 Inception v3가 두 최신 LLM보다 피부 병변 진단에서 높은 정확도를 기록했습니다. 실험자는 공개 데이터셋 MILK10k에서 병리 조직검사로 확진된 병변 200건을 무작위로 뽑았습니다. 악성 또는 치료가 필요한 병변 100건과 퇴원해도 되는 양성 병변 100건으로 구성했습니다. 모든 병변을 생검한 사례라 임상에서 흔히 보는 병변보다 진단하기 어려울 수 있습니다.
실험 구성과 결과
GPT-6 Astra와 Claude Fable 5.1에는 임상 사진과 피부경 사진을 함께 제공했습니다. 두 사진만 보고 6개 진단명 중 가장 가능성 높은 항목과 차선 항목, 확신도, 생검이나 추적 관찰 없이 퇴원시켜도 되는지를 답하도록 했습니다. 두 모델은 각각 84건과 85건을 맞혀 정확도 42%를 기록했습니다. CNN은 125건, 62%를 맞혔습니다. 첫째 또는 둘째 진단까지 포함하면 LLM은 134건과 138건, CNN은 173건을 맞혔습니다. 흑색종 30건 중 첫 진단으로 맞힌 사례는 GPT-6 Astra 8건, Claude Fable 5.1 11건, CNN 13건입니다.
CNN은 일반 사진으로 사전 학습한 Inception v3의 모든 층을 ISIC Archive의 피부경 및 임상 사진 68,011장으로 미세 조정했습니다. H100 GPU 한 대에서 학습하는 데 약 20분이 걸렸습니다. 평가 대상 병변과 같은 병변 또는 환자의 다른 사진도 학습·검증 데이터에서 제외했습니다. CNN은 두 사진을 모두 분석하되 피부경 사진에 더 큰 가중치를 줬습니다. 모델은 휴대전화 브라우저에서 WebGPU로 실행할 수 있으며, 사진을 서버로 전송하지 않습니다.
두 LLM은 특정 진단을 과도하게 선택하는 경향을 보였습니다. GPT-6 Astra는 실제 25건인 기저세포암을 75건으로 판단했고, 그중 흑색종 30건 중 14건도 기저세포암으로 분류했습니다. Claude Fable 5.1은 실제 20건인 광선각화증을 53건으로 판단했습니다. CNN은 흑색종을 놓친 17건 가운데 8건을 모반, 6건을 지루각화증으로 분류했습니다.
퇴원 판단과 한계
저자가 설정한 기본 기준에서 CNN은 치료가 필요한 병변 100건 중 77건을 퇴원시켰고, 양성 병변 100건 중 76건을 퇴원시켰습니다. 흑색종 30건 가운데 18건을 퇴원 대상으로 판단했습니다. 판정 기준을 LLM과 맞추면 치료가 필요한 병변을 퇴원시킨 수는 98~99건으로 올라갔지만, 흑색종 퇴원 판단도 1~2건으로 줄었습니다. 정확도만으로 안전성을 판단하기 어려운 이유가 드러납니다.
저자는 200건 표본과 흑색종 30건만으로 비슷한 성능을 순위 매기기 어렵고, LLM 답변은 각 사례에서 한 번씩만 실행해 반복 결과의 변동을 반영하지 못했다고 밝혔습니다. MILK10k는 2025년부터 공개돼 LLM의 학습 데이터에 포함됐을 가능성이 있지만, CNN은 이 평가 사례를 보지 않았습니다. 반대로 CNN도 최신 피부암 진단 모델이 아니며, 저자는 임상 시험에서 더 높은 성능을 보인 최신 비전 트랜스포머 앙상블 제품이 있다고 설명합니다. 일반 사진 데이터에서 CNN의 퇴원 판단 AUC는 0.96이었지만 이 어려운 표본에서는 0.86이었습니다. 환자 관점의 질문으로 임상 사진만 보여줬을 때 LLM은 양성 사례를 포함해 거의 매번 진료를 권했습니다.
Hacker News 반응
- @howunfortunate — 기계학습 엔지니어로서 이 글은 유용하지 않다고 봅니다. 작은 데이터셋에서 미세 조정한 CNN과 범용 모델을 비교하고 있습니다.
- @tgv — 프런티어 모델이 모든 과제에서 뛰어나지는 않다는 점을 상기시켜 줍니다. 피부암 영상은 LLM의 내부 표현과 잘 맞지 않을 수도 있습니다.
- @spwa4 — 피부 영상 68,011장으로 미세 조정한 CNN과 범용 LLM을 비교한 셈입니다. 피부암 진단에선 전문 모델이 이길 것이라는 결과가 놀랍지 않습니다.
- @Legend2440 — 학습 데이터와 평가 데이터가 비슷한 분포라면 실제 현장 사진처럼 분포가 다른 입력에 잘 일반화하지 못할 수 있습니다.
- @EagnaIonat — 분류기를 학습하고 분리된 데이터로 평가하는 것은 정상적인 절차입니다. 다른 데이터셋에서도 민감도와 특이도를 확인해야 일반화 여부를 판단할 수 있습니다.
- @lynndotpy — 범용 LLM이 전용 분류기와 비슷한 성능을 내려면 해당 분류기에 접근할 수 있어야 합니다.
- @sungam — CNN이 구식 구조라는 점은 맞지만, 최신 비전 트랜스포머 앙상블은 임상 시험에서 정확도를 입증했습니다.
- @jonex — 환자 기록과 추가 문진을 포함하거나 문신처럼 학습 분포 밖의 요소가 있는 사진을 넣으면 진단 성능이 어떻게 달라지는지 궁금합니다.
- @jacobgorm — 구조가 10년 된 모델이라는 표현과 달리, 모델은 최근에 학습한 것으로 보입니다.
- @infiniteupside — 진단 과제 뒤에서 해석과 위험 관리에는 이미지와 언어를 함께 표현하는 모델이 유용할 수 있지만, 분류 성능을 높이려면 임상 용어보다 이미지 자체의 시각적 특징을 더 살펴야 한다고 봅니다.