전문성의 착각

AI 요약

저자는 엔비디아 CEO 젠슨 황과 에즈라 클라인의 최근 인터뷰를 들으며, AI 재난을 우려하는지에 따라 황의 답변을 다르게 받아들일 수 있다고 말합니다. 황은 제품 책임법 같은 기존 규제가 AI 기업에 책임을 물을 수 있다고 설명했지만, 저자는 클라인이 AI 전문성에 기대어 질문을 이어갈 때 그 전문성이 어디까지 유효한지 충분히 따져 묻지 않았다고 봅니다.

전문 분야를 벗어난 예측

클라인은 AI 초기 연구자 제프리 힌턴 같은 전문가의 권위를 거듭 언급합니다. 황은 힌턴이 과거 예측에서 틀렸다고 지적했지만, 저자는 왜 그 예측이 빗나갔는지 더 설명할 기회를 놓쳤다고 말합니다. 문제는 미래를 정확히 내다보지 못했다는 데 그치지 않습니다. 힌턴이 자기 전문 분야를 벗어난 주장까지 권위 있게 말한 점이 문제라고 봅니다.

저자는 힌턴이 2016년에 2021년이면 방사선과 의사가 사라질 것이라고 예측한 사례를 듭니다. 힌턴은 당시 방사선과 의사 양성을 더는 하지 말아야 한다고도 말했습니다. 하지만 방사선과 의사의 업무는 진단 영상 판독에만 그치지 않습니다. 영상 판독을 더 빠르고 정확하게 만드는 기술이 등장해도 방사선과 의사의 역할이 사라지는 것은 아닙니다. 오히려 의사가 전문성을 환자 진료에 더 잘 활용하도록 돕습니다. 저자는 실제 업무를 묻지 않은 채 경고부터 내놓은 것이 예측의 오류를 드러낸다고 설명합니다.

재난은 여러 분야의 연결에서 생깁니다

저자는 이런 오류를 ‘전문성의 착각(Fool’s Expertise)’이라고 부릅니다. 대규모 언어 모델(LLM) 같은 한 종류의 시스템을 다룬 경험이 다른 분야까지 판단할 권한을 주지는 않습니다. 하지만 클라인 같은 인터뷰 진행자는 서로 다른 전문 분야를 구분하지 않고 전문가라는 지위 자체에 기대곤 한다고 지적합니다.

재난을 논할 때 이 착각은 특히 위험합니다. 재난은 여러 영역을 가로지르는 긴 인과관계와 각 단계의 상호작용에서 발생할 수 있습니다. 한 연결고리를 깊이 이해한다고 해서 전체 경로까지 안다는 뜻은 아닙니다. 저자는 미국 국가교통안전위원회(NTSB)가 사고 조사팀에 여러 분야 전문가를 포함하는 이유도 여기에 있다고 설명합니다. 대형 사고는 여러 분야의 실패가 맞물리고 연쇄적으로 번져 시스템 전체의 고장으로 이어질 수 있습니다.

실제 위험 경로를 아는 전문가를 찾아야 합니다

AI가 사이버 보안 위협인지 묻는다면 사이버 보안 전문가와 이야기해야 합니다. 저자는 OpenAI 시스템의 탈출 사례로 거론된 사건도 실제로는 평범한 격리 실패에 기대고 있었다는 점을 이들이 짚을 것이라고 말합니다. AI가 새로운 병원체를 만들어낼 수 있다는 우려에는 바이러스 합성 전문가의 판단을 들어야 합니다. 핵무기 탈취가 걱정이라면, 수십 년간 핵전쟁 가능성에 대비해 쌓아 온 안전장치와 전문 지식을 참고해야 합니다.

저자는 현실 세계의 위험이 없다고 주장하지 않습니다. 다만 제시된 위험 경로를 하나씩 따라가 보면 위험은 더 분산되고 여러 단계에 걸쳐 약해진다고 말합니다. 이런 경로를 진지하고 차분하게 살펴볼 자료로 RAND의 마이클 버미어, 에밀리 래스로프, 앨빈 문의 보고서 《On the Extinction Risk from Artificial Intelligence》를 소개합니다.

RAND 연구진은 위험 분석과 불확실성 속 의사결정 전문가 2명, 핵무기 전문가 2명, 생명공학 전문가 6명, 기후변화 전문가 1명 등 11명과 논의했습니다. 반면 AI의 미래 역량을 예측하는 일을 가급적 피하기 위해 AI 전문가를 의도적으로 참여시키지 않았습니다. 연구진은 각 시나리오에서 특정 결과를 내기 위해 AI가 어떤 역량을 갖춰야 하는지에 초점을 맞췄습니다. 저자는 관련 분야 전문가를 통해 위험 경로를 따진 RAND의 분석에, 프런티어 AI 연구소에서 나온 종말론적 예측보다 더 큰 무게를 둬야 한다고 주장합니다.

Lobsters 반응

• @gnyeki — 좋은 관점입니다. 재난은 거의 정의상 여러 분야를 가로지르는 긴 인과관계를 포함하므로, ‘전문성의 착각’은 특히 위험합니다. 연결고리 하나를 완전히 이해한다고 전체 사슬까지 이해하는 것은 아닙니다. 박사 과정을 하며 배울 수 있는 게 하나 있다면, 인간의 직관은 얼마나 틀릴 수 있는지와 새로운 것을 제대로 이해하려면 얼마나 많은 노력이 필요한지입니다.

원문: bcantrill.dtrace.org / 번역·요약: Trawling