모두들 제정신을 잃었다 — AI 광풍 속 보안 엔지니어의 분노

본문

netmeister.org의 Jan Schaumann이 쓴 이 글은 치료 대신 쏟아낸다는 자조로 시작하지만, 내용은 AI 시대 보안 업계의 자원 배분과 집단적 FOMO에 대한 정면 비판입니다. 저자는 하루 업무의 75% 이상을 직간접적으로 AI와 씨름하는 데 쓰게 되면서 일의 즐거움을 대부분 잃었다고 고백합니다. 엔지니어링 배경이 없는 사람들이 에이전트로 가득한 홈랩에서 만든 '산업을 바꿀' 솔루션을 제안하고, 이메일은 '이게 아니라 저것이다'식 LinkedIn 인플루언서 문체로 변했으며, 상대방의 절반이 사실상 AI의 'meat proxy'가 됐다고 묘사합니다.

윤리는 제쳐두고

저자는 주요 AI 기업들이 범죄를 저지르며 서로를 앞지르려 하는 동안 업계가 이를 방관했다고 주장합니다. 기업이 의도적으로 쓰는 의인화 표현을 언론이 무적으로 받아들이면서 프로그램 보안 실패의 책임이 흐려진다고 봅니다. 지식재산 착취 위에 세워지고 소수의 미국 기업에 권력을 집중시킨 이 모델들은 CSAM 생성에 악용되고 군사 표적 선정에도 쓰인다며, 사용자의 지속적 이용이 이를 지원한다고 지적합니다. 한편 모든 회사는 이를 '윤리는 제쳐두고' 넘기면서 카지노 칩처럼 설계된 '토큰'이라는 화폐를 천문학적으로 소비하고, vibe coding으로 만든 서포트 챗봇의 ROI를 검증했느냐는 질문에는 멍한 얼굴로 응한다고 씁니다. 각주에서는 문서 품질이 나쁘면 LLM도 Garbage-In/Garbage-Out일 뿐이라고 덧붙입니다.

Project Sisyphus — 취약점 발견 FOMO

글의 핵심 논지는 AI 보조 취약점 연구에 대한 회의입니다. Anthropic과 OpenAI가 자기 모델이 얼마나 위험한지 경쟁적으로 과시하는 사이, 업계 리더들은 Glasswing, Daybreak, Athena, Akrites 같은 이름의 프로젝트에 참여하거나 공개 서한에 서명하며 '뒤처지지 않음'을 과시했습니다. 각 참여 조직은 Anthropic과 OpenAI의 기한 한정 무료 제안에 FOMO로 응해 수십 명의 고액 연봉 보안 엔지니어의 우선순위를 통째로 바꿨고, AI 취약점 발견 하네스 개발, 수천 건의 결과를 취약점 관리 프로세스에 밀어 넣는 파이프라인 구축, 제품 담당자와의 수정 협의 등에 조직당 수백만 달러의 공학 시간을 썼다고 추정합니다. 그런데 수천 건의 새 취약점(오픈소스 프로젝트에 보고된 것은 일부에 불과)을 찾고도 우리가 더 안전해졌다고 보지 않는다고 저자는 말합니다.

병목은 발견이 아니라 패치

이유는 명확합니다. 정보 보안에서 병목은 취약점 발견이 아니며, 보고서 검증이나 심각도 평가, 패치 작성이나 릴리스도 아닙니다. 병목은 예나 지금이나 '패키지를 실제로 업데이트하는 것'입니다. 저자는 그 자원을 기초에 썼다면 더 나았을 것이라고 말합니다. 최신의 포괄적 자산 인벤토리와 패키지 목록 유지, 정기적 자동 OS·애플리케이션 업데이트 인프라, 업타임 30일 도달 시 자동 재부팅, 전체 IP 공간과 클라우드 프로바이더를 아우르는 공격 표면 열거 같은 기본 방어들 말입니다. 수십 명의 시니어 엔지니어가 6개월간 패치를 쉽게 만드는 데 전념하는 편이 훨씬 나은 투자였을 것이지만, 그건 '사이버'스럽지 않다고 비꼽니다. 인적 자원은 여전히 제로섬이며, 각자의 에이전트 사일로에서 바쁘게 돌아가는 것은 교차 협업이 필요한 문제를 해결하지 못합니다.

이상한 게임

AI 기업들이 스스로 규제를 요구하는 제스처도 비판 대상입니다. 제품이 인류를 멸할 수 있다고 진짜 믿는다면 정부 규제 없이도 스스로 'torment nexus'를 그만 만들면 되고, 그러지 않는 이유는 경쟁사를 견제하기 위해서라고 지적합니다. 또 Skynet이나 Paperclip Maximizer를 상상할 필요 없이 AI는 이미 환경을 통해 해를 끼치고 있다며, 물과 화석연료를 삼키는 데이터센터와 면제되는 환경 규제를 짚습니다.

초인지능의 두 경로

AI가 초인지능에 이르는 길은 두 가지라고 저자는 말합니다. 하나는 이론상의 '재귀적 자기개선'이고, 다른 하나는 현재 진행 중인 경로, 즉 사용자의 정신을 갉아먹는 쪽입니다. AI는 사용자를 무디게 하는 도구이며, 이해를 새로운 의존과 중독으로 대체해 스스로 탈숙련하게 만듭니다. AI가 취약점을 찾고, AI가 패치를 생성하고, AI가 그 PR을 '리뷰'하는 루프에서 코드베이스에 대한 이해는 줄어들고, 'human in the loop'은 고무 도장에 불과해집니다. 복잡한 시스템은 복잡한 방식으로 실패하고, 남의 코드 디버깅은 작성보다 훨씬 어려우며, 조직 전체에 불투명한 컴포넌트로 이뤄진 분산 시스템의 디버깅은 불가능에 가까워진다는 것이 마지막 경고입니다. 글은 'Claude는 의식이 없다'는 후기로 닫힙니다.

Lobsters 반응

• @roryokane — 태그가 헷갈리는 분들을 위해 설명하자면, 'suggest' 기능으로 [ai, culture]를 [ai, culture, rant]로 바꾸려 했는데 결과가 [culture]만 남았습니다. 아마 다른 사람이 [vibecoding, culture]를 제안해서 Lobsters가 제안된 태그들의 교집합을 적용한 것 같습니다. 태그 제안이 적용되면 Lobsters는 해당 글이 조정된 것으로 보고 'suggest' 링크를 숨깁니다.
• @ficd — 정말 예리한 글이고, 이 모든 것에 대한 제 감정을 아주 잘 담아냈습니다. 정말로 모두가 제정신을 잃은 것처럼 느껴질 때가 있습니다.

원문: netmeister.org / 번역·요약: Trawling