머신러닝 엔지니어의 편지 — 프런티어 랩 내부에서 본 LLM의 미래

본문

블로거 Nemin은 어느 날 일회용 이메일 주소로부터 한 통의 메일을 받습니다. 발신인은 자신을 프런티어 AI 랩에서 모델 학습과 RLHF(Reinforcement Learning from Human Feedback)를 담당하는 머신러닝 엔지니어(MLE)라고 밝히며, NDA 때문에 일반론 수준으로만 쓸 수 있다고 전제합니다. 발신 계정은 이후 삭제되어 신원 확인은 불가능하지만, Nemin은 주제의 중요성을 고려해 원문과 자신의 주석을 함께 공개하기로 합니다.

편지의 주장 — "진짜 위협은 해자가 없다는 것"

'G'로 불리는 발신인은 프로그래머의 미래를 걱정하는 Nemin에게 오히려 자신의 일자리가 더 걱정이라고 말합니다. 내부적으로 프로그래밍 태스크에 대한 모델 스케일링의 한계에 도달했고, 자사에서는 1년 사이 다수의 임원이 퇴사했으며 IPO를 둘러싼 스트레스가 실재한다고 전합니다. 핵심 주장은 경쟁적 해자(moat)의 부재입니다. 독점 diffusion 모델은 이미 오픈 웨이트 모델에 상당 부분 대체되었고, 이미지·비디오 생성은 오픈 모델로 충분히 가능해지면서 매출이 하락했고 프런티어 랩들이 조용히 해당 분야 홍보를 멈췄다는 것입니다. 수학 문제 풀이 능력을 계속 과대광고할 수밖에 없는 이유가 여기에 있습니다. Nemin은 이 대목이 OpenAI의 Navier-Stokes 방정식 진전 논란 이후라 더욱 의미심장하게 읽힌다고 덧붙입니다(메일은 OpenAI의 결과 발표 이후에 도착했으므로 예언이 아니라 반응이며, G가 OpenAI 소속이라는 증거도 아니라고 명시합니다).

오픈 웨이트의 추격과 AGI 불가론

G는 LLM이 다음 차례라고 봅니다. Yann LeCun 같은 연구자들이 이미 LLM 너머를 보고 있고, attention 논문 저자 대부분이 Google을 떠나 새 랩과 스타트업으로 흩어졌다고 지적합니다. 효율과 크기의 추세를 보면 1년 내에 'Fable 5.1' 수준 이상의 오픈 웨이트 모델이 나올 것이고, 파라미터 효율 연구가 결실을 맺으면 고급 노트북급 기기에서도 구동될 수 있다고 예측합니다. 또한 Cantor의 대각선 논법으로 LLM으로는 AGI가 수학적으로 불가능하다는 논문을 언급하는데, Nemin은 2024년의 "Hallucination is Inevitable"(환각 없는 LLM, 즉 완벽한 범용 문제 해결기가 불가능함을 증명한 논문)을 지목합니다. 2023년 유출된 Google 내부 메모 "We have no moat, and neither does OpenAI"도 인용되지만, Nemin은 아직까지 폐쇄 모델이 우세이며 소비자 하드웨어용 모델은 성능·비용 면에서 대등하지 않다고 균형을 잡습니다. 다만 Google의 초점이 에이전트에서 검색 경험 재편으로 이동한 점을 볼 때 데이터와 검색의 직접 연결이 Google의 해자일 수 있다고 짚습니다.

오염된 온라인 담론

G는 온라인 논의가 오염되었다고 주장합니다. 하이프를 이끄는 인플루언서와 온라인 강좌 판매자 상당수가 이제 AI 기업의 스폰서십을 받고 있으며, 일부 엔지니어가 '재미 프로젝트'로 에이전트를 배포해 모델 마케팅과 데이터 스크래핑을 수행한다는 것입니다 — G 자신도 그런 방식으로 Nemin의 이메일을 찾았다고 고백합니다. CEO들의 전망은 실제 상황을 모르기 때문에 무시하라는 것이 결론입니다. Nemin은 둠주의와 가속주의 사이에서 온건한 목소리가 묻히는 현실에 동의하며, 대기업 경영진이 '현재의 것(Current Thing)'에 올라타지 않으면 낙오자가 되기 때문에 하이프를 살 수밖에 없는 구조라고 봅니다.

Nemin의 주석 — 에이전트는 비서, 그러나 인간은 여전히 필요

Nemin은 과거 취미 프로젝트에 LLM을 쓰지 않겠다던 자신의 입장이 누그러졌음을 인정합니다. 최근 에이전트의 출력이 무용하지 않으며, 코드베이스를 자유 형식 쿼리로 탐색하는 'vibe searching'은 grep·find로 재현하기 어려운 비서 역할을 해내고, PR 전 pre-reviewer로도 잠재적 null 역참조나 코드와 어긋난 주석 같은 잡음을 걸러줍니다. 그러나 감독 없는 vibe coding은 이해 불가능한 'write-only' 앱을 만들고 유지보수 비용을 기하급수적으로 키우며, 실측 지표 없이 변동하는 토큰 가격이라는 새로운 '공급망'에 자신을 묶는 일이라고 경계합니다. 회사의 최상급 모델조차 LSP가 연결된 상태에서 존재하지 않는 함수를 환각하고, 양쪽 분기에 필요한 코드를 조건문 안으로 옮기고, 명시된 레거시 코드를 스타일로 모방하는 실수를 저지릅니다. 그래서 그는 10~20줄 이상의 생성을 허용하지 않으며, 프로그래밍 직업의 소멸은 기우라고 결론 내립니다. 최근의 'AI 성능 최적화' 해고 물결은 CEO들이 하이프에 매수한 것과 코로나 이후·ZIRP 종료의 고통스러운 정상화가 겹친 결과로 해석합니다.

맺음말 — 믿을 수 있는 것과 남은 질문

Nemin은 G의 말을 부분적으로 신뢰합니다. LLM을 AGI로 도약시킬 은탄환은 없고, CEO들은 블록체인·NFT·닷컴처럼 하이프를 쫓고 있으며, 언젠가 저가 하드웨어에서 구동되는 LLM이 스마트폰처럼 평범해질 것이고, 천문학적 밸류에이션의 대형 랩 일부는 2020년대를 넘기지 못할 것이라는 데 동의합니다. 그러나 메일의 내용은 전부 사후 정보이거나 검증 불가능하므로 신원을 확신할 수 없다고 선을 긋습니다. 아쉬운 점은 G가 미래상을 구체화하지 않았다는 것입니다. 저작권 세탁, write-only 앱과 프로그래밍의 가치 하락, 데이터센터의 환경 피해, AI 생성 ragebait와 허위정보의 범람 — 어느 것도 프런티어 랩이 무너진다고 해결되지 않습니다. 자체 구동 모델들의 학습 데이터는 어디서 오는가, 오픈 웹 스크래핑이 더 심화되는가, AI 랩→NVIDIA→칩 제조사로 도는 자금 순환은 어떻게 되는가, LLM이 정말 약 1.9조 달러 규모의 실수라면 분야는 어디로 향하는가 — 내부자라면 더 나은 추측을 할 수 있었을 질문들이 남습니다.

원문: Lobsters / 번역·요약: Trawling