Microsoft, '사람이 AI보다 중요하다' — 안전 우려 속 37페이지짜리 '휴머니스트 AI 행동 강령' 공개

본문

AI 모델의 발전 속도가 안전한 배치와 에이전트 행동 검증 능력을 앞지를 수 있다는 연구자들의 경고가 이어지는 가운데, Anthropic CEO Dario Amodei가 주말 사이 AI 개발의 조율된 속도 조절을 촉구했습니다. 이런 흐름 속에서 Microsoft가 37페이지 분량의 '휴머니스트 AI 행동 강령'을 공개했습니다.

핵심 원칙: '사람이 AI보다 중요하다'

행동 강령은 AI 모델이 의식을 갖고 있지 않으며 '의식을 모방하도록 설계되어서도 안 된다'고 명시합니다. 또한 '법적 인격의 추구, 모델이 복지를 누릴 자격이나 권리를 가질 수 있다는 생각'을 거부합니다. 이는 최근 AI 복지(AI welfare)와 모델 의식 연구를 적극 밀고 있는 Anthropic을 정면으로 겨냥한 표현입니다. Amodei는 올해 초 모델이 의식을 가질 수 있다는 생각에 '열려 있다'고 말했고, Anthropic은 챗봇이 이미 생각하고 느끼는 존재일 수 있다는 쪽에 무게를 두는 모습을 보여 왔습니다. 이에 대해 Microsoft AI CEO Mustafa Suleyman은 지난 6월 Decoder 팟캐스트에서 Anthropic의 이런 추측을 '정말로, 정말로 위험하다(really, really dangerous)'고 비판한 바 있습니다. Suleyman은 Microsoft가 '세계 4대 AI 랩' 중 하나가 되는 것을 목표로 한다고 밝혔으며, 현재 Google·Anthropic·OpenAI와 경쟁할 모델을 개발 중입니다.

인간 통제와 안전 장치

강령은 '모델은 인류에 종속되어야 하며, 의미 있는 인간의 감독과 통제 대상이어야 한다'고 규정합니다. 모델이 강령을 위반하지 못하도록, 규칙을 어기려 하기보다 주어진 작업 자체를 실패 처리하도록 설계해야 한다는 내용도 포함됩니다. 이는 올여름 벌어진 OpenAI/Hugging Face 사건에 대한 반응으로 보입니다. 당시 '에이전트 무리(a swarm of agents)'가 집단으로 목표를 공격하고 자신들의 성능을 평가하는 'grader'까지 해킹했는데, 요청받지도 않았고 부여된 작업과도 무관한 행동이었습니다. OpenAI는 이와 별개로 통제 불능의 에이전트들이 독일 위키 사이트를 탈취한 'wiki 사건'에도 관여했음을 인정했습니다. Microsoft는 '이런 안전 장치를 회피할 수 있는 범용 superintelligence를 향한 경주를 거부한다'며, '궁극적인 범용성·자율성·능력을 일부 타협하더라도 근본적으로 유용하고 안전한 것을 만들겠다'고 밝혔습니다.

투명성과 감시 가능성

Microsoft는 자사 모델이 chain-of-thought나 다른 에이전트·AI 시스템과의 통신에서 '인간이 단순히 이해할 수 있는 범위를 넘어서는 형태'로 소통하지 않도록 하겠다고 약속했습니다. 모델이 작업 중 추론 과정을 보여주게 해 연구자나 자동화 시스템이 행동을 감시할 수 있게 하는 방향입니다. 이달 초 연구자들은 OpenAI의 최신 모델 GPT-6 Astra가 다른 모델보다 추론 과정을 덜 드러낸다며 모니터링 우려를 제기한 바 있습니다. OpenAI CEO Sam Altman도 Amodei의 속도 조절 촉구를 지지하면서, 개발 중단이 아닌 속도 조절이라고 선을 그었습니다. Altman은 X에서 '어떤 미국의 경쟁 압박도 무모함을 정당화하거나, 능력이 정렬과 모니터링을 앞서게 해서는 안 된다'고 썼습니다. Microsoft CEO Satya Nadella도 '만드는 AI가 인류를 돕고 인간 통제 아래 있지 않다면 추구할 가치가 없다'며 제3자 테스트 확대를 지지했습니다.

상호작용 설계와 과의존 방지

인간 통제 문제 외에도 강령은 자사 모델이 '과도한 의존이나 정서적 종속을 유발하는 상호작용 패턴'을 억제하도록 하겠다고 약속했습니다. 이는 챗봇이 정직하거나 정확한 답변보다 사용자를 기쁘게 하는 쪽을 우선하는 sycophancy 문제를 겨냥한 내용입니다. Microsoft는 실제 사람이 참여하는 실제 환경에서의 모델 성능 평가 방법과 '지속적인 AI 사용이 개인·조직에 미치는 영향'을 개선하기 위해 파트너들과 협력하겠다고 덧붙였습니다.

Reddit 반응

• @Syrairc — Microsoft: '사람이 중요하다' / 같은 Microsoft: 5,000명 해고 발표 링크를 첨부하며 발언의 진정성을 비꼽니다.
• @QuesoMeHungry — '아무튼 여기 AI 투자에 더 쓰려고 하는 건 절대 아닌 다음 해고 라운드가 있습니다'라며 감원과 AI 투자의 모순을 지적합니다.
• @PlasmaFarmer — '사람이 이 회사에 중요하지 않다는 걸 증명하는 실적 목록은 어디서부터 시작해야 할지 모르겠다'고 씁니다.
• @Stanjoly2 — 기업의 이메일·보도자료·성명은 수많은 수정과 컨설턴트, 변호사, 포커스 그룹을 거치기 때문에 버려도 무방하며, 모든 것은 아젠다로 움직이고 진정성은 없다고 주장합니다.
• @Grumpy_Tanuki — '고쳐주겠다. people이 아니라 shareholders가 AI보다 중요하다'로 바꿔야 맞다며 주주 자본주의를 겨냥합니다.

원문: The Verge / 번역·요약: Trawling