Anthropic, Amodei의 AI 개발 속도 늦추기 제안 실행 위해 Accenture를 첫 상주 평가자로 선정

AI 요약

Anthropic이 CEO Dario Amodei가 제안한 AI 개발 속도 조절 계획의 첫 단계를 실행하기 위해 Accenture를 첫 번째 embedded evaluator로 선정했다고 발표했습니다. Anthropic은 Accenture의 전문 AI 사업부인 Faculty 직원을 회사 내부에 배치해 모델의 안전장치를 시험하고, 레드팀(red team) 방식으로 모델을 공격하며, 모델이 인간의 가치에 맞게 행동하는지 평가할 예정입니다. 외부 평가자는 회사 직원과 같은 수준으로 내부에 접근해 안전 관행을 확인하고 사고를 보고하게 됩니다.

■ Amodei의 세 단계 계획과 첫 실행

Amodei는 최근 고도화된 AI 모델의 개선 속도를 늦추기 위한 세 단계 계획을 공개했습니다. 이번 발표는 그중 첫 단계에 해당합니다. 첫 단계의 내용은 제3자 평가자에게 회사 내부의 직원 수준 접근 권한을 부여하는 것입니다. 평가자는 Anthropic의 안전 관행을 검증하고 사고를 보고합니다. Amodei는 Anthropic이 이 조치를 일방적으로 약속했다고 밝혔으며, 다른 AI 기업에도 같은 방식을 따르라고 권했습니다.

Anthropic과 OpenAI는 AI가 인류에 재앙적 피해를 일으킬 가능성을 경고하는 연구자들이 늘면서 강한 감시를 받고 있습니다. Amodei의 제안은 이번 주 일부 업계 경영진의 지지를 받았습니다. OpenAI CEO Sam Altman, Tesla와 SpaceX CEO Elon Musk가 지지한 인물로 언급됩니다. 반면 Nvidia CEO Jensen Huang은 새로운 규제가 필요하지 않다며 우려를 일축했습니다. Anthropic이 대형 IPO를 준비하는 상황에서, 제안이 실제 운영에 어떤 변화를 만들지 의문을 제기한 사람들도 있었습니다.

■ Accenture와 Faculty의 역할

Anthropic은 Faculty 소속 직원을 우선 회사 안에 배치해 모델의 보호 장치를 점검한다고 설명했습니다. 평가 범위에는 안전장치 테스트, 모델 레드팀, 인간의 가치와 부합하는 행동 여부 확인이 포함됩니다. 이번 협력은 독점 계약이 아닙니다. Anthropic은 연구 비영리단체 METR을 비롯한 다른 제3자와도 논의하고 있습니다.

Anthropic은 상주 평가자를 둔다고 해서 모델 안전에 대한 책임이 줄어들지는 않는다고 강조했습니다. 모델 안전의 최종 책임은 여전히 Anthropic에 있습니다. 회사는 이번 초기 작업을 공개하는 이유로, 다른 사람과 AI 개발자들이 평가 과정을 확인하도록 하기 위해서라고 밝혔습니다. 분야가 성숙하면 접근 방식을 바꾸고, 작업이 시작된 뒤 추가 평가자를 영입하면서 더 많은 내용을 공유할 계획입니다.

■ 비용과 자금 조달 구조

Anthropic과 Accenture는 향후 5년 동안 이 분야의 역량 구축을 위해 각각 최소 10억 달러를 투자하기로 합의했습니다. 다만 Anthropic은 사안의 중요성과 긴급성을 이유로 Accenture의 작업 비용을 직접 부담한다고 밝혔습니다. 장기적으로는 공동 기금이나 정부 자금이 비용을 맡아야 한다는 입장입니다. Anthropic은 6월 Advanced AI Framework에서 이런 자금 조달 방식을 요구했지만, 현재는 공동 기금이나 정부 재원이 존재하지 않는다고 설명했습니다. 그래서 서로 다른 자금 조달 방식을 활용하며 여러 평가자와 협력할 계획입니다.

■ 커뮤니티 반응

Reddit의 r/ClaudeAI 토론은 커뮤니티 점수 290점, 댓글 79개를 기록했습니다. 상위 댓글에서는 Accenture가 최첨단 AI 연구 경험이 부족하고, 프로젝트를 느리게 만드는 컨설팅 회사라는 비판이 집중됐습니다. 이번 선정이 실제 안전 검증보다 안전을 실천하는 모습을 보여주려는 홍보라는 의심도 나왔습니다. 일부 이용자는 Accenture의 과거 법적 분쟁과 정부 계약 관련 합의 사례를 거론했습니다. 다른 회사를 선택했다면 어디가 적절했을지 묻는 의견도 있었지만, 대체로 냉소적인 반응이 우세했습니다.

■ Reddit 반응

• @massivescoop — 최첨단 AI 연구 경험이 없는 컨설팅 회사를 들이는 것도 자신을 늦추는 한 가지 방법입니다.
• @shakazoulu — Accenture는 진전을 늦추는 일에서는 업계 최고 회사입니다.
• @iamthe0ther0ne — “Accenture LLP가 내부고발자 소송을 해결하기 위해 미국에 6,367만 5,000달러를 지급하기로 했습니다. Accenture는 정부에 하드웨어와 소프트웨어를 추천하는 대가로 리베이트를 받고, 가격을 부풀리고, 연방 정보기술 계약에서 입찰을 조작했다는 혐의를 해결하기로 했습니다.” 이번 일은 잘 풀리겠습니다 ...
• @oompaloompa465 — Accenture요? 성과 내기(performing)에 중독된 화이트칼라 노예 소유주들이잖아요. AI의 지배는 정말 안전한 손에 맡겨졌네요 😂

원문: CNBC / 번역·요약: Trawling