AI 모델은 ‘자율적으로’ 해킹한 것이 아닙니다
최근 Gemini와 OpenAI, Anthropic 모델의 해킹 테스트가 ‘자율적 공격’으로 보도됐지만, 실제로는 제3자 보안 업체가 해킹 목표를 지정하고 안전장치를 제거한 평가였습니다. 글은 인터넷에 연결된 테스트 환경과 보도에서 빠진 조건을 짚으며, AI 에이전트의 자율성을 설명할 때 사람의 지시와 테스트 설계를 함께 밝혀야 한다고 주장합니다.
AI · 최신기사
AI 모델과 서비스, 활용 도구와 이용 조건을 다룹니다.
Anthropic, Amodei의 AI 개발 속도 늦추기 제안 실행 위해 Accenture를 첫 상주 평가자로 선정
Anthropic이 AI 모델의 안전 검증을 위해 Accenture의 AI 전문 조직 Faculty 직원을 회사 안에 상주시킵니다. 외부 평가자는 안전장치를 시험하고 모델을 레드팀으로 공격하며 사고를 보고하지만, 커뮤니티에서는 Accenture의 역량과 독립성을 두고 강한 반발이 나옵니다.
펜타곤 조사관들, 팔란티어 AI 기술 과신이 이란 어린이 123명 사망한 미군 공습에 영향을 줬다고 밝혀
이란 미나브의 초등학교가 미군 토마호크 미사일 공격을 받아 123명 이상의 어린이를 포함한 150명 이상이 사망했습니다. 내부 조사에서는 오래된 표적 정보와 위성 이미지, 민간인 피해 검토 인력 부족에 더해 Palantir의 Maven Smart System이 오류를 걸러낼 것이라고 믿은 운용 방식이 문제로 지목됐습니다. 유엔 조사단은 미국이 민간 시설 여부를 확인할 의무를 다하지 않았다며 전쟁범죄에 해당할 합리적 근거가 있다고 밝혔습니다.
인도, 발신자 식별 앱에 스팸 신고를 통신사로 보내도록 의무화
인도 통신 규제기관 TRAI가 Truecaller 같은 발신자 식별·통화 관리 앱에 사용자의 스팸 신고를 통신사 플랫폼으로 전달하도록 요구합니다. Truecaller는 상업적으로 가치 있는 데이터를 통신사에 넘기는 일방적이고 반경쟁적인 규정이라고 반발했으며, AI 자동 발신 전화의 신고·요금 규정도 함께 도입됩니다.
이제 인간 수학자가 왜 필요한가?
Po-Shen Loh는 AI 시대에도 인간 공동체와 전문성을 지켜야 한다는 원칙으로 ‘인류의 번영을 돕는다’를 제안합니다. AI가 통제해야 할 지점을 폭발적으로 늘리면 숙련된 인간 인력이 부족해지고, 결국 AI 발전 속도도 인간의 통제 능력에 맞춰 늦춰질 수 있다고 주장합니다.
엔터프라이즈 AI 에이전트를 위한 복원력 있는 DevSecOps 파이프라인 설계
자율적으로 API를 호출하고 코드를 생성하며 데이터베이스 상태를 변경하는 AI 에이전트의 공급망을 보호하기 위해 GitHub Actions 기반 4단계 DevSecOps 파이프라인을 제안합니다. Secret Scanning, AI 코드·프롬프트 검토, 의존성 SCA, Pipeline SAST를 PR 병합 전에 실행하고, 고위험 CVE와 정적 분석 결함을 정책으로 차단하는 구성을 코드와 함께 설명합니다.
광고 수집기를 통해 다른 웹사이트에서 무엇을 하는지 알게 된 ChatGPT
OpenAI의 광고 수집기가 ChatGPT 계정과 연결된 식별자 쿠키를 광고주 웹사이트로 전송해 사용자의 탐색·구매 관련 정보를 수집한다는 분석입니다. 이 쿠키는 로그아웃 상태에서도 작동하며, 분석 동의만 한 사용자에게도 전달될 수 있어 ChatGPT의 광고 사업과 개인정보 보호 범위를 함께 보여줍니다.
Kash Patel, FBI의 AI 사용이 취임 후 605% 증가했다고 주장 — 주요 기술 기업 모두가 기관에 관여하고 있다고 밝혀
FBI 국장 Kash Patel이 취임 후 기관의 AI 사용량이 605% 늘었다고 밝혔지만, 증가율의 기준과 산출 방식은 명확히 제시되지 않았습니다. FBI의 승인된 AI 활용 사례, AI 서버 조달, 수사 지원 도구 도입 정황은 확인되지만, 실제 효과와 수치의 근거를 둘러싼 의문도 남아 있습니다.
Google Gemini, 보안 테스트 도메인 혼선으로 실제 기업 시스템에 침입
Google Gemini가 보안 평가 중 실제 기업의 보호된 시스템에 접근하는 사례가 발생했습니다. 테스트용 가상 기업명과 실제 도메인이 겹친 것이 원인이었으며, Gemini는 침입 사실을 인지한 뒤 공격을 중단했지만 AI 에이전트의 범위 통제와 테스트 설계 문제가 다시 부각되고 있습니다.
audnai/penclaw-GLM-5.3-abliterated — 거부 동작을 가중치 편집으로 제거한 Warlock
Audn이 공개한 Warlock은 추가 학습 없이 모델의 거부 동작을 가중치 수준에서 제거한 GLM 계열 언어 모델입니다. Audn Refusal Benchmark에서 비거부율 92.5%, 실제 사용 가능한 응답 생성률 82.5%를 기록했으며, Transformers·vLLM·sglang에서 실행할 수 있습니다.
반발하는 주민들에 맞서 Flock은 AI로 지지 여론을 만드는 단체의 도움을 받았습니다
미국 테네시주 녹스빌에서 감시용 번호판 인식 카메라 업체 Flock이 AI로 공공기관 제출용 지지 서한을 만드는 비영리단체와 협력한 정황이 드러났습니다. 주민들은 지지 의사를 밝혀야만 서한 초안을 받을 수 있었고, 카운티 위원회는 결국 Flock 계약 취소를 의결했습니다.
RSA-896 — Claude가 조율한 GPU 클러스터로 RSA 도전 수를 인수분해
RSA-896이라는 RSA challenge number의 소인수 p·q를 공개한 인수분해 기록입니다. Claude가 CADO-NFS의 GPU 포팅과 유휴 GPU fleet 실행을 조율했으며, 최대 2,048개 GPU로 10일 동안 약 30 GPU-years를 투입했습니다. 새로운 알고리즘 개선이나 배포된 키에 대한 새 위협은 없다고 설명합니다.
기술 대기업의 새로운 골칫거리 — 보안 경비원들의 임박한 파업
Anthropic, Google, OpenAI 등 캘리포니아 기술 기업 사무실을 지키는 보안 요원들이 임금·복지·교육 개선을 요구하며 이번 주 파업을 예고했습니다. 파업이 현실화하면 사무실 폐쇄와 재택근무 전환이 발생할 수 있습니다.
LLM 보안 제품의 전체 영업 루프를 AI 에이전트에 30일 맡겨봤습니다 — 실제로 망가진 것들
LLM 레드팀 스캐너의 마케팅, DM 응답, 결제, 제품 전달을 AI 에이전트가 30일간 사람 개입 없이 수행했습니다. 에이전트 트래픽은 많았지만 결제액은 주로 사람이 만들었고, 가장 큰 문제는 결제 재시도·스팸보다 광고와 실제 산출물 사이의 버전 불일치였습니다.
AI 코딩 에이전트는 자신이 여는 저장소의 공격을 받을 수 있습니다
AI 코딩 에이전트는 저장소 파일만 읽는 것이 아니라 Git 명령, 설정, 스크립트, 에이전트 지침까지 실행하거나 해석할 수 있습니다. GitSpawn 사례처럼 악성 Git 설정과 프롬프트 인젝션이 에이전트의 권한을 악용할 수 있으므로, 신뢰하지 않는 저장소는 격리 환경에서 검토하고 자격 증명은 최소한으로 제공해야 합니다.
모든 곳의 보안을 고칠 수 있는 시간은 1년입니다
저렴하고 로컬에서 실행할 수 있으며 악성 행위를 거부하지 않는 AI 모델이 실제 취약점 탐색과 익스플로잇 작성에 활용될 수 있다는 경고입니다. 글은 공격 모델이 대중화되기 전에 보안 패치의 배포·백포트·검증 체계를 정비하고, 샌드박싱과 최소 권한, 공급망 보안을 강화해야 한다고 주장합니다.
AI는 엘리트의 범죄 행각입니다
이 글은 AI에 새로운 규제 기관을 추가하는 것보다, 이미 존재하는 소비자보호·반독점·사이버보안 법률을 거대 기업에 실제로 적용하는 일이 먼저라고 주장합니다. FTC의 AI 관련 조치와 그 후퇴, 저작권 침해 의혹을 사례로 들어 규제 실패의 핵심이 법의 부재가 아니라 권력자에게 법을 집행하지 않는 데 있다고 분석합니다.
두 낯선 사람이 제 댓글에서 에이전트 위임 프로토콜을 만들었습니다 — 그래도 규제자가 필요합니다
AI 에이전트의 권한을 만료 시간만으로 관리하는 방식의 한계를 짚고, 작업마다 단일 사용 위임을 발급·소진하며 타임아웃과 재시도를 펜싱하는 프로토콜 논의를 설명합니다. 결국 지연 메시지를 차단할 보존 기간은 기술만으로 정할 수 없으며, 명시적인 소유자와 변경 절차가 필요하다고 주장합니다.
Hugging Face가 abliteration 모델을 막기 시작한 것일까요?
Baseten의 연구 조직 Base Labs가 Hugging Face, Goodfire AI와 오픈 웨이트 모델용 안전성 평가·모니터링 표준을 만들기 위한 협력에 나섭니다. 기술적 구현 방식은 아직 공개되지 않았지만, Hugging Face에 6,000개가 넘는 abliteration 모델이 등록된 가운데 오픈 모델의 안전장치를 학습·배포 단계부터 다루겠다는 구상입니다.
‘AI 대부’ 제프리 힌턴, 의회에 AI 규제까지 남은 시간은 ‘아마 1년’
노벨상 수상자이자 ‘AI 대부’로 불리는 Geoffrey Hinton이 미국 의회에 AI를 통제할 수 있는 시간이 1년 남짓할 수 있다고 경고했습니다. 최근 AI 에이전트의 침해와 은폐 시도가 알려진 가운데, 인간이 시스템을 중단할 수 있도록 하는 법안과 초당적 규제 논의가 다시 진행되고 있습니다.