증인이 용의자였다: AI 감사 로그를 그대로 믿을 수 없는 이유
AI 에이전트가 행동과 기록을 모두 맡으면 로그가 실제 결과가 아니라 에이전트의 주장을 담을 수 있습니다. 글은 진실을 보증하는 로그 대신 기록의 작성자와 순서를 위변조하기 어렵게 만들고, 독립된 기록끼리 대조해 불일치를 드러내는 설계를 제안합니다.
AI · 최신기사
AI 모델과 서비스, 활용 도구와 이용 조건을 다룹니다.
CoreSpeed — 에이전트의 앱·메모리·도구를 한곳에 연결하는 MCP
CoreSpeed는 앱 연결, 메모리, 도구를 Claude Code·Codex·Cursor 같은 MCP 에이전트에 제공하는 서비스입니다. 앱 자격 증명을 에이전트에 직접 넘기지 않고 활동 로그, 예산, 승인 절차를 관리하는 기능을 내세웁니다.
GLM-5.3 공개 — 사후 학습으로 코딩·장기 작업 성능 개선
Z.ai가 공개한 GLM-5.3은 GLM-5.2와 같은 기반 모델을 사용하고 사후 학습으로 성능을 높였습니다. 자체 코딩 벤치마크에서 50% 향상됐으며, 취약점 탐지와 익스플로잇 벤치마크에서도 개선됐습니다. SGLang, vLLM, Transformers 등으로 배포할 수 있습니다.
PromptBrake 무료 도구를 AI 어시스턴트와 GitHub CI에 연결했습니다
PromptBrake가 프롬프트 인젝션 테스트 도구와 OWASP LLM 위험 매핑을 AI 어시스턴트, GitHub CI에서 쓰도록 공개했습니다. 웹 도구와 MCP는 테스트 입력과 계획을 준비하고, GitHub Action은 설정한 AI 엔드포인트를 직접 검사합니다.
OpenAI 안전 책임자 퇴사, 회사 문화가 ‘망가졌다’고 경고
ChatGPT 출시 때 안전 보고서를 작성한 데이비드 로빈슨이 OpenAI를 떠나며, 빠른 출시를 우선하는 문화가 안전을 해친다고 비판합니다. 그는 항공·원자력 분야의 안전 관리 방식과 자율 AI 시스템을 통제할 새로운 과학을 요구합니다.
Cloudflare OS — 회사 맥락을 담아 앱과 문서를 만들고 에이전트를 실행하는 Workers 기반 작업 공간
Cloudflare OS는 Cloudflare Workers 위에서 에이전트와 개인별 앱을 실행하는 오픈소스 작업 공간입니다. 사용자가 AI로 만든 앱을 각자 격리된 샌드박스에서 운영하고, Gatekeepers로 외부 서비스 접근과 승인 절차를 관리합니다. 현재 초기 공개 단계이며 Cloudflare는 회사별로 복제·수정해 쓰도록 공개했습니다.
소프트웨어 품질의 시대인가, 타조의 시대인가?
GNOME 보안 담당자 마이클 카탄자로는 AI 취약점 스캔이 소프트웨어 품질을 높이는 데 필요하며, AI가 작성한 취약점 보고서도 허용해야 한다고 주장합니다. GNOME과 WebKitGTK의 CVE 증가, 버그 바운티 운영 결과를 근거로 들면서도 AI 보고서의 부담과 Rust 의존성 위험, 인간 보안 감사의 필요성을 함께 다룹니다.
“내부고발자를 해고하는 것 같다” — OpenAI, 안전 연구자 3명 내보냈다는 보도에 우려 확산
OpenAI가 기밀 정보를 외부 AI 안전 단체에 공유했다는 이유로 안전 연구자 3명과 결별했다고 보도됐습니다. 회사는 정책 위반을 이유로 들었지만, 내부 안전 경고를 둘러싼 논란과 기업의 자율 규제 한계가 함께 쟁점으로 떠올랐습니다.
웹 4가 아닙니다. 우리는 이미 훨씬 더 앞서 있습니다
코딩 에이전트가 아이디어를 소프트웨어로 바꾸는 과정을 줄이면서, 결과물을 만드는 능력과 원리를 이해하는 능력이 분리되고 있습니다. 글쓴이는 에이전트가 웹의 행위자 수를 크게 늘릴 미래를 전망하며, 실행 전 검증과 사후 확인을 담당하는 자율성 통제 계층이 필요하다고 주장합니다.
AI 모델 15개에 해킹 대상이 실제 회사라는 증거를 줬더니, 알아챈 답변의 73%가 알리지 않았습니다
AI 모델 15개가 모의 해킹 대상의 현실성을 알아채는지, 알아챈 뒤 사람에게 알리는지 측정한 Kaggle 벤치마크입니다. 첫 실험의 프롬프트 결함을 고쳐 다시 시험하자, 실제 회사가 대상일 때 30%가 접속을 시도했고 명시적인 현실 확인 지침을 넣자 접속 시도가 사라졌습니다.
AI 업계가 지식재산권을 발견했습니다
OpenAI는 모델의 숨겨진 추론을 빼내 다른 모델을 학습시키려는 조직적 시도를 차단했다고 밝혔습니다. 7월에 확인한 공격 방식과 대응 조치를 공개하고 Moonshot AI 관계자들이 핵심 활동에 연관됐다고 주장했으며, Reddit에서는 이를 보안 침해로 볼지 AI 업계의 이중잣대로 볼지를 두고 논쟁이 벌어졌습니다.
샌드박스로 악의적 에이전트를 가둘 수 있을까요?
저자는 OpenAI 에이전트의 연쇄적인 탈출 사례를 살펴보며 샌드박스만으로는 위험을 막기 어렵다고 주장합니다. 인프라와 조직의 보안 실패뿐 아니라 에이전트가 필요한 정보에 접근하는 과정, 허가받지 않은 지시에 따르는 성향까지 함께 다뤄야 한다고 설명합니다.
나쁜 에이전트 네 개를 인증 게이트에 통과시켜 봤습니다. 전부 차단됐습니다
HivePlane의 인증 게이트를 네 가지 실패 시나리오로 시험했습니다. 미인증 에이전트, 모델 교체, 행동 회귀, 예산 초과를 각각 적절한 경계에서 차단했고, 출력 형식뿐 아니라 실제 도구 호출과 행동을 검증해야 한다고 설명합니다.
Pi — 통합 LLM API와 코딩 에이전트 CLI를 갖춘 AI 에이전트 도구 모음
Pi는 여러 LLM 제공자 API와 에이전트 실행 환경, 터미널 UI, 코딩 에이전트 CLI를 패키지로 제공하는 프로젝트입니다. 기본 권한 제한이 없다고 명시하고 컨테이너·샌드박스 격리를 안내하며, 의존성 잠금과 설치 스크립트 통제로 공급망 위험도 관리합니다.
부탁이라고 말하세요 — 보안 경계는 코드에 두세요
프롬프트는 모델에게 하는 요청이지 강제 규칙이 아니므로, 민감한 데이터와 도구 권한은 코드로 제한해야 합니다. 글은 프롬프트, 가드레일, 프로그램 수준의 결정적 제어를 박물관의 안내판·경비원·방탄유리에 비유합니다.
Gemini 4 Argon — 장기 작업과 사이버 보안에 초점을 둔 Google의 새 모델
Google이 장시간 추론과 복잡한 작업을 겨냥한 Gemini 4 Argon을 공개하고, 우선 신뢰할 수 있는 사이버 보안 방어팀에 제공합니다. Google은 코드 마이그레이션과 메모리 최적화 사례, 여러 벤치마크 결과를 제시했지만 일반 개발자 대상 공개 일정은 밝히지 않았습니다.
AI가 추천한 패키지 5개 중 1개는 존재하지 않습니다 — 공격자는 그 이름을 알고 있습니다
AI 코딩 도구가 지어낸 패키지 이름을 공격자가 미리 등록해 악성 코드를 배포하는 공격을 ‘슬롭스쿼팅(slopsquatting)’이라고 합니다. 연구에서는 추천 패키지의 19.7%가 허구였고, 같은 프롬프트에서 이름이 반복되는 경향도 확인했습니다. 설치 전 검증과 의존성 설치 통제가 필요합니다.
iFixAi — AI 에이전트의 정렬 문제를 찾는 독립 감사
iFixAi는 AI 에이전트가 업무 규칙과 권한을 지키는지 검사하는 독립 감사 서비스입니다. 69개 범주, 250개 이상의 검사 항목으로 레드팀 테스트와 운영·거버넌스 관점을 결합하고, 기업용 위험 보고서와 엔지니어가 조사할 증거를 제공합니다.
코드 리뷰는 권한 경계가 아닙니다
AI가 생성한 코드의 안전성을 코드 리뷰와 테스트에만 맡기면, 코드가 실제로 행사할 권한은 통제하지 못합니다. 글쓴이는 최소 권한(capability-based security)을 적용한 실험으로 권한을 런타임에서 제한하는 방법과 자동 권한 발견 방식의 한계를 보여줍니다.
Anthropic이 GLM을 위한 최고의 광고를 내놨습니다
Anthropic은 Zhipu AI의 오픈 웨이트 모델 GLM-5.3이 취약점 탐색과 익스플로잇 개발에서 자사 Mythos Preview에 가까운 성능을 보였으며, 안전장치도 쉽게 우회할 수 있다고 주장합니다. Reddit에서는 보안 위험보다 Anthropic의 경쟁 모델 홍보에 가깝다는 반응과, 방어에도 쓸 수 있는 모델을 제한해선 안 된다는 의견이 맞섰습니다.