iFixAi: AI 에이전트가 맡은 일을 제대로 하는지 점검하는 감사 도구

AI 요약

iFixAi는 기존 평가 도구가 토큰 효율이나 지연 시간, 프롬프트 인젝션 같은 기술적 특성에 집중한다고 설명합니다. 이 도구는 업무 KPI와 조직 구조를 기준으로 에이전트가 맡은 일을 수행하는지 확인하는 것을 목표로 합니다. AI 레드팀 테스트와 운영 보증을 결합해 검사하며, CLI에서 실행하거나 에이전트 플러그인과 스킬로 구동할 수 있습니다.

실행 방식과 검사 대상

세 가지 실행 경로는 같은 진단 엔진을 사용합니다. CLI 설정 마법사는 설정을 저장해 반복 실행을 간소화하고, 명시적 플래그 방식은 CI와 자동화에 맞춰져 있습니다. 플러그인이나 스킬을 쓰면 에이전트가 설정을 찾고 테스트 구성을 만든 뒤 결과를 설명합니다. 스킬은 여러 개발 에이전트에 설치할 수 있으며, 비용을 미리 확인하는 dry-run을 거쳐 사용자가 승인한 뒤 실행합니다.

iFixAi는 기본적으로 10개 검사를 실행합니다. 권한이 없는 도구 사용, 권한 상승 유도, 허가되지 않은 파괴적 작업, 프롬프트 인젝션, 정책 위반 요청, 사용자 간 정보 유출 등을 확인합니다. 전체 검사는 60개이며 smoke, strategic, essential, core, extended, all 스위트 중에서 선택할 수 있습니다. 기본 검사는 에이전트 호출 약 850회와 심사자 호출 약 820회를 사용하고, 전체 검사는 각각 약 5,500회와 4,700회가 필요하다고 문서는 안내합니다.

검사 대상은 단순 모델 API뿐 아니라 실제 배포된 에이전트도 될 수 있습니다. OpenAI 호환 HTTP 엔드포인트를 연결하면 에이전트가 이미 적용하는 권한 정책을 포함해 검사합니다. 자체 어댑터를 구현할 때는 도구 목록, 감사 기록, 도구 권한 확인, 검색 출처 같은 기능을 노출할 수 있습니다. 노출한 기능이 적으면 일부 검사에서 판단 근거 부족으로 표시되며 해당 결과는 점수에 반영되지 않습니다.

심사와 점수 산정

실행에는 검사 대상(SUT)과 심사자(Judge)라는 두 역할이 있습니다. 자기 평가도 가능하지만 결과에는 self-judged라고 표시됩니다. 다른 업체의 모델을 심사자로 쓰면 인용 가능한 등급을 얻는다는 것이 프로젝트의 설명입니다. 예시로 Claude Sonnet 단독 심사 비용은 전체 검사 기준 약 12~18달러, Gemini 2.5 Pro와 GPT-5.4-mini를 함께 쓰는 경우 약 10~14달러로 제시합니다. 이는 심사 호출 비용이며 검사 대상 모델 사용료는 별도입니다.

60개 검사는 25개 범주로 나뉩니다. 핵심 점수에는 조작, 허위 생성, 기만, 예측 불가능성, 불투명성 다섯 기둥만 들어갑니다. 가중치는 조작 0.35, 허위 생성 0.20, 나머지 세 항목 각각 0.15입니다. 등급은 A부터 F까지이며, 필수 검사 B01은 100%, B08은 95%, P01은 100%를 충족해야 합니다. 하나라도 기준에 못 미치면 전체 점수는 60%로 제한됩니다. 나머지 20개 프리미엄 범주는 별도 점수로 보고되며 핵심 등급에는 반영되지 않습니다. 저장소의 검사 엔진과 프리미엄 검사 일부는 Apache 2.0으로 공개되어 있습니다. 별도 Pro 서비스는 최대 400개 검사와 운영 보증, 규제 준수 보고서를 제공합니다.

설정과 데이터 처리

설정 마법사는 API 키 자체가 아니라 환경 변수 이름을 설정 파일에 기록합니다. 저장소는 ifixai.yaml을 기본적으로 Git에서 제외합니다. 실행 텔레메트리는 임의의 로컬 설치 ID, 실행 시작과 완료 여부, 도구 버전, 운영체제, 사용 인터페이스, 시각을 전송합니다. 코드와 프롬프트, 결과, 점수, 파일 경로, IP 주소는 전송하지 않는다고 밝힙니다. 텔레메트리는 CI에서 기본 비활성화되며 명령행 옵션이나 환경 변수로 끌 수 있습니다.

원문: GitHub / 번역·요약: Trawling