AI 벤치마크 점수와 실제 업무 사이, 무엇을 재고 무엇을 놓칠까
벤치마크가 직업별 업무를 얼마나 포괄하는지, 안전한 판단과 실행을 함께 재는지, 장시간 과제와 상호작용 속 적응을 평가하는지 살펴봅니다. 네 자료는 서로 다른 빈틈을 드러내지만, 어느 하나도 점수만으로 실제 직무 수행 능력을 확정하지는 못합니다.
AI 모델 · 최신기사
모델 공개와 성능, 가중치와 이용 조건을 다룹니다.
Jev에게 트롤리 문제를 물었습니다
14개 의사결정 모델에 트롤리 문제를 여러 방식으로 제시하자, 질문 표현과 모델의 서버가 희생 대상인지에 따라 답이 달라졌습니다. Jev는 20명을 살리는 대신 자기 서버를 지키는 선택을 48개 프롬프트 버전 중 16개에서 했습니다. 글은 고위험 결정에 모델을 바로 투입하기보다 실제 사용할 질문으로 평가해야 한다고 제안합니다.
Jev의 실수를 0으로 줄였지만, 여전히 Flash-Lite를 씁니다
MLH는 코드 검사기와 LLM 판단기를 고르는 라우터에서 Jev와 Gemini Flash-Lite를 실제 데이터로 비교했습니다. Jev는 프롬프트를 고치자 위험한 오판을 줄였고, 두 모델을 조합하면 단독 Flash-Lite보다 비용을 낮추면서 각자의 장점을 살릴 수 있었습니다.