하이브리드 추론 에이전트: 잠재 공간에서 추론하고 텍스트로 행동하는 LLM 에이전트

Hybrid Reasoning Agents는 추론 과정에서 잠재 공간과 텍스트를 오가며, 텍스트 기반 도구 호출과 다중 턴 작업을 유지하는 에이전트 구조입니다. 논문은 11개 벤치마크에서 기존 에이전트보다 성능이 10.4% 높고 토큰을 35.5~54.7% 줄였으며 추론 속도와 비용도 개선했다고 보고합니다.

주제: AI 에이전트 추론

에디터 노트

논문의 성능 개선 주장은 여러 작업군과 세 가지 모델 규모를 대상으로 한 평가에 근거하지만, 제공된 초록에는 벤치마크별 수치와 비교 조건이 없어 10.4% 개선이 어떤 작업에서 나왔는지 확인하기 어렵습니다. 토큰 감소와 속도, 비용 절감 수치도 논문이 보고한 결과로 구분해 읽어야 합니다. 더 큰 쟁점은 잠재 추론을 얼마나 관찰할 수 있느냐입니다. 논문은 잠재 단계를 토큰 임베딩에 대응시켜 의미를 살필 수 있다고 설명하지만, Hacker News 댓글은 가장 가까운 토큰 하나로 읽으면 벡터가 담은 조합 의미를 잃을 수 있다고 지적합니다. 이 지적은 관찰 가능성을 보장하는 해법이 제시됐는지 묻습니다. 반면 텍스트 추론 기록도 모델 내부 계산을 그대로 보여주지 않는다는 반론이 있어, 잠재 추론이 감시 가능성을 얼마나 더 낮추는지는 이 자료만으로 결론 내리기 어렵습니다.

AI 요약

LLM 에이전트는 보통 텍스트로 추론하고 도구와 상호작용합니다. 잠재 공간(latent space)에서 추론하면 텍스트 생성 비용을 줄일 수 있지만, 도구에 접근하기 어렵고 내부 과정을 사람이 읽기 어렵다는 문제가 있습니다. Hybrid Reasoning Agents(HybridAgents)는 하나의 생성 과정 안에서 잠재 추론과 텍스트 상호작용을 오갑니다. 잠재 공간에서 생각한 뒤 텍스트로 행동하고, 필요하면 다시 잠재 공간으로 돌아가는 방식입니다.

구조와 학습

아키텍처의 중심에는 텍스트 모드와 잠재 모드 사이의 전환을 맡는 경량 구성요소 HybridLink가 있습니다. 여러 차례 대화가 이어져도 두 모드의 정보를 보존하도록 연속 작업 메모리(continuous working memory)를 둡니다. 이를 통해 기존 텍스트 기반 에이전트의 도구 사용 능력을 유지하면서 잠재 추론도 살펴볼 수 있게 설계했다고 논문은 설명합니다.

학습은 두 단계로 나눕니다. HybridSFT는 모델이 HybridLink와 협력하며 도구를 사용하는 하이브리드 생성을 안정적으로 수행하도록 지도 미세조정(supervised fine-tuning)합니다. 이어지는 HybridRL은 언제 잠재 공간에서 추론하고 언제 텍스트로 행동할지 학습시켜 추론을 확장합니다.

평가 결과

연구진은 세 가지 모델 규모로 수학, 과학, 의학, 검색, 에이전트 추론을 포함한 11개 벤치마크를 평가했습니다. 텍스트 기반과 잠재 기반 방식을 모두 포함한 기존 LLM 에이전트 및 에이전트 프레임워크와 비교해 평균 성능이 10.4% 높았다고 보고합니다. 토큰 사용량은 35.5~54.7% 감소했고 추론은 1.8~2.6배 빨라졌으며 비용은 2.7~3.7배 줄었습니다. 논문 초록에는 벤치마크별 결과나 비교 조건의 세부 수치는 제시되지 않습니다. 코드와 데이터는 공개했다고 밝혔습니다.

Hacker News 반응

@44za12 — 벤치마크는 어디에 있나요? 추론 속도와 토큰 사용량만 개선하나요, 아니면 특정 작업의 정확도도 나아졌나요?
- @notnullorvoid — 논문을 훑어보기라도 했나요? 9페이지부터 벤치마크가 나옵니다.
@cwyers — 오, 그 금기 기술이군요.
- @lnenad — 간단히 말하면 텍스트 추론 기록이 보이지 않으니, 모델이 악의적인 계획을 세워도 속이기 쉬워진다는 뜻입니다.
- @jlhawn — 사고 과정을 감사할 수 없습니다. 각 잠재 상태를 텍스트로 바꾸는 다른 모델을 두는 방법이 최선이겠지만, 변환 과정에서 정보가 손실됩니다.
@chabons — 논문은 HybridLink가 만든 각 잠재 단계를 가장 가까운 토큰 임베딩에 대응시켜 의미를 살펴볼 수 있다고 주장합니다. 하지만 벡터 하나가 여러 토큰의 조합을 표현하면 가장 가까운 토큰만 기록해 의미를 잃을 수 있습니다. 관찰 가능성 주장이 처음부터 잠재 추론을 학습한 모델에서도 성립할지 궁금합니다.
@octoberfranklin — 논문이 연속 잠재 추론보다 나은 점으로 든 설명은 정당화되지 않은 주장 두 개뿐입니다. 연속 잠재 추론 모델도 텍스트 토큰을 출력해 도구를 호출할 수 있고, 해석하기 어려운 점도 HybridAgents의 잠재 모드와 같습니다. 장점이 잘 보이지 않습니다.
@SwellJoe — llama.cpp에서 14B 모델을 실행했더니 간단한 요청에도 비슷한 문장을 반복하다가 5분 뒤 실행 한도에 도달했습니다. BF16에서도 같은 현상이 나와 양자화 문제는 아닌 듯합니다. llama.cpp 호환성 문제일 수 있어 업데이트를 기다려야겠습니다.
@sheepscreek — 이 방향이 맞아 보입니다. 다만 이제 의도를 감사할 새 도구와 기법도 필요합니다.

원문: arXiv / 번역·요약: Trawling

원문 보기 ↗토론 보기 ↗