로컬 AI 도구의 역할 분담: 계산은 코드에, 해석은 모델에 맡길 때
세 사례는 모델을 어디에 쓸지 입력의 성격과 실패 비용에 맞춰 나눕니다. 정전 도구는 사실·수치를 코드로 만들고 Gemma에는 짧은 안내만 맡기며, 은행 장부는 이름 판독에만 모델을 씁니다. 음성 메모 도구도 모델별 역할을 분리하고 타임스탬프와 수치를 검증하지만, 배포·추론 방식과 검증 범위는 사례마다 다릅니다.
환경과 사실을 코드가 먼저 확정합니다
‘“전기가 나가면”: 나이지리아 정전 때 노트북이 저를 밖으로 보냅니다’에서 저자는 정전 감지, 날씨와 일몰 정보, 절약액 등 사실과 수치를 코드로 계산하고, 로컬 Gemma에는 상황과 규칙으로 고른 활동을 바탕으로 20단어 이내의 안내 문장만 쓰게 합니다. 안내에 숫자나 전력·발전기 관련 표현이 들어가면 거부하고 한 번 재시도한 뒤 고정 문장을 사용합니다. 저자의 시험에서는 분리 뒤 9회 모두 첫 시도에 통과했지만, 문장의 의미까지 검증하는 것은 아니어서 어색한 표현이 통과한 사례도 있었다고 설명합니다.
‘은행 입금 알림을 장부로 바꾸는 로컬 Gemma’는 금액·시간·잔액과 입금 종류를 코드로 처리하고, 코드 규칙으로 읽기 어려운 고객 이름만 Gemma에 맡깁니다. 실제 알림 5건에서 입금 종류 규칙은 5건을 맞혔고 Gemma는 이름을 읽는 데 실제 알림 시험에서 3건 중 2건을 맞혔습니다. 이름은 알림에서 복사한 텍스트여야 하고, 숫자는 원문에 있어야 한다는 검사를 적용하며, 모델이 실패해도 금액·시간·종류와 일일 합계는 남도록 했습니다. 다만 저자도 실제 알림 표본이 5건뿐이라고 한정합니다.
생성 결과를 결정론적 검사로 보완합니다
‘0달러에서 첫 10달러까지: TabPFN과 Gemma로 음성 메모를 업무 항목으로 바꾸기’는 숫자 분석과 문장 작성을 TabPFN-v2와 Gemma에 나눕니다. TabPFN은 음성 메모에서 뽑은 표 형식 특징을 분석하고, Gemma는 요약과 타임스탬프가 붙은 실행 항목을 작성합니다. 초기 시험에서 Gemma가 음성 길이를 넘는 타임스탬프를 제시하거나 TabPFN의 시간 예측과 다른 숫자를 쓴 일이 있어, 코드가 타임스탬프를 실제 길이 안으로 조정하고 수치 주장을 TabPFN 예측값으로 바꾸도록 했습니다. 이는 모델의 역할 분리만으로 끝내지 않고 결과 검증을 별도로 둔 사례입니다.
세 사례의 공통점은 계산처럼 규칙과 정답 기준을 명시할 수 있는 일을 코드에 두고, 맥락에 따라 표현하거나 비정형 텍스트에서 이름을 읽는 일을 모델에 맡긴다는 점입니다. 다만 검증의 대상은 다릅니다. 정전 도구는 안내 문장의 길이·숫자·주제를 검사하지만 의미를 보장하지 않고, 은행 장부는 이름이 원문에 있는지와 숫자 일치 여부를 검사합니다. 음성 도구는 타임스탬프와 수치를 교정합니다. 따라서 ‘모델을 적게 쓴다’는 원칙만으로는 충분하지 않으며, 오류가 중요한 결과를 바꾸지 못하도록 각 업무에 맞는 검사를 정해야 합니다.
기기 내 처리와 개인정보 보호는 별도로 확인해야 합니다
두 도구는 네트워크가 끊겨도 작동하도록 설계됐지만 구현 조건은 다릅니다. 정전 도구는 라우터가 꺼진 뒤 저장된 예보를 읽고 로컬 Gemma를 실행하며, 은행 장부는 브라우저에서 Gemma를 실행해 데이터가 기기를 떠나지 않는다고 설명합니다. 그러나 은행 장부의 모델은 GPU가 필요하고, 사용자의 실제 Tecno 휴대전화에서는 작동하지 않아 이름 판독에는 GPU가 있는 기기가 필요했습니다. 즉 로컬 실행은 데이터 전송을 줄일 수 있지만, 필요한 하드웨어와 실제 사용자 기기에서의 실행 가능성을 함께 따져야 합니다.
음성 메모 도구는 Gemma를 Google AI Studio 또는 로컬 Ollama로 실행할 수 있다고 제시하지만, 설명에는 Google AI Studio 무료 티어와 Sentry 추적에 기록된 Gemma 모델도 등장합니다. 따라서 이 사례가 보여주는 역할 분리와 결정론적 검증은 비교할 수 있어도, 처리 경로 전체가 항상 기기 안에 머문다고 단정할 수는 없습니다. 세 사례를 함께 보면 개인정보 보호를 위해서는 어떤 작업을 모델에 맡겼는지뿐 아니라 모델이 실제로 어디에서 실행되는지, 실패했을 때 코드가 어떤 결과를 보존하는지도 확인해야 합니다.