Survival LLM: 내 컴퓨터에서 실행하는 AI 비서와 비상용 자료실

Survival LLM은 인터넷 연결 없이 작동하는 로컬 AI 비서와 자료실입니다. 출처를 표시하며, 비상·의료 안내와 위키백과 등 자료를 검색합니다. 비상 상황 질문 22개를 시험한 결과는 모델별로 14~21개 정답이었고, 전력과 오답 위험은 남습니다.

주제: AI 오프라인 개발 도구

에디터 노트

이 앱의 시험 결과는 22개 질문에서 14~21개를 맞혔다는 개발자 측 수치이며, 질문 범위도 정전과 응급처치로 한정됩니다. 출처 문단을 보여줘도 답변이 내용을 잘못 엮을 수 있다는 점은 활비비 사례에서 드러납니다. 근거를 확인할 수 있다는 설계와 답변 자체를 비상 지침으로 써도 된다는 주장은 구분해야 합니다. 반면 인터넷만 끊기고 기기와 전원이 유지되는 상황에서는 대화형 검색이 자료를 찾는 수고를 줄일 수 있습니다. 댓글에는 Kiwix 같은 오프라인 자료 검색으로 충분하다는 의견과, 여러 문서를 함께 찾아주는 LLM이 유용하다는 의견이 맞섭니다. 앱은 설치 때 인터넷이 필요하고 답변 때 전력을 쓰며, Linux와 휴대전화는 지원하지 않습니다. 따라서 효용은 재난 전력까지 사라지는 상황보다 자료가 필요한 오프라인 작업에서 더 분명합니다.

AI 요약

Survival LLM은 AI 모델과 참고 자료를 컴퓨터에 내려받아 인터넷 없이 사용하는 무료 오픈소스 앱입니다. 질문과 개인 파일은 기기 안에서 처리하며, 답변마다 참고한 자료와 해당 문단을 표시합니다. 개발자는 비상 상황에서 필요한 정보를 대화형으로 찾고, 답변의 근거를 직접 확인하는 방식을 제시합니다.

모델과 시험 결과

앱은 컴퓨터 메모리에 맞는 모델을 내려받습니다. 128GB 이상 메모리의 Mac은 NVIDIA Nemotron 3.5 Super, 32~96GB Mac은 Qwen3.8 27B, 32GB 이상 Windows PC는 NVIDIA Nemotron 3.5 Lightning, 16~31GB Mac·PC는 IBM Granite 4.2 8B를 사용합니다. 개발자가 이전 버전 자료실로 정전·응급처치 질문 22개를 시험했을 때 각각 21개, 21개, 19개, 14개에서 공식 지침의 핵심을 맞혔다고 합니다. 이 시험은 제한된 질문을 대상으로 했으며, 작은 모델이 더 자주 틀린다고 설명합니다.

자료실과 설치

자료실에는 위키백과 인기 문서 약 93만 건, WikiMed, MedlinePlus, WikEM, Ready.gov, CDC 여행자 건강 안내, 군 의료·생존 매뉴얼, iFixit 수리 안내 등이 들어 있습니다. 전체 자료실은 내려받기 9GB, 설치 후 19GB이며, 위키백과와 iFixit을 제외하면 1.3GB, 설치 후 3GB입니다. Mac은 Apple Silicon과 macOS 14 이상, PC는 64비트 Windows 10 또는 11이 필요합니다. 최초 설치에는 인터넷이 필요하고, 컴퓨터와 연결 속도에 따라 20분에서 2시간 30분이 걸립니다. 앱은 PDF, Word 문서, 전자책과 메모도 검색하며, 사용자는 자료실과 모델을 보존한 채 업데이트할 수 있습니다.

0.3.4 업데이트

2026년 10월 27일 업데이트는 추론 토큰 한도를 설정하는 기능을 추가했습니다. 모델이 한도에 도달하면 추론을 멈추고 가진 정보로 답합니다. 검색 후 답변을 만들지 못한 경우에는 찾은 자료를 활용해 한 번 더 시도합니다. 사용자가 검색을 요청하면 먼저 기억으로 답했더라도 자료실을 검색하고, 답변이 기억·열어 본 자료·열지 않은 검색 결과 중 어디에서 왔는지 표시합니다.

Hacker News 반응

@rnd0 — 환각 성향과 하드웨어 요구 사항을 생각하면, LLM 없이 자료를 모아 검색하는 편이 낫지 않을까요? Kiwix 같은 도구보다 오버헤드는 크고 신뢰성은 낮아 보입니다.
- @nico — LLM과 채팅은 정보를 찾는 좋은 인터페이스입니다. 자료가 든 데이터베이스에 연결하면 모델이 내용을 외울 필요 없이 자료를 탐색할 수 있습니다.
@rafterydj — 생사가 달린 상황에 이 기술은 적절하지 않아 보입니다. LLM이 한 번만 틀려도 잘못된 정보를 따라 사람이 위험해질 수 있습니다.
@bityard — 자료에 근거를 두면 아무 근거 없이 답하는 모델보다 훨씬 정확하고 믿을 만하겠지만, 데이터베이스에 자료가 없는 질문에서는 환각 가능성이 남습니다. 검색 엔진은 여러 자료를 하나의 답으로 종합하지 못하고 LLM은 대체로 그 일을 잘합니다. 그래도 가족의 생존을 맡길 도구로 신뢰할지는 별개입니다.
@wanderingbit — 활비비로 불을 피우는 법을 물었더니 축과 활, 불씨판은 맞혔지만 활 대신 양손으로 축을 돌리라고 했고, 생기지 않는 불꽃을 부채질하라고 했습니다. 다른 질문 세 개에서는 뚜렷한 오류를 찾지 못했지만 이 답은 심각했습니다.
- @paxy — 틀린 지침을 주고 출처를 확인하라고 하는 것보다 출처만 돌려주는 편이 낫습니다. 말하자면 검색 엔진이면 됩니다.
@mentalgear — 일반 컴퓨터에서 돌아가는 벡터 검색과 임베딩을 쓰면 더 실용적이고 안전할 수 있습니다. 재활용할 가치가 가장 큰 부분은 자료 수집입니다.
@hexomancer — 올해 이란에서는 9천만 명과 함께 인터넷이 3개월간 끊기는 상황을 겪었습니다. 그런 경우에는 이런 도구가 유용했을 것입니다.
@fultonn — 휴대전화 통신이 불안정한 곳에서 Granite와 Qwen, 직접 고른 자료를 함께 씁니다. 오프라인 작업에 도움이 되지만, 긴급 지식은 환자가 죽기 전에 배우기 어려운 경우가 있고 추위 속 불 피우기처럼 도구와 숙련이 필요한 일도 있습니다.

원문: Brangus / 번역·요약: Trawling

원문 보기 ↗토론 보기 ↗