개발자, OPS-SAT 위성의 이상 신호와 근거 문서 잇는 분석 도구 공개

본문

개인 개발자 아드빅 디베카르(Advik Divekar)가 위성의 보관 기록을 분석하는 오픈소스 도구 ‘The Last Satellite’를 공개했습니다. Hacktoberfest Open-Source AI Challenge 출품작으로 만든 프로젝트입니다. 유럽우주국(ESA)의 실험용 위성 OPS-SAT이 남긴 센서 기록에서 이상 징후를 찾고, 임무 문서의 근거와 함께 살펴보도록 구성했습니다. OPS-SAT은 2024년 5월 임무를 마쳤으며 이 도구는 이미 수집된 자료를 분석합니다.

이상 구간을 찾은 뒤 문서와 연결합니다

분석에 쓰는 OPSSAT-AD 데이터셋에는 자력계와 광센서의 9개 채널에서 고른 기록 구간 2,123개가 담겼습니다. 전문가가 정상과 이상으로 분류한 자료입니다. 다만 이상이라는 표시만으로는 그때 위성에 무슨 일이 있었는지까지 알 수 없습니다. 디베카르는 기록에 없는 원인을 언어 모델이 그럴듯하게 만들어 내는 문제를 줄이려고 두 모델의 역할을 나눴습니다.

TabPFN-v2는 수치 기록을 맡습니다. 코드가 신호의 변동이나 값이 0으로 이어지는 구간, 데이터가 빠진 간격 같은 특성을 계산하면 TabPFN이 각 구간의 이상 확률을 추정합니다. 콘솔은 이 점수로 조사 순서를 정하고 신호 그래프와 측정 특성을 보여줍니다. 사용자는 어떤 기록부터 자세히 볼지 고를 수 있습니다.

Qwen3-8B는 임무 문서를 읽는 역할입니다. 제작자는 Tinker에서 이 모델을 미세조정해 채널 이름, 날짜, 관측 내용 등을 출처 문장과 함께 추출하도록 했습니다. 두 경로의 결과는 조사 카드에서 만납니다. 카드에는 신호에서 측정한 현상과 문서에서 확인한 사실, 아직 알 수 없는 내용을 구분해 담습니다. 사용자는 이를 살펴본 뒤 확인·기각·추가 조사 중 하나를 선택하고 피드백을 남길 수 있습니다.

설명에 문서 근거를 요구합니다

모델이 쓴 설명은 검증기를 거칩니다. 인용한 문장이 실제 문서에 있는지 확인하고 채널 이름과 날짜도 대조합니다. 원인을 적으려면 출처가 그 원인을 명시해야 합니다. 현재 보관 자료에는 개별 기록 구간의 사고 보고서가 없어, 카드에는 해당 현상의 근본 원인이 자료에 기록돼 있지 않다고 표시합니다.

이 검증은 실제 데모에서도 모델 출력을 걸러 냈습니다. 제작자가 고른 조사 카드 6개 중 4개는 설명 초안이 반려돼 규칙으로 만든 문장을 대신 표시했습니다. 그중에는 모델이 원인이 문서에 기록돼 있다고 쓰면서 같은 카드의 ‘알 수 없는 내용’과 모순된 사례도 있었습니다.

공개 데이터 실험에서 드러난 성능과 한계

제작자는 논문과 같은 18개 특성으로 공식 테스트 529개 구간을 평가했을 때 TabPFN의 AUCPR이 0.989였다고 보고했습니다. 이상 탐지의 정밀도와 재현율 관계를 요약하는 지표로, 비교에 사용한 기존 논문의 신경망 결과는 0.979입니다. 추가 특성을 사용한 최종 설정에서도 정상 구간을 이상으로 표시한 오탐 1건과 이상을 놓친 미탐 3건이 나왔습니다. 데모에는 놓친 사례도 포함했습니다. 이 결과의 범위는 OPS-SAT의 보관 데이터입니다.

문서를 읽는 모델에도 오류가 남았습니다. 제작자가 학습에 쓰지 않은 문서로 평가한 결과, 미세조정 후 항목별 정보 추출 성능은 높아졌지만 기록 전체를 완전히 맞힌 비율은 절반 미만이었습니다. 용어에 맞는 출처를 고르는 과제에서는 성능이 떨어졌습니다. The Last Satellite는 조사할 기록과 확인 가능한 근거를 한 화면에 모으고, 그 자료를 바탕으로 사용자가 판단하도록 만든 도구입니다.