Confluence 지식 베이스의 모순·중복·고아 문서를 찾아 고치는 WikiFix

AI 요약

WikiFix는 팀의 Confluence 지식 베이스를 살펴 문서 간 모순, 중복, 연결되지 않은 고아 문서를 찾습니다. 어떤 내용이 맞는지 사용자가 선택하면 관련 문서에 수정안을 반영하고, 모든 편집은 승인 후 적용합니다. 한 번의 클릭으로 되돌릴 수 있으며 Confluence의 페이지 버전 기록도 함께 사용할 수 있습니다.

탐지 범위와 운영 방식

현재는 Confluence 안의 문서만 검사합니다. 검사는 즉시 실행하거나 주간·월간 일정에 맞춰 예약할 수 있습니다. 모순을 발견하면 인용문과 선택지를 보여주며, 답을 모르면 페이지나 스페이스 담당자에게 판단을 넘길 수 있습니다. WikiFix는 어느 문서가 옳은지 스스로 결정하지 않습니다.

제작자는 공개 문서 공간을 검사한 사례로 NASA 문서 732개에서 충돌 57건, GitLab 문서 4,576개에서 332건, Sourcegraph 문서 901개에서 86건, Kafka 문서 1,629개에서 168건을 제시했습니다. 직접 확인한 결과 탐지 항목 가운데 약 5건 중 1건은 잘못된 결과였으며, 위키에 따라 차이가 있다고 밝혔습니다. 오래된 스크린샷 탐지 기능은 아직 지원하지 않습니다. 문서와 코드의 일치 여부를 확인하는 기능은 다음 단계 후보로 언급했습니다.

Product Hunt 반응

• @rezgar — Product Hunt 여러분, 영상에 나온 Rezgar입니다. 여러 차례 실험하고 벤치마킹한 끝에 WikiFix를 선보이게 되어 기쁩니다. 이번 출시를 도와준 @fmerian과 @oobydrnk에게 감사드립니다. 장애 대응 중 깨진 런북을 발견하거나, 오래된 컴플라이언스 문서 때문에 감사에 실패하거나, 오래된 가이드로 새 직원을 온보딩해 본 적이 있다면 문서를 자주 수동 검토하지 않고도 깔끔하고 일관되게 유지하는 방법이 반가울 수 있습니다. WikiFix는 스페이스를 살펴 모순되는 주장, 중복 문서, 고아 문서를 찾습니다. 어떤 답이 맞는지 묻고 수정안을 작성합니다. 모든 수정은 승인 후 적용하며 한 번의 클릭으로 되돌릴 수 있습니다. 현재 버전은 Confluence 안에서만 작동합니다. 다음에는 코드, 설정 파일, Notion 문서도 확인할 수 있으며 무엇이 필요한지 함께 정하겠습니다. 출시 전에 공개 스페이스 몇 곳을 검사했습니다. 잘 관리되는 훌륭한 팀의 공개 문서도 예외는 아니었습니다. NASA는 문서 732개에서 충돌 57건, GitLab은 4,576개에서 332건, Sourcegraph는 901개에서 86건, Kafka는 1,629개에서 168건을 찾았습니다. 예를 들면 Europa Clipper의 전자 장비 보관함이 알루미늄-아연 합금인지 티타늄-알루미늄인지 문서마다 다릅니다. 완전히 일관된 스페이스라고 자신하는 곳이 있나요? 첫 검사 대상으로 삼아 보세요. 유용한 항목이 하나도 나오지 않으면 알려주세요. 크레딧을 두 배로 돌려드리겠습니다. 하루 종일 질문을 받겠습니다. 자주 묻는 질문에 답하면, AI이므로 잘못된 발견도 있습니다. 위키에 따라 다르지만 직접 확인한 결과 약 5건 중 1건은 틀렸습니다. WikiFix에는 피드백 버튼이 있으며 이를 바탕으로 개선합니다. Rovo를 비롯한 AI 도우미는 특정 페이지와 문제를 찾는 데 도움이 되지만, 전체 문서에서 문제를 찾아내지는 않습니다. AI 도우미는 질문에서 출발해 답변 가능성이 높은 몇 페이지를 가져옵니다. 반면 모순 탐지는 특정 질문 없이 시작하며 같은 주제나 관련 코드에 관한 주장을 서로 대조합니다. WikiFix는 우선 Confluence 앱으로 시작하지만, 두 번째 버전에서는 독립형 제품으로 만들 계획입니다. 지원할 지식 베이스 플랫폼을 알려주세요.
  • @mishaal-rashid — 어떤 답이 맞는지 묻고 수정까지 작성하는 부분이 마음에 듭니다. 대부분의 도구는 문제만 표시하고 할 일 목록을 남깁니다. 한 번의 클릭으로 되돌릴 수 있으니 수정 승인이 안전하게 느껴집니다.
  • @rezgar — 동의합니다. AI가 수정 초안을 잘 작성하는 지금, 관리자의 일을 조금이라도 덜어주지 못할 이유가 없습니다. 일상적인 검토를 한 시간짜리 수동 편집 대신 5분 동안 클릭하며 확인하는 작업으로 바꿀 수 있습니다. 안전장치도 두 겹입니다. WikiFix의 한 번 클릭 되돌리기와 Confluence의 페이지 버전 기록입니다.
  • @mishaal-rashid — 안전장치가 두 겹이라는 점이 좋습니다. 그래야 실제 문서 수정을 맡겨도 마음이 놓일 것 같습니다.
• @saverio-donati — 매주처럼 정해진 일정에 따라 검사할 수 있나요, 아니면 매번 수동으로 실행해야 하나요? 다음 기능으로는 문서와 코드를 대조하는 기능에 투표하겠습니다.
  • @rezgar — 필요할 때 실행하거나 일정에 맞춰 검사할 수 있습니다. 앱을 계속 들여다보지 않고도 효과를 얻도록 만들고 싶습니다. 지켜볼 스페이스를 선택하면 주간 또는 월간 보고서가 새 발견을 알려줄 때까지 기다리면 됩니다. 보고서에서 항목을 확인하고 질문에 답하거나 담당자에게 보낸 뒤 다음 보고서까지 기다리면 됩니다. 다음 기능으로 문서와 코드를 대조하자는 의견도 기록해 두겠습니다. 저도 기대하는 부분입니다. 경력 동안 장애 대응 절차, 온보딩 절차, 설정 가이드가 아주 유용하다가 어느 순간 작동하지 않는 사례를 셀 수 없이 봤습니다. 제안하신 이유도 그런 경험 때문인가요? 아니면 다른 상황을 생각하셨나요?
• @bengeekly — WikiFix는 실제로 어느 페이지가 맞는지 어떻게 판단하나요?
  • @rezgar — WikiFix가 판단하지는 않습니다. “높음 또는 중간 위험 예외를 누가 승인할 수 있나요?” 같은 질문을 여러 선택지와 인용문을 붙여 보여줍니다. 답을 알고 있으면 선택하고, WikiFix가 관련 페이지를 수정합니다. 모르면 페이지나 스페이스 담당자에게 결정을 요청할 수 있습니다. Confluence를 보는 일반 사용자도 페이지에서 “문제 X건 발견” 배지를 보고, 답을 알면 적용할 수 있습니다.
• @petrkovacik — Confluence 문서는 정말 빨리 낡습니다. 유용한 기능이네요. 오래된 스크린샷도 잡아내나요?
  • @rezgar — 지금은 잡아내지 못하지만 흥미로운 사례입니다. 가이드나 런북에 들어간 오래된 UI 스크린샷을 말하는 건가요? 새 화면과 다른 스크린샷이나 실제 UI와 맞지 않는 스크린샷을 찾는 기능을 생각하셨나요? 자체 UI와 외부 서비스 UI가 바뀌면서 기능이나 위치가 달라지고 안내가 낡는 일은 흔합니다. 검토할 문제로 보고 있지만 쉽게 구현할 수 있는 기능은 아닙니다. 문서에서 자주 겪는 문제인가요? 더 설명해 주실 수 있나요?
• @camille_messer — 잘못된 발견 결과가 5건 중 1건이라고 게시물에 적어 둔 점이 좋습니다. 출시 글에서 그런 내용을 빼는 경우가 많은데, 덕분에 나머지 설명도 더 믿음이 갔습니다.
  • @rezgar — 감사합니다, Camille. 가장 좋은 모델을 써도 잘못된 결과를 완전히 걸러낼 수는 없습니다. WikiFix의 큰 부분은 결과를 검토하고 점수를 매겨 품질을 관리하는 일입니다. 드물게 쓸 만한 항목 하나를 찾으려고 AI가 만든 잡음을 뒤지고 싶은 사람은 없습니다. 기본값에서는 가장 신뢰도 높은 결과만 보여주지만, 법률·의료·컴플라이언스처럼 중요한 상황에서는 원하면 신뢰도가 낮은 결과까지 펼쳐볼 수 있습니다.
• @galdayan — 장애 대응 중 런북이 깨졌다는 예시가 와닿았습니다. 오래된 문서 때문에 가장 큰 손해를 보는 순간은 바로 그때고, 믿고 있던 페이지가 8개월 동안 갱신되지 않았다는 사실을 그때 알아차리는 건 최악입니다. 모순 탐지에 관해 궁금한 점이 있습니다. 두 페이지가 서로 다르면 한쪽이 틀린 경우뿐인가요? 아니면 기능 동작이 바뀌기 전과 후를 각각 설명하는 것처럼 서로 다른 시점에 둘 다 맞는 경우도 보여주나요? “어느 답이 맞나요?”라고 묻는 방식은 정답이 하나라고 가정합니다. Dial에서 문서가 낡아 생긴 가장 골치 아픈 문제 중 하나는 서로 다른 달에는 둘 다 맞았던 설명인데, 작성 시점을 표시하지 않은 경우였습니다.
  • @rezgar — 흥미로운 질문입니다, Gal. 그런 문서가 함께 남아 있어도 괜찮고, 각 문서가 어느 버전이나 달을 설명하는지 분명히 하고 싶다는 뜻인가요? 문제에는 탐지와 해결, 두 부분이 있습니다. 보통 탐지가 더 까다롭습니다. WikiFix는 지금도 서로 동시에 참일 수 없는 문장을 찾아 알리고 보고서와 해당 페이지에 표시합니다. 현재 해결 단계는 주로 편의를 돕습니다. 사람이 5분 동안 문서를 고치는 대신 AI가 수정 초안을 작성합니다. 내용을 똑같이 맞추는 대신 적절한 주석을 붙이는 방법도 있습니다. 보통은 이런 문제를 어떻게 처리하나요? 내용을 수정해 월이나 버전을 분명히 표시하나요? 편집자가 기억을 바탕으로 판단하나요, 아니면 참조할 데이터나 메타데이터가 있나요? 한 페이지에서 변경 전과 후를 설명하는 사례는 탐지하지 않습니다. 한 문서 안의 변경 전후 설명이나 좋은 예와 나쁜 예는 실제 모순보다 훨씬 흔합니다. 이를 모순으로 잡으면 원치 않는 오탐이 쏟아지기 때문입니다.
  • @galdayan — 솔직히 말하면 체계적으로 처리하지 않습니다. 누군가 Slack에 페이지를 누가 썼는지, 아직도 맞는지 물어보는 정도입니다. 버전이나 월 표시가 전혀 없고, 그래서 서로 다른 시점에는 맞았던 두 페이지를 구분하지 못했습니다. 탐지와 해결을 나눠 생각한다는 설명은 이해가 됩니다. 한 페이지 안의 변경 전후 설명은 일부러 범위에서 제외한다는 점도 알게 되어 좋습니다. 모순 검사는 작성 시기가 가까운 페이지끼리만 비교하나요? 아니면 1년 전 페이지와 지난주 페이지가 다를 때도 똑같이 표시하나요?
  • @rezgar — 현재는 작성 날짜를 기준으로 구분하지 않습니다. 선택한 스페이스 안에서 문서끼리 모순되면 날짜와 상관없이 표시합니다. “서로 X개월 이내에 생성 또는 수정된 문서만 표시”하는 필터는 기술적으로 간단히 추가할 수 있습니다. 어떤 상황에서 필요한지 더 알려주실 수 있나요?

원문: Product Hunt / 번역·요약: Trawling