AI 생성 수학 결과를 책임 있게 공개하는 방법

AI 요약

AGMAI(Advancing Generative Mathematics and AI)는 AI 연구소가 만든 수학 결과를 공개할 때 지켜야 할 권고안을 발표했습니다. 출발점은 일부 선도 연구소가 과학계에 공개하지 않은 독점 모델로 고난도 수학 문제를 시험한다는 상황입니다. 저자들은 이런 관행에 동의하지 않으며 중단을 요청한다고 밝힙니다. 수학 연구는 저자가 증명을 이해하고 정확성을 확인하며 결과에 책임지는 관행을 바탕으로 삼아 왔지만, 이제는 AI를 지시한 사람도 결과를 이해하거나 검증하지 못하는 경우가 생긴다는 문제의식입니다.

이 권고안은 수학자 600명 넘게 보낸 의견을 참고해 작성했습니다. 큰 원칙은 세 가지입니다. AI 연구소가 중요한 수학 결과를 얻으면 책임 있게 가능한 한 빨리 공개해야 합니다. 결과에 인간의 이해가 뒤따르지 않는다면 이해를 돕는 지원, 특히 연구비를 제공해야 합니다. 다만 이해를 발전시키는 과정은 연구소가 지휘하지 말고 수학 공동체가 주도해야 합니다.

사람이 이해하는 논문과 그렇지 않은 논문

수학자가 결과를 완전히 이해하고 책임질 수 있다면 기존 학술 관행을 따릅니다. 프리프린트를 공개하고 학술지 심사를 거치며, 세미나와 학회 발표로 다른 연구자에게 설명합니다. 반면 AI를 지시한 사람을 포함해 누구도 결과를 이해하지 못한다면 연구소에 추가 책임이 있다고 봅니다.

공개 단계에서 요구하는 기술·학술 기준

연구소는 결과를 공개하기 전에 관련 문헌을 조사하고, 증명에 쓰인 아이디어가 먼저 등장한 논문을 인용해야 합니다. 모델이 독립적으로 아이디어를 찾았더라도 선행 연구를 밝혀야 한다는 권고입니다. 또 LLM을 활용해 전통적인 수학 논문에 맞는 설명을 준비해야 합니다. 친절한 도입과 정확한 정리·증명을 갖추고, 장황한 설명이나 비표준 용어 때문에 내용을 파악하기 어려운 글은 피해야 합니다. 모델만으로 충분한 품질을 내기 어렵다면 공개 뒤 수학자의 작업이 필요할 수 있지만, 연구소가 할 수 있는 최선의 작업을 다해야 한다고 명시합니다.

결과는 연구소가 통제하지 않는 학술 저장소에 신속히 올려야 합니다. 저장소는 지속적으로 인용할 식별자를 제공하고 수정 이력을 남겨야 하며, AI 생성 논문에 의견을 달 수 있는 기능도 권장합니다. 수학 결과를 모델 홍보 수단으로 쓰면서 공동체에 부정적 영향을 주는 관행도 자제하라고 합니다.

각 결과와 함께 모델 이름, 사용한 프롬프트, 요약된 사고 과정, 소요 시간, 추정 계산 비용을 공개해야 합니다. 정리하기 전의 초기 출력처럼 생성 과정을 파악할 자료도 추가로 내놓기를 권합니다. 가능하면 증명을 Lean 등으로 형식화하고, 저작권 헤더와 비교기용 challenge 파일, formalization.yaml 같은 공동체 표준을 갖춰야 합니다. 자연어 증명과 형식 증명을 연결하는 기계 판독 메타데이터도 도움이 됩니다. 형식화 때문에 공개가 크게 늦어지면 현재 상태를 분명히 밝혀야 합니다.

문제를 고른 과정과 AI를 사용한 방식을 결과마다 기록해야 합니다. 여러 결과를 한꺼번에 발표할 때는 비슷한 난도의 다른 문제를 몇 개 시도했고 얼마나 실패했는지, 문제를 어떤 기준으로 골랐는지 설명하는 문서도 공개하라고 권합니다.

인간의 이해를 뒷받침하는 지원과 모델 접근성

결과의 복잡성과 중요도에 따라 연구소는 이해를 돕는 활동에 자금을 지원해야 합니다. 복잡한 증명이나 새로운 연구 방향을 여는 결과라면 학회나 여름학교를 열 수 있습니다. 특정 주제를 다루는 워크숍과 장기 연구 모임, 박사후연구원이나 학생의 연구비, 해설서와 긴 해설 논문도 지원 대상 사례로 듭니다. 지원을 받는 일이 연구소의 기존 관행에 정당성을 부여하는 것은 아니며, 결과를 낸 연구소가 인간의 이해를 발전시킬 책임을 이행하도록 요구하는 일이라고 덧붙입니다.

비공개 내부 모델이 수학 연구에 쓰이면 연구소가 수학 공동체보다 앞서 나가고, 연구자들이 자기 분야에서 소외되는 두 계층 구조가 생길 수 있다고 우려합니다. 공개 모델도 비용과 기술 접근성 차이 때문에 불평등을 키울 수 있으므로, 전 세계 수학 공동체가 모델을 폭넓고 공정하게 이용하도록 하라고 촉구합니다. 수학의 진전에는 결과 검증과 개념을 엮는 작업, 공동의 직관이 필요하며, 최첨단 도구가 일부에게만 열리면 이런 과정이 어려워진다는 주장입니다.

Hacker News 반응

• @throwaway713 — “독점 모델로 고급 수학 문제를 시험하지 말라”는 요청은 누군가에게 숨 쉬는 방식을 제한하라는 말처럼 들립니다. 수학은 누구나 원하는 대로 다룰 수 있는 숫자와 기호입니다. 기여한 사람의 공로를 제대로 인정하라는 요청은 타당하지만, 여기서는 거대 텍스트 말뭉치로 학습하지 않은 모델까지 포함해 고급 ML 모델 전반에 중단을 요구하는 것처럼 보입니다.
  • @omnicognate — 공기는 누구나 쓸 수 있는 무료 자원이며 생존에 필요합니다. 반면 AI 기업은 대규모 자본과 인력, 연산 자원을 들여 전문 모델을 운영하고 이를 대중에게 공개하지 않습니다. 이 자문단은 그런 사유 기술을 수학 공동체에 불필요한 피해를 주지 않도록 책임 있게 쓰라고 비구속적 조언을 합니다. 이를 게이트키핑이라고 부르면 요점을 놓칩니다.
• @seanhunter — 이 글은 수학자를 AI로부터 보호해 달라는 요청이 아닙니다. AI 연구소가 동료 심사와 발표 같은 수학 공동체의 규범을 따르고, 표준 용어로 결과를 이해하기 쉽게 쓰며, 활용한 선행 연구를 제대로 인정하라는 요청입니다. 연구 수학은 협력 활동입니다. 홍보 효과를 키우는 방식으로 결과를 내놓으면 수학적 가치를 많이 남겨두게 됩니다.
  • @knuckleheads — 기존 기준을 유지하자는 요구도 AI로 인한 변화로부터 보호하려는 형태입니다. 수학자들은 AI가 만든 새 규범에 맞추기보다 기업이 자신들의 관행을 따르길 바랍니다. 그 마음은 이해하지만, 생활 방식을 바꾸지 않으려는 요구이기도 합니다.
• @curt15 — 독점 모델의 문제는 무엇을 하고 어떤 방식으로 답을 냈는지 들여다볼 수 없다는 점입니다. 수학자는 결과 자체뿐 아니라 증명의 통찰과 방법을 분석합니다. AI 결과도 중간 추론을 살펴볼 수 있어야 인간이 놓친 편향이나 패턴을 찾는 데 보탬이 됩니다. 그렇지 않으면 결과를 오라클이 내놓은 것처럼 받아들여야 합니다.
  • @semiquaver — 가상의 완전한 오픈소스 모델도 같은 문제를 갖습니다. LLM은 창발 현상에 기대며, 왜 작동하는지 아무도 이해하지 못하기 때문입니다.
  • @trhway — 아닙니다. 수학 결과는 증명을 포함할 때 결과가 됩니다. 여기서 중요한 것은 증명입니다. 뉴턴이 어떤 과정을 거쳐 결과를 얻었는지 알 필요는 없습니다. AI의 추론 과정은 과학적 가치가 없는 역사적 호기심에 가깝습니다.
• @kingstnap — 증명을 읽기 좋게 다듬고, 선행 연구를 인용하고, 댓글을 달 수 있는 곳에 빨리 공개하며, 검증 자료를 함께 내라는 제안은 대체로 논란의 여지가 없습니다. 논쟁적인 부분은 독점 모델의 벤치마크로 오랜 수학 난제를 쓰지 말라는 입장입니다. 연구소가 나머지 분야보다 앞서면 수학 공동체가 자기 분야에서 소외될 수 있습니다. 연구소가 해설 활동에 자금을 지원해야 한다는 권고는 누가 부담해야 하고, 지원 대상은 어떻게 정할지 논의가 필요합니다.
• @Animats — 이 글은 AI 기업이 AI 생성 결과를 이해하도록 수학자에게 돈을 내라고 합니다. 특이한 요구입니다.
  • @unddoch — 중요한 수학 문제를 풀려고 에이전트 1만 개에 1천만 달러를 쓴다면, 나온 결과를 이해하도록 지원금을 요청하는 것도 합리적이라고 생각합니다. 기업이 수학자를 직접 고용할 수도 있지만 박사과정 학생에게 주는 연구비가 더 저렴할 겁니다.
  • @eli_gottlieb — 계산 자원을 더 쓴다고 AI가 만든 엉성한 글이 명확하고 읽기 쉬운 논문으로 바뀌지는 않습니다.
• @joeldw — 진전에는 발견과 이해가 모두 필요하다고 생각합니다. 발견은 증명과 알고리즘을 만들며 분야의 경계를 넓힙니다. 이해는 그 지식을 퍼뜨려 다음 연구가 새 결과를 발판으로 삼게 합니다. 이해는 유용성을 가늠하는 기준입니다. AI가 발견을 가속하더라도 진정한 진전에는 이해가 그만큼 중요합니다.
• @yuzuquat — 지금은 대규모 에이전트 무리를 쉽게 돌릴 수 있는 선도 연구소를 주로 비판하지만, 비용이 내려가고 모델이 나아지면 작은 조직도 같은 능력을 갖출 수 있습니다. OpenAI는 나비에-스토크스 문제를 풀 때 출력 토큰 약 3천억 개를 썼다고 했습니다. 동기 있는 수학자 몇 명이 6~12개월 안에 비슷한 규모의 에이전트 무리를 직접 돌리지 못하게 막을 것은 무엇인지 궁금합니다. AI 수학과 수학 공동체 사이의 불안한 휴전은 오래가지 않을 수 있습니다.

원문: AGMAI / 번역·요약: Trawling