오픈AI 수학 논문 722편 공개와 3편 철회, 수학자들의 반응과 FFT 논문 비판(업데이트)

업데이트 2026-10-13: 위고 뒤미닐코팽 교수의 반응과 벤 레흐트의 FFT 논문 비판을 더하고, 글 형식을 새로 정리했어요. 처음 게시는 2026-10-10이에요.

결론부터 말하면, 문제는 “AI가 수학을 풀었느냐”보다 “검증 안 된 결과를 한꺼번에 내놓아도 되느냐”예요. 철회는 빨랐지만, 수학자들은 공개 방식과 일부 결과의 쓸모를 두고 비판을 이어 가고 있어요.

하루 만에 3편 철회, 14편 수정

오픈AI는 2026년 10월 7일(미국 시간), 전날 공개한 수학 논문 가운데 3편을 철회했어요. 공개 저장소의 변경 기록(history.md)에 따르면 ‘Algebraicity of Weil classes on split abelian eightfolds’ 논문에서 부호 오류가 나왔어요. 이 때문에 핵심 논증 하나가 성립하지 않게 됐고, 그 구성을 가져다 쓴 논문 2편도 함께 무너졌어요.

• Algebraicity of Weil classes on split abelian eightfolds
• Algebraicity of Kuga–Satake Correspondences for K3 Surfaces
• The rational Hodge conjecture for products of K3 surfaces

같은 날 다른 논문 14편도 고쳤어요. 증명의 빈틈을 메우고, 잘못된 진술과 전제 조건을 바로잡고, 낡은 인용 하나를 고쳤다고 해요. 고친 논문을 인용하는 13편도 참고문헌을 새로 맞췄어요. 철회된 논문에는 무엇이 틀렸는지 설명하는 안내문이 붙었고, 원래 원고는 보관본으로 남았어요.

오픈AI가 공개한 것은 무엇이었나요?

오픈AI는 10월 6일 아직 내놓지 않은 내부 모델로 얻은 수학 결과를 깃허브에 올렸어요. 처음 논문은 722편, 서로 이어진 논문을 묶은 ‘결과 묶음’으로는 372개였어요. 챗GPT에서 쓰는 공개 모델(GPT-6 기사 참고)이 만든 결과는 아니에요.

오픈AI는 모델에 약 4,000개 문제를 냈고, 결과 하나에 평균적으로 챗GPT 프로가 약 3시간 생각하는 만큼의 계산을 썼다고 밝혔어요. 저장소 안내문에는 처음부터 “형식 검증을 거치지 않은 결과 가운데 일부는 문제가 있을 수 있다”는 문구가 있었어요. 린은 증명이 맞는지 컴퓨터가 한 줄씩 확인하게 해 주는 언어예요. 나머지 약 58%는 아직 사람이 쓴 글 형태의 증명에 기대고 있어요.

수학자들은 어떻게 반응했나요?

리트랙션 워치(Retraction Watch)가 전한 반응은 이래요.

• 코넬대 알렉스 타운센드 부교수는 오류가 더 나올 것으로 본다며, “컴퓨터로 검증을 마친 논문부터 먼저 발표했어야 했다”고 말했어요.
• MIT 앤드루 서덜랜드 선임연구원은 빠른 조치를 “책임 있는 행동”이라고 평가하면서도, “잃어버린 신뢰를 되찾으려면 훨씬 더 많은 것이 필요하다”고 했어요.
• 인간 수학 협회(Association for Human Mathematics)는 “700개가 넘는 파일을 한꺼번에 내놓는 것은 학문의 증명이 아니라 힘의 과시”라고 비판하며 협업 중단을 촉구했어요.
• 필즈상 수상자 테런스 타오 UCLA 교수는 공개 몇 시간 전 매스토돈에, 문제를 처음 푸는 데만 가치를 두는 방식이 “지속할 수 없는 지경”이 됐다고 썼어요. 풀이를 설명하고 공동체를 키우는 일이 더 중요해질 것이고, AI도 거기에 기여할 수 있다고 덧붙였어요.

오픈AI 대변인은 내부 점검에서 오류를 찾았고, 오류가 확인되면 빠르게 고치거나 철회하겠다고 밝혔어요. 자문단이 형식 검증을 기다리지 말고 공개하라고 권했고, 결과의 약 절반은 검증 전에 공개됐다고 설명했어요.

뒤미닐코팽 교수는 뭐라고 했나요?

2022년 필즈상 수상자 위고 뒤미닐코팽(Hugo Duminil-Copin)은 10월 8일 프랑스수학회(SMF) 세미나에서 “수학에서 AI의 심각한 정렬 결함, 28일 뒤”라는 제목으로 약 32분간 발표했어요. 발표 영상에서 확인한 내용은 이래요.

• 그가 강연·논문·연구비 신청서에서 언급했던 문제가 모두 풀렸다고 말했어요.
• 그의 연구와 관련된 AI 결과 글은 3,500쪽이 넘고(르몽드), 그가 평생 쓴 분량(약 3,700쪽, 세미나 발언)과 비슷하다고 했어요.
• “어차피 모든 것이 전멸했으니(puisque de toute façon tout a été annihilé)”라는 표현도 썼어요.
• 그래도 할 일로는 증명을 함께 이해하기, 학회 열기, 해설 글 쓰기, AI 없이 연구 이어 가기, 젊은 연구자에게 전하기를 꼽았어요.

르몽드(10월 12일)는 그가 화요일 밤 울다가 딸을 깨웠다고 말한 대목과 ‘16개 문제’라는 숫자를 전했어요. 그는 앞서 8월 30일 블로그 ‘Proofs and Prompts’에도 AI와 수학 연구에 관한 글을 올린 바 있어요.

FFT 논문 비판은 무슨 내용이에요?

공개 논문 중에는 고속 푸리에 변환(FFT)을 다룬 원고가 있어요. FFT는 신호를 주파수로 바꾸는 계산으로, 휴대폰부터 의료 영상까지 거의 모든 곳에 쓰여요. 원고는 정확한 이산 푸리에 변환을 O(n(log n)^1−10−13)번의 연산으로 할 수 있다고 주장해요. 보통 FFT의 n log n보다 아주 조금 빠르다는 뜻이에요.

UC 버클리의 벤 레흐트(Ben Recht)는 10월 12일 블로그 argmin에서 이를 “은하급 알고리즘(galactic algorithm)”이라고 불렀어요. 이론상으로만 빠르고 실제로는 못 쓰는 알고리즘을 가리키는 말이에요. 요점은 두 가지예요.

• 숨은 상수가 너무 커요. 지수의 개선 폭이 10⁻¹³이라 너무 작아서, 실제로 빨라지려면 상상할 수 없이 큰 입력이 필요해요. 레흐트는 ChatGPT에 물어 대략적인 크기를 어림해 보기도 했다고 적었어요.
• 계산 모델이 비현실적이에요. 원고는 복소수를 오차 없이 정확하게 계산하고, 계수 크기에 제한이 없다고 가정해요. 실제 컴퓨터는 정해진 자릿수로 계산하기 때문에, 숫자가 커질수록 이 가정은 맞지 않아요.

같은 글의 댓글에서는 이런 결과가 “n log n이 최선”이라는 증명을 더는 찾을 필요가 없다는 걸 보여 준다는 반론도 나왔어요. 레흐트 본인의 주장이 아니라 독자 댓글이에요.

필즈상 수상자들의 공동 성명이 나왔다는 보도도 있어요. 다만 서명자 명단과 수는 공식 자료로 확인되지 않아 이 글에서는 다루지 않아요.

대단한 점과 아쉬운 점

확장성: 무엇을 해 볼 수 있나요?

• 예전에는 새 증명이 나오면 학술지 심사를 기다렸다면, 이제는 저장소의 변경 기록(history.md)과 린 파일로 검증 상태를 직접 확인해 볼 수 있어요.
• AI가 만든 수학 결과를 인용할 때는 형식 검증 여부와 철회·수정 기록부터 확인하는 게 좋아요.
• 수학 공부나 연구에 쓴다면 결과보다 증명 과정을 따라가며 이해하는 용도로 활용해 볼 수 있어요.

아직 모르는 것

• 남은 719편 가운데 검증 안 된 결과에서 오류가 더 나올지는 알 수 없어요.
• 오픈AI가 공개 방식을 바꿀지, 어떤 모델이 썼는지는 밝혀지지 않았어요.

자주 묻는 질문

철회된 논문은 지울 건가요?

아니에요. 오류 설명을 붙여 보관본으로 남겨 뒀어요.

남은 논문은 믿어도 되나요?

오픈AI는 핵심 결과의 약 42%만 린으로 형식 검증했다고 적었어요. 나머지는 전문가 검토가 쌓이기 전까지 ‘주장’으로 보는 게 안전해요.

출처

1. OpenAI, “Sharing AI progress in mathematics,” 2026-10-06 — 링크
2. OpenAI, openai/math 저장소 README·history.md — 링크
3. OpenAI, “An explicit power saving for the exact discrete Fourier transform” 원고 — 링크
4. Alicia Gallegos, Retraction Watch, 2026-10-08 — 링크
5. Terence Tao, Mathstodon, 2026-10-06 — 링크
6. Hugo Duminil-Copin, SMF 세미나 발표 영상, 2026-10-08 — 링크
7. Ben Recht, argmin, “Faster Fourier Transforms,” 2026-10-12 — 링크
8. David Larousserie, Le Monde, 2026-10-10(프랑스어 원문, 영문판 10-12) — 링크
9. Hugo Duminil-Copin, Proofs and Prompts, “Care for a little more AI?”, 2026-08-30 — 링크

대표 이미지: AIMAG 생성 일러스트

구글 검색에서 AIMAG 소식을 먼저 보려면

AI 보조 초안 · 편집부 검수