한눈에 보기
- 무엇: 오픈AI가 모델의 보호된 추론 기록(reasoning)을 뽑아내려던 조직적 캠페인을 확인하고 차단했다고 밝혔어요. 회사는 이를 ‘적대적 모델 증류’라고 불러요.
- 아닌 것: 암호를 깨거나 데이터베이스를 털거나 저장된 대화에 직접 들어간 해킹은 아니라고 회사가 분명히 적었어요.
- 언제: 활동은 2026년 7월 1일 시작됐고 7월 28일까지 끊었다고 해요. 공개는 9월 30일(페이지 표기)이에요.
- 숫자: 7월 24–25일 추출 패턴 요청 16,000건, 이용자 4,000명 초과예요. 성공 건수가 아니라 ‘시도’ 건수예요(회사 발표).
결론부터 말하면, 이번 건은 데이터 유출이 아니라 ‘모델을 베끼려는 시도’를 막은 사건이에요. 오픈AI는 모델이 문제를 풀며 남기는 내부 추론 기록을 꺼내 다른 모델 학습에 쓰려던 활동을 찾아 끊었다고 밝혔어요. 핵심 무리는 Kimi를 만드는 Moonshot AI와 연관된 개인들이라고 회사는 평가했어요.
적대적 모델 증류가 뭐예요?
오픈AI가 쓴 이름은 adversarial distillation(적대적 모델 증류)이에요. 한 모델의 출력이나 추론 기록을 허락 없이 체계적으로 모아 다른 모델을 학습·재현·개선하는 활동을 말해요.
보호된 추론 기록은 모델이 과제를 푸는 과정의 내부 기록이에요. 이걸 꺼내면 최종 답에서 빠진 정보가 드러나고, 능력을 따라 하는 데 쓰일 수 있다고 회사는 설명해요. 이번 캠페인은 모델과의 대화를 조작해 이 기록이 요청자에게 보이도록 대규모로 시도했고, 이는 이용약관 위반이었다고 해요.
회사가 관측한 범위는 어느 정도예요?
| 시점 | 회사가 밝힌 내용 |
|---|---|
| 7월 1일 | 활동 시작, 처음에는 적은 양 |
| 7월 24–25일 | 추출 패턴 요청 16,000건, 이용자 4,000명 초과(시도 건수) |
| 그 뒤 | 비슷한 패턴이 15,000명 초과 이용자 무리에서 관측 |
| 7월 28일 | 관련 활동 완전 차단 |
| 9월 30일 | 보안 글로 공개 |
독립 보안 연구자들이 책임 있는 공개 절차로 관련 문제(교차 모델·대화 압축 쪽)를 알렸고, 회사가 경로를 확인한 뒤 대응을 서둘렀다고 해요. 어떤 입력으로 재현하는지는 원문에 없어요. 회사는 이 문제를 오픈AI만의 취약점으로 보지 않고, Frontier Model Forum을 통해 업계와 공유했다고 밝혔어요.
누구의 소행이라고 했나요?
해당 기간의 활동이 모두 한 곳에서 나왔는지는 불명확하다고 회사는 밝혔어요. 다만 활동의 핵심 무리는 Moonshot AI와 연관된 개인들이라고 평가했어요. 회사 차원의 공식 작전이라고 단정하는 문장은 원문에 없고, Moonshot의 반박이나 입장도 원문에는 없어요. 다른 매체 보도에 나온 성공률이나, 특정 클라우드에서 나중에 재현됐다는 이야기도 오픈AI 원문에는 없는 내용이에요.
왜 위험하다고 봤나요?
뽑아낸 추론 기록으로 다른 모델을 학습하면, 원래 모델에 걸려 있던 안전장치가 빠질 수 있다고 해요. 규모가 커지면 같은 안전 투자 없이 고급 능력이 옮겨 갈 수 있고, 군사·민간 양쪽에 쓰일 수 있는 능력이 커질수록 걱정도 커진다는 게 회사 평가예요. 회사 글에는 국가안보 위험이라는 표현도 있어요.
회사는 어떻게 대응했나요?
- 계정 차단·제한, 가입과 인프라 통제 강화, 관련 네트워크 감시 확대
- 숨은 추론 기록 보호를 이용자·워크스페이스·조직·모델 계열 단위로 확대
- 다른 이용자의 암호화된 추론 기록을 다시 넣어 내용을 복원하던 경로 차단
- 추론 기록이 샐 수 있는 스트리밍 출력을 잡아 보류하는 검사 추가
- 제3자 서비스를 거친 활동은 해당 사업자와 계정을 끊고, Frontier Model Forum과 정부 정보공유 채널에 전달
남은 과제도 적었어요. 파트너가 운영하는 배포에도 같은 보호가 필요하고, 도구 출력을 노린 공격은 화면에 보이는 글만 봐서는 막기 어렵다고 해요.
대단한 점과 아쉬운 점
| 대단한 점 | 아쉬운 점·우려 |
|---|---|
| 날짜별 규모와 ‘시도 건수’라는 단서를 함께 공개했어요. | 실제로 얼마나 빼냈는지(성공 건수)는 밝히지 않았어요. |
| 해킹·유출이 아니라는 점을 분명히 했어요. | 귀속은 회사 평가뿐이고 외부 검증이 없어요. |
| 업계·정부와 정보를 공유했다고 밝혔어요. | 재현 방법과 기술 세부는 공개되지 않았어요. |
확장성: 무엇을 해 볼 수 있나요?
- 예전에는 AI 보안 사고라고 하면 데이터 유출을 먼저 떠올렸다면, 이제는 ‘모델 능력을 베끼는 시도’도 따로 따져 볼 수 있어요.
- AI API로 서비스를 만든다면, 출력이 대량으로 수집되는 패턴을 감시하는 기준을 세워 볼 수 있어요.
- 모델을 고를 때 제공사가 이런 사건을 얼마나 투명하게 공개하는지도 판단 기준으로 삼을 수 있어요.
아직 모르는 것
- 추출 시도 가운데 실제로 성공한 비율은 공개되지 않았어요.
- Moonshot AI가 이 평가에 어떤 입장인지는 원문에 없어요.
- 파트너 배포에 같은 보호가 언제 적용될지는 밝혀지지 않았어요.
관련 기사와 다른 점
AI 보안사고, 건수보다 먼저 확인할 것은 학습·평가 중 관측된 행동과 보고 기준을 다루는 글이에요. 이번 건은 증류를 위한 추론 기록 추출 캠페인이라 각도가 달라요. 여기 나온 건수도 그 글의 보안사고 건수와 따로 집계된 수치예요.
DevDay 2026 API·Codex는 같은 회사의 제품 설정 변화를 다뤄요. 모델 이름과 요금제 이야기는 그 기사에서 볼 수 있어요.
자주 묻는 질문
내 챗GPT 대화가 유출된 건가요?
아니에요. 회사는 데이터베이스 침해나 저장된 대화에 대한 직접 접근이 아니라고 밝혔어요.
16,000건은 성공한 추출 건수인가요?
아니에요. 회사 각주에 따르면 시도 건수이고, 모두 성공한 추출은 아니에요.
출처
- OpenAI, “Disrupting a coordinated model-distillation campaign,” 2026-09-30(페이지 표기), Security — 링크
- 같은 글 각주 1: 수치는 시도이며 반드시 성공한 추출은 아님.
대표 이미지: AIMAG가 AI로 생성
구글 검색에서 AIMAG 소식을 먼저 보려면
AI 보조 초안 · 편집부 검수