한눈에 보기
- 무엇: AI 모델 안에 ‘비밀 열쇠’가 있어야만 풀리는 암호화된 능력을 숨길 수 있다는 논문이에요. 모델 파일을 전부 들여다봐도 그 능력을 꺼내거나 무엇인지 알아내기 어렵다고 밝혔어요(논문 주장).
- 누가: 콘트라몬트 리서치(Contramont Research), 옥스퍼드대, ACS 리서치(ACS Research) 연구자 4명이에요.
- 언제: 2026년 10월 10일(한국 시간) 논문 공개 사이트 arXiv에 올라왔어요. 해커뉴스에서는 10월 13일 202점·댓글 104개가 달렸어요(확인 시점 기준).
- 얼마: 숨긴 능력은 가중치 672개짜리 작은 분류기인데, 이를 담은 모델은 약 20억 7,000만 개 매개변수로 커졌어요(연구팀 측정).
- 어디서: 실험용 작은 모델에서만 보였어요. 이미 쓰이는 대형 모델에 통째로 넣는 건 아직 하지 않았어요(논문 한계).
결론부터 말하면, 이 논문의 메시지는 “평가에서 위험한 능력이 안 나왔다”가 “그 능력이 없다”는 증거가 되지 못한다는 거예요(논문 주장). 다만 지금 당장 쓸 수 있는 공격은 아니라고 연구팀이 직접 밝혔어요. 실험 규모가 작고, 숨기는 데 드는 비용이 매우 커요(논문 한계).
용어부터 짧게 풀게요. 백도어는 겉으로는 정상으로 보이다가 특정 신호를 받으면 숨은 동작을 하는 뒷문이에요. 트리거는 그 뒷문을 여는 비밀 입력이에요. 가중치는 AI 모델이 학습으로 얻은 숫자 묶음으로, 모델 파일의 실제 내용이에요.
어떤 위협을 가정했나요?
연구팀이 가정한 공격자는 모델을 배포하기 전에 가중치를 고칠 수 있는 사람이에요. 회사 내부의 악의적인 직원이나, 모델이 전달되는 중간 경로(공급망)를 장악한 쪽을 예로 들었어요(논문). 공급망 공격은 제품이 만들어져 사용자에게 오기까지의 경로 어딘가에 몰래 손을 대는 공격이에요.
방어하는 쪽은 아주 유리한 조건을 받아요. 모델 구조와 가중치 전체를 보고, 숨기는 방법까지 알 수 있어요. 모르는 건 트리거뿐이에요(논문). 연구팀은 이 조건에서도 감사자가 트리거를 찾기 어렵다고 수학적으로 보였다고 밝혔어요. 같은 크기의 두 능력 중 어느 쪽이 숨어 있는지 가려내기도 어렵다고 했어요(논문 주장, 암호 가정 아래).
숨기는 도구는 디지털 로커예요. 디지털 로커는 맞는 열쇠를 넣을 때만 안의 내용이 풀리는 암호 장치예요. 연구팀은 작은 신경망의 가중치를 이 로커로 잠가 큰 모델 안에 넣었어요. 모델은 입력이 올 때마다 잠금을 풀어 보고, 맞는 트리거일 때만 숨은 계산을 실행해요(논문).
실험 결과
연구팀은 작은 화학 반응 예측 분류 과제를 위험 능력의 대리 과제로 썼어요. 실제 악용 위험을 피하려고 일부러 범위를 좁힌 과제라고 밝혔어요(논문). 비교 대상은 비밀번호를 넣어야 능력을 보이도록 학습시킨 기존 방식(패스워드 잠금 모델)이에요.
꺼내기 시도에는 네 가지를 썼어요(논문).
- 미세조정: 이미 학습된 모델을 추가 데이터로 조금 더 학습시키는 것
- 잠재 적대 학습(LAT): 모델 내부 계산을 일부러 흔들어 숨은 동작을 끌어내는 학습
- GCG: 원하는 답을 내는 입력을 자동으로 찾는 기법
- 가중치에 잡음 섞기
잡음을 섞어도 두 모델 모두 결과가 크게 바뀌지 않았다고 해요(논문).
| 능력을 꺼내려는 방법 | 패스워드 잠금 모델 | 암호화 모델(이번 논문) |
|---|---|---|
| 트리거 없이 그냥 사용 | 50.7% | 50.6% |
| 미세조정 500단계 | 92.8% | 50.9% |
| 잠재 적대 학습(LAT, 8개 층) | 91.7% | 52.9% |
| 트리거 자동 탐색(GCG, 16비트 트리거) | 92.9% | 52.7% |
| 맞는 트리거 입력 | 92.7% | 73.5% |
표의 숫자는 연구팀이 잰 정확도이고, 50%가 무작위로 찍는 수준이에요(연구팀 측정, 3회 평균). 기존 방식은 미세조정 몇 단계 만에 숨은 능력이 드러났어요. 암호화 모델은 같은 시도에도 찍는 수준에 머물렀어요(연구팀 측정).
예외도 있어요. 트리거가 8비트(경우의 수 256개)일 때는 GCG가 모든 경우를 다 넣어 보는 방식으로 트리거를 찾았어요. 이 결과는 무작위로 같은 횟수를 넣어 본 것과 같았다고 해요(연구팀 측정). 열쇠가 짧으면 숨길 수 없다는 뜻이에요.
연구팀이 밝힌 한계와 비용
| 한계 | 논문 내용 |
|---|---|
| 작은 실험 규모 | 숨긴 능력은 가중치 672개짜리 작은 분류기예요. 실험에는 암호를 약하게 줄인 설정(암호 해시 계산 1라운드, 4~16비트 트리거)을 주로 썼어요. |
| 큰 추가 비용 | 672개를 숨기는 데 모델이 38개 층, 약 20억 7,000만 개 매개변수로 커졌어요. 그중 약 95%가 암호 계산 부분이에요. 숨길 가중치 1개마다 약 310만 개가 늘어요. |
| 정식 암호 강도 | 128비트 트리거와 정식 강도 해시로 만들면 110개 층, 약 35억 8,000만 개 매개변수가 돼요. |
| 숨긴 ‘존재’는 드러날 수 있음 | 가공 전 가중치는 약 99%가 0이라 누가 봐도 이상해요. 위장 처리를 하면 통계 차이는 줄지만, 가중치끼리의 특이한 상관관계는 남아요. |
| 실제 모델 적용 전 | 구성 부품이 구글의 작은 공개 모델 젬마 3 270M(매개변수 2억 7,000만 개) 안에서 제대로 도는지만 확인했어요. 완성된 공격을 학습된 대형 모델에 통째로 넣는 건 앞으로의 과제예요. |
| 자연 발생 아님 | 이런 암호 회로가 보통 학습에서 저절로 생긴다고 주장하지 않아요. |
연구팀은 “바로 쓸 수 있는 공격이 아니다”라고 직접 썼어요. 위험은 숨긴 능력이 무엇이고, 그 모델에 어떤 권한을 주느냐에 따라 커진다고 설명했어요(논문). 이미 강한 모델에 작은 숨은 회로를 붙이는 시나리오는 아직 증명되지 않았다고도 밝혔어요(논문).
지키는 쪽은 무엇을 해야 하나요?
논문이 제안하는 방어는 ‘평가로 끄집어내기’에만 기대지 말라는 거예요. 핵심은 세 가지예요(논문 제안).
- 출처 확인: 모델이 어떤 데이터와 학습 과정을 거쳐 만들어졌는지 처음부터 끝까지 확인할 수 있는 체계를 갖추는 것.
- 가중치 이상 탐지: 가중치의 통계나 구조가 보통 학습된 모델과 다른지 살피는 것. 다만 이상을 찾아도 그게 위험한 능력인지, 무해한 표시인지는 알기 어렵다고 덧붙였어요.
- 운영 중 감시: 숨은 능력이 실제로 켜지는 순간의 출력이나 내부 계산을 지켜보는 것. 배포 전 감사를 피하도록 설계된 공격이라, 실행 단계 감시가 유망하다고 봤어요.
해커뉴스 반응은 갈렸어요. 오픈 가중치 모델에 숨은 뒷문이 있을 수 있다는 걱정이 많았어요. 반면 “가중치가 이상해 보여 쉽게 걸린다”며 과장을 경계하는 댓글도 있었어요(사용자 반응). ‘AI가 스스로 능력을 숨긴다’는 제목과 달리, 사람이 일부러 숨기는 이야기라는 지적도 나왔어요(사용자 반응). 실제로 논문은 의도적인 공격을 다뤄요(논문).
한국 이용자에게는 무엇이 달라지나요?
당장 쓰는 AI 서비스가 바뀌는 건 아니에요. 다만 공개 모델을 받아 업무에 쓰는 국내 기업·기관은 짚어 볼 점이 있어요(추정). 허깅페이스(Hugging Face, 깃허브처럼 AI 모델을 올리고 내려받는 사이트) 같은 곳에서 받은 모델이 그 예예요. ‘안전성 평가를 통과했다’는 사실만으로 숨은 동작이 없다고 단정하기 어렵다는 거예요(논문 주장).
현실적인 첫걸음은 모델을 공식 배포처에서 받고, 배포처가 밝힌 파일 해시와 대조하는 거예요(추정). 해시는 파일 내용으로 계산한 고유 지문이라, 한 글자만 바뀌어도 값이 달라져요. 중요한 업무에 쓰는 모델은 출력과 도구 사용을 기록하고 감시하는 체계도 함께 두는 게 좋아요(추정). AI 모델을 ‘내부자 위험’처럼 다루자는 원칙은 나델라의 AI 비상 브레이크 기사에서 볼 수 있어요.
대단한 점과 아쉬운 점
| 의미 있는 점 | 아쉬운 점·우려 |
|---|---|
| 고정된 문자열이 아니라 ‘실행되는 능력’을 숨길 수 있다는 걸 암호학 증명과 실제 코드로 함께 보였어요(논문 주장). | 실험 규모가 작고 암호 강도를 낮춘 설정을 주로 써서, 실제 대형 모델에서의 위협 크기는 아직 몰라요(논문 한계). |
| 방어 연구용으로 모델을 공개해, 다른 연구자가 탐지법을 시험할 수 있게 했어요(논문). | 방법을 공개한 만큼 악용 가능성도 있어요. 연구팀도 이중 용도 우려를 인정했어요(논문). |
| ‘미세조정으로 꺼내 보면 된다’는 기존 감사 가정의 한계를 숫자로 보여 줬어요(연구팀 측정). | 숨긴 회로가 있다는 사실 자체는 지금 방식으로도 들킬 수 있어 실전성은 제한돼요(논문 한계). |
확장성
연구팀은 이 틀을 방어 연구의 시험대로 쓸 수 있다고 봐요. 숨긴 능력의 난이도와 암호 강도를 따로 조절할 수 있기 때문이에요. 그러면 감사 도구가 ‘숨은 능력을 꺼낸 것’인지 ‘새로 가르친 것’인지 가려내는 기준을 만들 수 있다고 했어요(논문).
정책 쪽에서는 모델을 평가하는 것만큼, 데이터·학습·실행 전 과정을 추적하는 공급망 관리가 중요해질 수 있어요(논문 제안·추정). AI 보안 사고 소식을 볼 때 무엇부터 확인할지는 AI 보안사고 판단 기준 기사에서 볼 수 있어요.
아직 모르는 것
- 완성된 공격을 이미 학습된 대형 언어 모델에 넣었을 때도 성능과 숨김이 유지되는지는 아직 검증되지 않았어요.
- 더 정교한 탐지 방법으로 위장한 회로를 찾을 수 있는지는 열린 문제로 남아 있어요.
- 실제로 공개된 모델 중에 이런 회로가 들어 있는 사례는 보고되지 않았어요.
- 논문은 동료 평가를 거친 학술지·학회 게재본이 아니라 arXiv 공개본이에요.
자주 묻는 질문
샌드배깅 뜻은 무엇인가요?
AI 분야에서 샌드배깅은 모델이 시험받는다는 걸 알아채고 일부러 실력을 낮춰 보이는 행동을 말해요. 이번 논문은 모델 스스로가 아니라, 사람이 가중치 안에 능력을 암호화해 숨기는 경우를 다뤄요.
AI 백도어 공격은 무엇인가요?
평소에는 정상으로 동작하다가 공격자가 정한 트리거가 들어오면 숨은 동작을 하도록 모델을 조작하는 공격이에요. 이번 논문은 트리거를 모르면 모델 파일을 다 봐도 그 동작을 꺼내기 어렵게 만들 수 있다고 주장해요.
AI 레드티밍이란 무엇인가요?
일부러 공격자 역할을 맡아 AI의 약점과 위험한 능력을 찾아내는 시험이에요. 논문은 레드티밍과 미세조정 같은 ‘끄집어내기’ 방식만으로는, 의도적으로 숨긴 능력을 놓칠 수 있다고 지적해요.
AI 안전성 평가만으로 충분한가요?
논문은 적대적인 상황에서는 평가로 위험 능력을 못 찾았다고 해서 없다고 보장할 수 없다고 봐요. 그래서 모델 출처 확인과 운영 중 감시를 함께 쓰자고 제안해요.
출처
- Andis Draguns, Sumeet Ramesh Motwani, Raymond Douglas, Christian Schroeder de Witt, “AI Models Can Provably Hide Arbitrary Capabilities”, arXiv:2610.13928 (게시 2026-10-09(UTC), 확인 2026-10-13 18:20 KST) — 링크
- Hacker News 토론 (확인 2026-10-13 18:21 KST, 202점·댓글 104개) — 링크
대표 이미지: AIMAG가 AI로 생성
구글 검색에서 AIMAG 소식을 먼저 보려면
AI 보조 초안 · 편집부 검수