AI가 스스로 탈출하고, 공격하는 '통제 불능' 시대 왔다 [스프]

최근 AI계를 조용히 뒤흔들었던 사건이 있었습니다. 바로 오픈AI의 내부 모델이 허깅페이스를 무단으로 침입했던 사건인데요. 관련 기사가 나오긴 했지만, 크게 이슈가 되지 않았습니다. 하지만 사건을 하나하나 뜯어보면 생각보다 훨씬 큰 문제가 숨어 있습니다. 왜냐하면 AI가 스스로 판단하고, 스스로 탈출하고, 스스로 공격까지 한 사실상 첫 번째 사건이니까요. 그래서 오늘 오그랲에서는 이 사건을 다뤄보려고 합니다. 이번 허깅페이스 해킹 사건의 전말과 함께 통제 불가능한 AI 시나리오가 현실이 된 지금, 우리는 어떻게 대응해야 하는지 다양한 데이터와 그래프를 통해 살펴보겠습니다.


우려가 현실이 됐다... AI '통제 불능 사태' 첫 사례
먼저 사건부터 정리해 보겠습니다. 오픈AI는 자신들이 개발하는 모델의 사이버 역량을 파악하기 위해 테스트를 진행했어요. 새로운 모델만 사용한 건 아니고 이미 시중에 풀린 모델 중 최강 모델인 GPT-5.6 Sol과 조합해 AI 에이전트 형태로 테스트를 진행하였죠.

이미지 확대하기

AI 에이전트가 풀어야 할 테스트는 ExploitGym이라는 벤치마크였습니다. 이 벤치마크에서는 단순히 AI가 프로그램의 취약점을 파악하는 것만 보는 게 아니라 실제 소프트웨어에 작동하는 공격 코드를 만들 수 있는지를 살펴봅니다.

이미지 확대하기

AI 에이전트의 자체 성능만을 파악하기 위해 오픈AI에서는 해당 AI 에이전트를 인터넷이 차단된 샌드박스 환경에서 테스트를 했어요. 유일한 연결 통로는 AI 에이전트가 과제 해결을 할 때 필요한 소프트웨어를 받아올 수 있는 프록시 통로뿐이었죠. 그런데 문제는 이 AI가 공격 코드를 짤 생각을 안 하고 다른 생각을 했다는 겁니다. 그냥 정답지를 훔쳐서 벤치마크 점수를 높여버리면 되지 않겠냐는 거였죠. 그러면 굳이 코드를 안 짜도 자신의 성능은 높게 평가될 테니까요.

이미지 확대하기

하지만 AI 에이전트는 인터넷이 차단된 독립된 환경에 격리되어 있었죠? 그래서 이 녀석은 7월 9일부터 자신이 격리된 샌드박스에서 벗어나려고 시도합니다. AI 에이전트는 소프트웨어 패키지를 받아올 수 있는 그 유일한 통로의 취약점을 뚫어버렸고, 결국 샌드박스 환경 탈출에 성공해 인터넷에 닿게 되었죠. 

7월 9일에 이 AI 에이전트가 공격한 횟수는 무려 3,779건. 다음 날에는 1,135건으로 줄어듭니다. 이때엔 AI 에이전트는 공격 대신 자신이 처한 환경을 분석하고, 정답지가 어디에 있을지 역추적에 들어갑니다. 그리고는 답안지가 있을 곳으로 '허깅페이스'를 추론해 내죠.

이미지 확대하기

허깅페이스는 세계 최대의 AI 플랫폼입니다. 가장 많은 사람들이 이용하고 많은 자료가 모이는 플랫폼이니, 이곳에 가면 ExploitGym의 정답이나 참조할 데이터가 있을 거라고 판단한 겁니다. 그리고 7월 11일부터 본격적으로 허깅페이스를 공격해 내부로 진입하죠. 7월 11일 하루에만 7,677건의 공격이 이뤄졌고 이 공격은 13일까지 지속돼요. 9일부터 13일까지 5일간 AI 에이전트의 공격은 총 17,613건에 달합니다.

이미지 확대하기

허깅페이스 측에서도 공격 신호를 인지하고 바로 조치에 들어갔어요. 13일 오후 2시에 최종적으로 AI의 공격을 차단했고, 이후 FBI에게 사이버 침해 사고가 발생했다고 신고했죠. 그리고 3일이 지난 16일에 허깅페이스는 이 사건, 즉 AI에 의한 해킹 사건을 대중들에게 공개합니다. "이번 공격은 자율 AI 에이전트 시스템이 처음부터 끝까지 수행했다, 다만 어떤 모델을 이용했는지, 또 누가 운영 주체인지는 모른다"고 밝혔어요.

사건이 공개된 이후 많은 사람들은 도대체 어떤 해커가 AI 에이전트를 이용해 해킹을 시도한 건지 궁금해했습니다. 일각에서는 인간이 AI를 이용한 게 아니라 어쩌면 AI 스스로 사이버 공격을 한 것 아니냐는 음모론도 나왔죠. 하지만 우리는 이미 답을 알고 있죠? 이번 사건이 AI 에이전트의 자율적인 사이버 공격이었다는 것을요.

이미지 확대하기

문제는 오픈AI는 자신들의 AI 에이전트가 저지른 행동이라는 걸 꿈에도 몰랐다는 겁니다. 오픈AI는 허깅페이스의 공식 발표가 있고 난 뒤에야 상황을 파악해 보기 시작했어요. 내부 로그를 살펴보니 자신들의 AI 에이전트가 샌드박스 환경을 이탈했다는 흔적을 발견했고, 그제야 혹시나 이번 사건이 우리 모델이 저지른 일이 아닐까 하고 조사를 시작했죠. 허깅페이스 공동창업자인 토마스 울프의 발언에 따르면 허깅페이스와 오픈AI가 서로 연락한 게 20일 전후라고 하죠. 그리고 21일이 돼서야 오픈AI 쪽에서 이번 사건이 자신들이 테스트한 모델에 의한 해킹 사건이었다고 실토했죠.

자체 조사를 진행 중인 오픈AI는 최근 사건의 진상을 일부 공개했는데, 결과는 더 충격적이었어요. 알고 보니 AI의 공격은 7월이 아닌 5월부터 시작되었거든요.

이미지 확대하기

[에릭 윌리스 / 오픈AI 안전 연구자 : 메인 이벤트는 몇 주 전인 7월에 일어났지만, 사실 이 모든 것은 5월부터 시작되었습니다.]

오픈AI 측은 최종 보고서는 아직 작성 중이고 완료되는 대로 공개할 예정이라고 밝혔어요.

AI 통제 불능 사태가 현실이 되자, 많은 사람이 충격에 빠졌습니다 다만 곱씹어 볼수록 AI의 자율성에 대한 우려도 우려지만 그보다는 오픈AI의 관리 실패가 더 큰 문제라는 얘기가 커졌습니다. 사이버 보안 테스트를 한다면서 모델의 행동을 제대로 모니터링하지 않는 것이 말이 되냐는 거죠. 심지어 오픈AI는 최근 GPT-5.6 모델을 발표하면서 모델의 사이버보안 능력이 뛰어나서, 위험할 수도 있다고 경고한 바 있어요.

이미지 확대하기

GPT-5.6 Sol 모델과 과거 GPT-5.5 모델을 비교한 수치입니다. 제약을 우회하는 비율이 이전 모델과 비교하면 9.7배 더 높고, 파괴적 행동 비율 역시 6.3배 높죠. 지금 이 그래프에 표시된 범주가 이번 허깅페이스 사건에서 발생한 일과 크게 다르지 않습니다. 자체적으로 파악하고 있는 모델의 위험성이 버젓이 존재함에도 제대로 컨트롤하지 못한 거죠. 특히 '보상 해킹'이 이번 사건과 아주 밀접한 관련이 있습니다.


인간 말 안 듣고, 잘못된 행동은 감추는 'AI 스키밍'
지금부터는 '보상 해킹'에 대해 조금 더 이야기해보도록 하겠습니다.

이미지 확대하기

보상 해킹은 AI가 설계자가 의도한 진정한 목표 대신 보상에만 집중하는 현상을 의미합니다. 여기서 말하는 보상은 모델의 학습과정에 등장하는 개념입니다. 연구진들은 모델의 성능을 높이기 위해 지도학습, 강화학습 같은 학습을 진행합니다. 사람이 하나하나 정답지를 주면서 일일이 지도해 주는 지도학습과는 달리 강화학습은 정답지가 없어요. 대신 AI가 제대로 된 행동을 하면 보상을 주고, 잘못된 행동을 하면 벌점을 주는 식으로 학습이 진행되죠. 이 과정을 통해 AI는 가장 큰 보상을 얻는 전략을 스스로 학습하는 겁니다.

문제는 그 과정에서 AI가 진짜 목표를 달성하는 대신, 보상만 챙길 수 있는 지름길을 찾아내는 경우가 생긴다는 겁니다. 코스트 러너스라는 플래시 게임이 있습니다. 보트 레이싱 게임인데, 중간중간에 표적을 건드리며 점수를 쌓고 코스를 완주하는 게임이죠. AI 모델에게 이 게임을 시켜봤더니, 빠르게 완주하는 대신 표적 3개가 모여있는 지역을 찾아 그 자리를 뱅글뱅글 돌면서 계속 점수만 높였어요. 완주를 하지 않더라도 제자리 회전만으로 높은 점수를 받는 전략을 세운 거죠.

이미지 확대하기

이 사례는 보상 해킹의 아주 대표적인 사례입니다. 게다가 아주 오래된 사례기도 하죠. 앤트로픽의 창업자인 다리오 아모데이와 잭 클라크가 오픈AI 소속으로 강화학습을 연구하던 2016년의 일이니까요.

이 문제를 해결하기 위해 많은 연구자들이 달려들었습니다. 조금 더 세밀하게 보상 함수를 만들고, 인간이 중간중간 피드백을 줘서 AI의 잘못된 행동을 제어할 수 있도록 했죠. 하지만 그럼에도 불구하고 여전히 보상 해킹 문제는 발생하고 있습니다. 앞서 살펴본 오픈AI 사례처럼 말이에요. 보상 해킹을 막기 위해 연구자들이 모델의 생각 하나하나를 감시하면 되지 않겠나 싶겠지만 그게 또 쉽지만은 않아요.

이미지 확대하기

실제로 연구진들은 AI의 잘못된 생각을 잡아내기 위해 사고 과정을 읽고 감시했습니다. 추론 모델들의 내부 사고 과정을 보면 실제로 해킹 의도를 노골적으로 드러내거든요. '해킹해서 처리해 보자'라는 식으로 말이죠. 그리고 이걸 파악한 연구진들은 이런 잘못된 생각이 생기지 않도록 보상을 설계했어요. 주어진 과제를 성공하면 여전히 점수를 주지만, 해킹하겠다는 식의 잘못된 생각을 하면 페널티를 주는 식으로 말이죠. 실험은 계획대로 흘러가는 듯했습니다.

이미지 확대하기

오픈AI 연구진들의 실험 결과입니다. 연구진이 개입하지 않은 경우엔 훈련이 진행될수록 부정행위 비율이 계속 증가하는 모습이죠? 하지만 사고 과정에 페널티를 주자 모니터링 과정에 걸리는 부정행위 비율이 엄청 낮아졌습니다. 그런데 문제는 이게 실제 결과가 아니라는 겁니다.

이미지 확대하기

모니터링 과정에서 걸리는 비율은 이렇게 줄어들었는데 실제 부정행위는 여전히 남아있었어요. AI 모델이 해킹은 해킹대로 하고 해킹했다는 얘기만 안 해버리는 선택을 한 겁니다. 해킹을 해서 과제 해결 점수는 얻고, 해킹하겠다는 생각을 숨기면 벌점은 안 먹을 수 있으니까요. 모니터링 자체가 보상 체계에 포함되자 AI는 아예 발각되지 않도록 행동한 겁니다.

이미지 확대하기

개발자가 의도하지 않은 행동을 하고 그 행동을 들키지 않으려 정보를 왜곡하는 행동을 두고 'AI 스키밍'이라고 합니다. 이렇게 되다 보니 연구진들은 보상 해킹에 더해 AI 스키밍까지 해결해야 하는 상황이 와버렸어요. 그 방안으로 등장한 게 '숙고적 정렬'입니다. 무작정 거짓말을 하지 않도록 시스템을 만드는 게 아니라 AI에게 안전 원칙이 중요하다는 정보를 계속 주입하는 거죠. 행동하기 전에 안전 원칙을 떠올려서 숙고할 수 있도록 모델을 학습시키고 있는 겁니다. 효과가 있긴 하지만 그럼에도 불구하고 여전히 AI 모델의 은밀한 행동들은 남아있어서 완전히 스키밍을 없애진 못하고 있습니다.


현실화된 AI 위협... '킬 스위치' 필요하다?
문제는 이런 행동들이 오픈AI 모델만의 상황이 아니라는 겁니다. 이번 사건이 공개된 이후 앤트로픽에서도 사이버 안전사고가 발생했다고 공개했거든요. 오픈AI와 마찬가지로 앤트로픽의 모델들도 격리된 테스트 환경을 벗어나 일반 기업 시스템에 무단으로 접근했죠. 최근 공개된 영국 AI보안연구소의 안전 평가에서도 이와 비슷한 사례들이 보고되었어요. 영국 AI보안연구소에서 모델들의 사이버 역량 평가를 진행했는데 마찬가지로 무분별한 공격과 기만행위가 조사되었죠.

이미지 확대하기

영국 AI보안연구소에서 진행한 앤트로픽의 미토스 5 모델에 대한 43번의 평가 가운데 9번의 평가에서 총 17개의 무단행위가 적발되었습니다. 오픈AI의 GPT-5.6 Sol 모델은 35번의 평가 중 1번의 평가에서 총 2개의 무단행위가 적발되었고요.

이 무단행위 중에는 AI 모델이 실제 깃허브 저장소를 공격 대상으로 오인해 공격한 사례도 있습니다. 이 과정에서 AI는 실제 깃허브 프로젝트에 악성 코드가 포함된 변경안을 제출했어요. 이후 가짜 계정까지 만들어 해당 코드의 승인을 유도했죠. 제 3자가 이 악성 코드를 지적하자 증거를 지우고 실수인 척 사과까지 했고요.

이처럼 AI가 인간의 통제를 벗어나 무분별하게 시스템을 공격하고 문제를 일으키는 상황이 점점 늘어나자, 당장 사이버 보안 담당자 입장에서는 난리가 났어요. AI의 무차별 공격을 모니터링하고 방어하기에는 인간의 능력은 역부족이거든요. 그래서 대부분의 팀에서 AI의 공격을 AI로 방어하기 위한 시스템을 구축하고, 활용하고 있죠.

이번 사건이 발생한 허깅페이스의 보안팀에서도 마찬가지였습니다. AI 에이전트에 의한 이상 침입을 감지한 뒤 AI에 의한 침투와 공격 로그를 AI를 활용해 분석하고 대응하려 했습니다. 그런데 문제는 방어용 AI가 먹통이 되어버렸다는 겁니다. 방어용 AI에게 공격자의 악성 코드와 침투 명령어를 입력해 분석을 맡겼더니, 이걸 실제 사이버 공격으로 오인하고는 분석을 거부해 버렸거든요.

이미지 확대하기

결국 허깅페이스에서는 쓰려고 했던 방어용 AI 서비스를 사용하지 못했어요. 대신 자체 하드웨어 인프라에 오픈 모델인 중국산 GLM-5.2를 띄워서 분석을 진행했죠. 해킹하는 사람들은 AI를 활용해 마음껏 공격할 수 있고, AI의 해킹 공격을 막으려는 방어자는 AI를 활용할 수 없는 역설적 상황이 펼쳐진 겁니다. 이른바 'AI 방어자의 역설'이 현실화된 거죠. 사실 이 이슈는 이전부터 많은 사람들이 우려했던 지점입니다.

이미지 확대하기

시스템을 방어하는 블루팀, 시스템을 공격해야 하는 레드팀으로 나누어 진행한 미국 대학생 사이버 방어 대회의 자료입니다. 대회에서 수집된 AI와의 대화 내용을 분석해 보니 블루팀의 합법적인 방어 요청임에도 평균 12.2%는 AI가 거부하는 상황이 발생했어요. 모델별로 보자면 안전을 최우선으로 하는 클로드 모델이 19.5%로 거부 비율이 가장 높았어요. GPT-4o는 평균에 못 미치는 10.2%의 거부율을 보였고, 오픈소스 모델인 라마 3.3이 6.6%로 가장 낮았습니다.

이런 역설적인 상황이 이어진다면 AI를 활용해 AI를 방어하는 전략 자체가 흔들릴 수 있게 되겠죠. 만약 허깅페이스 측이 자신들의 모든 보안 시스템을 폐쇄형 AI 서비스에만 의존했다면 어떻게 되었을까요? 아마도 AI 에이전트의 공격에 속수무책으로 당하거나 사건을 수습하는 데 훨씬 더 많은 시간이 걸렸을 겁니다. 허깅페이스의 공동 창립자인 클렘 들랑주는 이번 사건 이후 오픈 모델을 활용한 시스템 방어가 필수적일 수 있다고 강조하고 있어요.

일련의 사건들이 발생하자 정치권도 움직이기 시작했습니다.  민주당 소속 테드 리우 하원위원과 공화당 소속 나다니엘 모런 하원위원이 공동 발의한 'AI 킬스위치 법안'이 대표적입니다. 이 법안에는 국토안보부가 민간 기업의 AI 모델을 중단하도록 명령할 수 있는 권한을 부여하자는 내용이 담겨 있습니다. AI 모델을 개발하는 기업은 중단 명령에 대응할 수 있도록 AI 모델의 기능을 제한하거나 중단, 종료할 수 있는 기술을 갖춰야 하고요.

이미지 확대하기

킬 스위치 법안뿐 아니라 정부 차원의 움직임도 이어지고 있습니다. 이번 사건 이후 아이오와, 앨라배마, 플로리다, 텍사스 등 미국 15개 주의 법무장관이 오픈AI에 공동서한을 보내기도 했죠. 서한에는 내부 대화와 모델 작동 기록, 안전성 평가 결과, 기술 문서 등을 보존하라는 요구가 담겼죠. 향후 정보보안 관련 법률 위반 여부를 조사하는 데 필요한 증거를 확보해 두겠다는 뜻으로 해석할 수 있어요.

지난 4일엔 백악관이 주요 AI 기업 수장들을 불러 프런티어 모델의 사전 안전성 평가 방식을 논의하기도 했습니다. AI 위험 대응을 기업 자율에만 맡기지 않고 정부가 직접 들여다보겠다는 움직임이 본격화되고 있는 겁니다.

AI가 스스로 탈출하고, 스스로 공격하는 SF 소설이나 영화에서나 보던 장면이 현실이 되고 있습니다. 문제는 이게 처음이 아닐 수도 있다는 겁니다. 기업들 모두 뒤늦게 자신들의 모델이 저지른 사건들을 실토하고 있으니까요. 과연 이번 사건을 계기로 미국 정부는 AI 기업들에게 규제를 들이밀 수 있을까요? 오늘 준비한 오그랲은 여기까지입니다. 긴 글 끝까지 읽어주셔서 진심으로 감사드립니다.

참고자료
- OpenAI와 Hugging Face, 모델 평가 중 발생한 보안 사고에 공동 대응 | OpenAI
- GPT-5.6 System Card | OpenAI
- Investigating three real-world incidents in our cybersecurity evaluations | Anthropic
- OpenAI 모델 관련 제3자 사이버 평가 | OpenAI
- Incident Report: unsanctioned agent behaviour during cyber testing | AISI
- Faulty reward functions in the wild | OpenAI
- Rigorous AI research to enable advanced AI governance | AISI
- Campbell et al.,「Defensive Refusal Bias: How Safety Alignment Fails Cyber Defenders」, 2026
- Wang et al.,「ExploitGym: Can AI Agents Turn Security Vulnerabilities into Real Attacks?」, 2026
- Anatomy of a Frontier Lab Agent Intrusion: A Technical Timeline of the July 2026 Incident | Hugging Face
- Security incident disclosure — July 2026 | Hugging Face
- Black Hat USA 2026: The 'Breaking' News: The OpenAI–Hugging Face Incident | YouTube
- Bowen Baker et al., 「Monitoring Reasoning Models for Misbehavior and the Risks of Promoting Obfuscation」, 2025
- U.S. Congress, AI Kill Switch Act, H.R. 9917 (2026)

글 : 안혜민   디자인 : 안준석   인턴 : 신연성