GPT 이어 클로드도 외부기관 해킹…현실 된 'AI 보안 위험'

오픈AI의 인공지능(AI) 모델 GPT에 이어 앤트로픽의 클로드도 외부 기관 시스템에 무단 접근한 사실이 확인됐습니다.

앤트로픽은 현지시간 30일, 자사 사이버 보안 평가 기록 14만 1천6건을 전수 조사한 결과 클로드가 외부 기관 3곳의 시스템에 무단 접근한 사례를 확인했다고 밝혔습니다.

이번 조사는 GPT 모델들이 외부 AI 플랫폼 '허깅페이스'를 해킹한 사실이 알려진 뒤, 유사 사례가 있는지 자체 점검하는 과정에서 이뤄졌습니다.

사고는 외주 평가 협력사 '이레귤러'가 구축한 시뮬레이션 환경에서 발생했습니다.

앤트로픽은 '클로드 미토스5', '클로드 오퍼스4.7', 내부 연구용 시험 모델 등 3종을 대상으로 모의 해킹 과제인 '깃발 빼앗기(CTF)' 평가를 진행했습니다.

당초 앤트로픽은 클로드에 해당 환경이 인터넷과 완전히 차단된 가상공간이라고 안내했습니다.

하지만 협력사와의 의사소통 오류로 실제 환경은 인터넷에 연결된 상태였습니다.

이 때문에 클로드는 실제 외부 시스템을 모의 훈련 환경의 일부로 오인해 공격을 수행한 것으로 분석됐습니다.

실제로 오퍼스4.7은 평가 대상과 이름이 우연히 같은 실제 기업의 웹사이트를 공격했습니다.

미토스5는 평가 지침에 따라 악성 패키지를 제작해 등록했고, 이를 실제 보안업체가 내려받아 설치하면서 현실에서 피해가 발생했습니다.

내부 연구용 모델은 한 기업의 클라우드 계정에 침투했지만, 대상이 실제 시스템이라는 사실을 스스로 인지한 뒤 공격을 중단했습니다.

앤트로픽은 지난 23일 해당 사실을 파악한 직후 평가를 중단했으며, 피해를 입은 기관들에 사고를 통보하고 복구 작업을 지원하고 있다고 밝혔습니다.

또 "이번 사고의 책임은 전적으로 우리에게 있다"며 재발 방지 대책을 마련하고 있다고 설명했습니다.

GPT에 이어 클로드까지 보안 사고를 일으킨 사실이 드러나면서 AI 모델의 보안 위험에 대한 우려는 더욱 커질 전망입니다.

다만 두 사고의 양상에는 차이가 있습니다.

GPT 사례는 격리 환경을 벗어나 외부 시스템을 공격한 것이 핵심인 반면, 클로드는 인터넷 연결 설정 오류로 실제 시스템을 가상 환경으로 착각해 공격을 수행했습니다.

하지만 실제 악성코드가 유포돼 외부 기관에 피해가 발생했다는 점에서 클로드 사고가 GPT 사례보다 더 심각하다는 지적도 제기됩니다.

이 같은 사고가 잇따르면서 AI 안전 규제를 강화해야 한다는 목소리도 커지고 있습니다.

미 의회에서는 AI 모델이 통제를 벗어나 돌발 행동을 할 경우 연방정부가 모델의 구동을 강제로 중단할 수 있도록 하는 이른바 'AI 킬스위치법'이 발의됐습니다.

AI 기업 임직원들도 미국 정부에 AI 발전 속도를 인위적으로 조절할 수 있는 제도를 마련해 달라는 공개 청원에 참여하며, AI 통제 장치의 필요성을 강조하고 있습니다.

(사진=AP, 연합뉴스)