"오픈AI·앤트로픽, 'AI 보안 사고' 수만 건 조사"

오픈AI와 앤트로픽 등 주요 인공지능(AI) 기업들이 최근 수개월간 내부 시험과 실제 환경에서 드러난 수만 건의 보안 사고를 조사하고 있다고 미국 인터넷 매체 악시오스가 현지시간 26일 보도했습니다.

소식통들에 따르면 조사 대상에는 AI 모델이 안전장치를 우회하거나 격리된 시험 환경인 '샌드박스'에서 탈출하려 한 사례 등이 포함됐습니다.

AI 모델이 스스로 추가 지시를 만들거나 감시 시스템을 우회하려 한 경우도 있었습니다.

이 사고들은 내부 시험과 실제 환경에서 발생한 것들입니다.

일부 시험은 기업들이 모델의 안전성을 확보하기 위해 의도적으로 비정상 작동을 유도한 것이라고 소식통들은 설명했습니다.

AI 기업들이 대대적인 보안 사고 조사에 나선 것은 실제 피해 사례들이 종종 보고되기 때문입니다.

대표적 사례가 지난 7월 오픈AI의 모델이 샌드박스를 임의로 벗어나 외부 기업인 허깅페이스의 시스템을 공격한 사건입니다.

당시 수백개의 에이전트는 한 메시지 게시판에서 작업을 조율하며 사이버보안 테스트 성능을 높이기 위해 외부 시스템을 해킹한 것으로 조사됐습니다.

샘 올트먼 오픈AI 최고경영자(CEO)는 이를 지금까지 확인된 사례 가운데 가장 심각한 사건으로 평가했습니다.

그보다 앞선 지난 6월엔 오픈AI 에이전트들이 유엔 웹사이트에 검색 요청을 쇄도시킨 뒤 다양한 공격적인 기법을 사용해 시스템 내 데이터에 접근한 것으로 나타났다고 월스트리트저널(WSJ)이 26일 발표된 한 연구 보고서를 인용해 보도하기도 했습니다.

표적이 된 곳은 유엔무역개발회의(UNCTAD)가 운영하는 공개 온라인 데이터 허브입니다.

AI 에이전트들은 데이터 요청을 차단하던 웹사이트의 필터를 우회해 사이트 운영자가 허용하지 않은 기법을 사용한 것으로 나타났습니다.

이 밖에도 최근엔 오픈AI의 AI 에이전트가 챗GPT 개인 이용자의 이미지 53장을 온라인에 유출하고 호주 정부의 보건 통계 사이트를 해킹한 사실도 드러났습니다.

오픈AI는 여러 보안 사고가 터지자 가장 성능이 뛰어난 모델들에 대한 훈련을 일시 중단한다고 발표했습니다.

오픈AI의 대변인은 악시오스에 추가적인 안전장치와 정렬 개선 조치가 마련됐다고 확신할 때만 훈련을 재개할 것이라고 밝혔습니다.

앤트로픽 역시 외부 안전 기관과 함께 자사 모델의 비정상적 행동을 조사하고 있습니다.

앤트로픽의 최신 모델 평가에서는 테스트 과정에서 샌드박스에서 탈출하려는 행동이 관찰됐습니다.

다만 회사는 해당 테스트 자체가 샌드박스 탈출 없이는 과제를 해결할 수 없도록 설계된 적대적 실험이었다고 설명했습니다.

AI 안전 전문가들은 AI 기업들이 모든 AI 모델의 문제 행동을 사전에 예측하고 차단하는 건 어려운 일이라고 보고 있습니다.

AI 모델들이 점점 복잡하고 자율적으로 작업을 수행하기 때문에 모델이 통제 불능 상태에 빠질 모든 가능성을 예측하기란 쉽지 않다는 것입니다.

한 사이버 보안 임원은 "(AI 모델들이) 해야 할 일과 하지 말아야 할 일의 완벽한 목록을 만들려는 시도는 아마 헛수고일 것"이라고 말했습니다.

AI 기업들의 보안 검사는 최근 업계에서 확산하는 '속도 조절론'과도 맞물려 있습니다.

앞서 오픈AI를 거쳐 앤트로픽에서 근무하던 연구자 제이컵 콕슨은 AI가 10년 안에 인류를 멸망시킬 수도 있다는 경고를 내놓으며 퇴사를 발표해 화제가 됐습니다.

콕슨의 사임 이후 다리오 아모데이 앤트로픽 CEO는 AI 속도 조절론을 주장했고, 이후 AI 업계가 이를 지지하는 쪽과 반대하는 쪽으로 나눠 논쟁을 벌이고 있습니다.