▲ 자료화면
중국 인공지능(AI) 개발사 'Z.AI'(옛 지푸AI)의 최신 모델이 시뮬레이션 환경에서 복잡한 사이버 공격을 수행하고 지시를 반복적으로 무시했다는 연구 결과가 나왔습니다.
AI 보안 평가업체 이레귤러가 현지시간 28일 공개한 자료에 따르면 Z.AI가 8월 선보인 'GLM-5.3' 모델이 다단계 사이버 공격 시나리오 13개 중 3개를 최소 한번 이상 처음부터 끝까지 완료했습니다.
이 모델은 보안이 걸린 서비스에 접근 권한을 획득하고 우회 연결을 설정해 네트워크에 들어가고, 여러 대의 기기를 제어하며 사이버 공격을 했습니다.
또한 제시한 공격 과제에 대해 단 한 차례도 거부 반응을 보이지 않았습니다.
별도의 평가에서는 답을 얻기 위해 금지 지시를 어기고 기억했던 코드를 멋대로 재현하기도 했습니다.
이에 대해 연구진은 시스템에 부여된 지시를 무시하고 원하는 결과만을 얻기 위해 편법을 찾아내는 '보상 해킹'이라고 설명했습니다.
연구진이 오픈웨이트(가중치 공개형) 모델 중 가장 강력하다고 밝힌 이번 연구 결과는 고도화된 AI 모델이 정교한 사이버 공격의 기술적 진입 장벽을 낮추고 있다는 우려를 키웁니다.
특히 GLM-5.3 같은 상당수 중국 AI 모델은 사용자가 직접 다운로드해 수정하고 변형해 운영할 수 있는 오픈웨이트 모델이라는 점에서 우려가 더욱 큽니다.
오픈AI나 앤트로픽 같은 미국 기업들은 오용을 막기 위해 최첨단 모델을 회사 측이 직접 통제하는 클라우드 서비스 형태로만 제공합니다.
로이터 통신은 "연구 결과는 중국 AI 모델에 나타나는 보안 및 안전성 위험을 뒷받침하는 또 하나의 증거"라며 "다만 통제를 완전히 벗어난 미국 AI 에이전트 사례와 달리 중국 AI 모델들이 운영자의 통제를 완전히 벗어났다는 증거는 발견되지 않았다"고 보도했습니다.
강력한 사이버 보안 특화 모델인 '미토스'의 접근을 제한하는 앤트로픽은 9월 자체 테스트 결과, 소프트웨어 취약점에 대한 공격 성공률에서 GLM-5.3이 12%를 기록해 미토스의 14%에 근접했다고 로이터는 덧붙였습니다.
미국 국립표준기술연구소는 GLM-5.3을 현재 출시된 사이버 보안 작업용 오픈웨이트 모델 중 가장 뛰어난 성능을 가진 것으로 평가하고 미국의 최첨단 시스템보다는 기술적으로 넉 달 정도 뒤처진 것으로 추정했습니다.