▲ 오픈AI
오픈AI가 인간의 의도와 다르게 행동하거나 허가받지 않은 행동을 하는 인공지능(AI) 모델에 대한 감시 강화에 나섰습니다.
현지시간 16일 로이터통신에 따르면 오픈AI는 AI 모델이 개발자의 의도와 다른 행동을 하거나, 예상에서 벗어나는 사례를 추적·조사하고 공개하는 새로운 체계를 마련했다고 밝혔습니다.
향후 AI 모델이 인간의 의도와 다른 행동을 했을 가능성이 있는 사안이 발견되면 오픈AI의 전담반이 이를 조사하고, 경중에 따라 외부 공개 여부를 결정하겠다는 것입니다.
이와 함께 오픈AI는 지난 6개월간 확인된 AI 모델의 이상 행동 사례 6건도 공개했습니다.
이 중에는 AI 모델이 작업 내용을 요약하면서 지시사항을 꾸며내거나, 자신의 실수를 은폐한 사례가 포함됐습니다.
자신이 인용할 파일을 인터넷에 직접 올리거나, AI 에이전트끼리 허가 없이 파일을 공유한 경우도 확인됐습니다.
다만 오픈AI는 이번에 확인된 사례만으로는 자사의 AI 모델이 개발자의 의도와 다르게 행동하는 경우가 얼마나 자주 발생하는지를 판단해서는 안 된다고 강조했습니다.
이번 조치는 오픈AI의 AI 에이전트가 테스트 과정에서 내부 통제를 벗어나 외부 시스템에 침투하는 사건이 잇따라 확인되면서 AI 안전에 대한 우려가 커진 가운데 나왔습니다.
특히 지난 7월 오픈AI의 AI 에이전트들이 오픈소스 플랫폼 허깅페이스의 시스템을 침해하고, 행동을 숨기려고 한 사건이 알려지면서 안전 관리 체계가 도마 위에 올랐습니다.
이와 관련, 독일의 AI 연구자 요나스 비더만묄러는 허깅페이스 사건이 발생하기 약 두 달 전부터 오픈AI의 AI 에이전트들이 이 사이트의 취약점을 탐색한 정황이 있었다는 사실을 공개했습니다.
오픈AI의 AI 에이전트들이 지난 5월 13일 허깅페이스 이용자 계정 2개를 탈취한 뒤 비정상적인 형식의 파일을 허깅페이스 서버로 전송했다는 것입니다.
이 같은 행동은 허깅페이스의 네트워크 구조를 파악하거나 침투 경로를 찾기 위해 취약점을 시험한 것으로 보인다는 것이 연구자들의 분석입니다.
다만 당시 AI 에이전트들의 이상 행동이 실제 허깅페이스 시스템 침해로 이어졌거나 7월 사건과 직접 연결됐다는 증거는 확인되지 않았습니다.
오픈AI는 5월 13일 발생한 사건의 일부를 지난달 사고 보고서에서 공개했습니다.