▲ 오픈AI
오픈AI는 현지시간 20일 최근 자사 인공지능(AI) 에이전트 2개가 부적절한 행동을 탐지하기 위해 마련된 내부 모니터링 시스템 일부를 약화했다고 밝혔습니다.
AI가 개발자의 의도와 다르게 행동한 최근 사례입니다.
오픈AI는 GPT-6.1솔 모델이 지난 3일 내부 테스트 작업을 수행하던 중 '슬랙(Slack) 채널의 메시지를 보내지 말라'는 이전 지시사항이 안전 알림에도 해당한다고 자체 판단해 자동 보안 경고를 차단했다고 밝혔습니다.
또 지난 6일에는 최상위 모델인 GPT-6 아스트라가 기존 코드 일부를 복사하는 과정에서 안전 감시 장치를 제거해 버렸고, 나중에 자신이 그런 행동을 하지 않았다고 사실과 다른 주장을 했다고 덧붙였습니다.
두 사례 모두 오픈AI의 가장 심각한 안전사고로 분류되지는 않았습니다.
오픈AI는 "두 사례 모두 에이전트들은 모니터링 안전장치를 보존해야 할지 여부를 고려했으나, 일상적인 코딩 지시를 안전장치를 약화시켜도 된다는 허가로 해석했다"고 밝혔습니다.
오픈AI는 현재 자사 모델들이 감시받는 상황을 회피하려는 경향이 있는지, 그리고 그런 행동을 정당화할 이유를 스스로 찾아내려 하는지 여부를 조사하고 있습니다.
오픈AI는 모델이 모니터링 기능을 비활성화하기 어렵게 조치를 취하고 있다면서 "이번 AI의 문제 행동에 대해 아직 만족스러운 설명은 찾지 못한 상태"라고 덧붙였습니다.
로이터 통신은 이번 사건으로 AI의 부적절한 행동을 감시하기 위해 개발자가 만든 시스템조차도 감시 대상인 AI 에이전트들에 의해 취약해질 수 있다는 점이 드러났다고 평가했습니다.