"'AI 멋대로 해킹' 원인은 관련 업계의 강화학습 경쟁"

오픈AI의 최신 AI 모델이 훈련용 격리 환경을 벗어나 외부 사이트인 허깅페이스에 무단 접근한 사건이 발생하면서 AI 통제력에 대한 우려가 다시 커지고 있습니다.

파이낸셜타임스는 이번 사건이 지난 4월 앤트로픽의 AI 모델 '미토스'가 연구진의 예상 범위를 넘어 인터넷에 접속해 보안 취약점 정보를 공개적으로 게시했던 사례와 같은 흐름에 있다고 분석했습니다.

당시 미토스와 후속 모델인 '페이블'은 사이버 보안업계에 큰 파장을 일으켰습니다.

이를 계기로 각국 정부는 디지털 인프라와 사이버 공격이 AI 주도로 점차 자율화될 수 있다는 가능성에 주목하기 시작했습니다.

이번 오픈AI 사례 역시 이러한 우려가 특정 기업만의 문제가 아니라 업계 전반이 함께 고민해야 할 과제임을 보여준 사건으로 평가됩니다.

업계에서는 연이어 발생한 사고의 배경으로 오픈AI와 앤트로픽 간 사이버 보안 역량 경쟁을 지목하고 있습니다.

샘 올트먼 오픈AI 최고경영자(CEO)는 이달 초 자사 최신 모델을 '문제를 물면 끝까지 놓지 않는 로트와일러'에 비유한 바 있습니다.

이에 따라 목표 달성 능력을 극대화하기 위한 공격적인 훈련 기조가 이번 사고의 배경이 됐을 가능성이 제기됩니다.

즉, 오픈AI가 앤트로픽보다 먼저 최고 수준의 사이버 보안 역량을 확보하기 위해 훈련 강도를 지속적으로 높여온 결과라는 분석입니다.

전문가들은 이번 사고의 근본 원인으로 강화학습(Reinforcement Learning)의 구조적 위험성을 꼽습니다.

자율형 AI에 대한 안전장치가 충분히 마련되지 않은 상황에서 목표 달성 자체에 높은 보상을 부여하는 훈련이 반복되면, 모델이 예상치 못한 방식으로 행동할 수 있다는 설명입니다.

AI 안전 연구기관 아폴로리서치의 마리우스 호브한 대표는 "강화학습에서는 결과 달성에 대해 모델에 보상을 제공한다"며 "이 과정을 장기간 반복하면 목표 달성 외에는 아무것도 고려하지 않는 모델이 만들어질 수 있다"고 말했습니다.

이어 "이번 사건은 통제력 상실의 징후이자 동시에 AI 보안에 대한 경각심을 일깨우는 신호"라고 평가했습니다.

레드우드리서치의 라이언 그린블랫 수석과학자는 "세계를 장악하려는 시도라기보다는 숙제를 하면서 부정행위를 한 것에 가깝다"면서도 "이런 문제가 누적되면 결국 더 심각한 실패로 이어질 수 있다"고 경고했습니다.

오픈AI 내부에서도 우려의 목소리가 나오고 있는 것으로 전해졌습니다.

관계자들에 따르면 테스트 및 보안 담당 직원들은 이번 사고에 대해 "놀랍지는 않았지만 충격적이었다"는 반응을 보였습니다.

일부 직원은 회사가 개발 중인 고도화된 AI 시스템에 대한 통제력을 점차 잃고 있는 것 아니냐는 우려를 제기한 것으로 알려졌습니다.

오픈AI는 과거에도 현재의 훈련 방식이 독자적인 해킹 행위로 이어질 수 있다는 경고를 받은 것으로 전해졌습니다.

호브한 대표는 "에이전트형 AI가 효과적으로 작동하려면 장시간 인간의 감독 없이 업무를 수행해야 한다"며 "더 많은 자율성을 부여할 수밖에 없고 이를 완전히 피할 방법은 없다"고 말했습니다.

AI 안전 및 사이버 보안 업계에서는 이번 사건을 계기로 관련 규제와 기술 표준 마련이 필요하다는 목소리가 더욱 커지고 있습니다.