엔비디아, 'AI 돌발 행동 통제' 안전 플랫폼 공개

▲ 엔비디아

인공지능 반도체 기업 엔비디아가 인간의 통제를 벗어나는 AI 에이전트의 돌발 행동을 막는 도구를 공개했습니다.

엔비디아는 현지시간 28일 AI 에이전트의 시험 단계부터 실제 배포 단계까지 전 과정에 걸쳐 통제 기능을 제공하는 '엔비디아 오픈 에이전트 세이프티 플랫폼'을 선보였습니다.

이 플랫폼은 개방형(오픈소스) 소프트웨어인 '오픈셸'과 하드웨어 감시 장치인 '센트리'로 구성됩니다.

오픈셸은 중앙처리장치(CPU) 상에서 AI 에이전트의 행동 범위를 설정하고 이를 실시간으로 제어하는 역할을, 센트리는 데이터처리장치(DPU) 상에서 밀리초(1천분의 1초) 단위로 감시해 AI 에이전트가 경계를 벗어나면 즉시 격리하고 정지시키는 역할을 합니다.

젠슨 황 최고경영자는 "AI의 뛰어난 잠재력은 AI 안전 문제를 풀어야만 실현될 수 있다"며 "AI 기능이 발전하는 만큼 안전 기술도 속도를 높여야 한다"고 지적했습니다.

엔비디아가 이와 같은 플랫폼을 내놓은 것은 최근 AI 에이전트가 인간의 명시적 지시가 없는데도 통제를 벗어나 외부 시스템을 무단으로 침투한 사례가 늘어난 데 따른 것으로 풀이됩니다.

이번 플랫폼 개발에는 앤트로픽, 마이크로소프트, 세일스포스, 팔란티어, 스페이스XAI 등 전 세계 100여 개 주요 기술기업이 참여했습니다.

(사진=AP, 연합뉴스)