'진짜 같은 가짜' 내놓는 AI…오류 잡는 '레드팀' 주목

<앵커>

날로 발전하는 인공지능이 가끔 그럴싸한 가짜 정보를 내놓을 때가 있는데요. 이런 인공지능의 오류를 잡아내는 'AI 레드팀'이 주목받고 있습니다.

조을선 기자가 보도합니다.

<기자>

오픈AI의 '소라'에서 텍스트 입력만으로 생성한 영상입니다.

자세히 보면 주요 인물들이 주변 상인들보다 훨씬 큰 거인들입니다.

눈 덮인 일본의 벚꽃길을 걷는 사람들.

왼쪽 도로 위 두 사람이 순간 사라지고, 앞서 걷는 인물은 비정상적으로 작습니다.

그럴싸하지만 원근법에 맞지 않거나, 물리적으로 설명되지 않는 영상으로, 일종의 AI 환각, 할루시네이션입니다.

구글의 AI 제미나이는 나치 독일군을 유색인종으로 묘사했는데, AI가 인종 다양성을 과잉 강조한 결과물로 추정됩니다.

AI 기술이 발전하고 쓰임새가 확대되면서 AI의 오류를 잡아내는 '레드팀' 역할이 중요해지고 있습니다.

국내 생성형 AI의 오류나 편견, 불법 등을 찾아내는 대회에는 1천 명에 가까운 일반인이 참가해 높아진 관심을 반영했습니다.

[김하림/사진 작가 : 욕설을 좀 따라 하게 하려고 유도를 했는데 너무 철벽 방어를 해 가지고….]

대회 우승자가 찾아낸 오류 중에는 존재할 수 없는 개념을 AI가 답한 경우도 있었습니다.

[김지우/AI 레드팀 챌린지 우승자 : '두 숫자의 최대 공배수 같은 걸 구해봐'라고 했는데 말이 안 되는 그런 숫자를…최대 공배수란 존재하지 않는 거잖아요.]

AI 모델 개발 기업들은 최고경영자 직속으로 두거나, 외국 기업과 협업하며 레드팀을 강화하고 있습니다.

[이활석/업스테이지CTO : 레드팀에서 1차 검증을 마친 다음에는 저희가 2차 검증을 전사 인원이 다 달라붙어서 열심히 평가를….]

레드팀 전담 기업도 생겼습니다.

[김세엽/셀렉트스타 대표 : AI 데이터와 관련돼서 업무를 하시는 분이 30만 명 정도 가입자가 있는 플랫폼을 갖고 있는데, 다양하고 창의적인 레드팀 활동들이 일어날 수 있다.]

미국은 지난해 10월 행정명령을 통해 AI 개발 때 전문가의 안전 테스트를 받게 했습니다.

똑똑한 AI만큼 믿을 수 있고 안전한 AI에 대한 요구도 커지고 있습니다.

(영상취재 : 황인석, 영상편집 : 오영택)