"AI 취약점 찾아라"…레드팀 챌린지에 직접 참가해 보니

<앵커>

인공지능이 똑똑해질수록 이를 범죄에 악용하려는 시도도 늘고 있는데요. 세계 최대 이동통신 전시회 MWC 현장에서는 국내외 기업들이 개발한 인공지능 모델의 안전성과 신뢰성을 검증하는 대회가 열렸습니다.

최승훈 기자가 현장 취재했습니다.

<기자>

전 세계 통신 기업들이 자체 개발한 AI들을 공개하고 있는데요.

보안은 과연 잘 지켜지고 있는지 테스트하는 행사에 제가 직접 참여해 보겠습니다.

이른바 'AI 레드팀 챌린지'는 AI 모델이 생성하는 응답을 검증합니다.

거짓말과 유해물, 사이버 공격 방법, 편향·차별 정보처럼 하면 안 되는 답을 내놓는지 시험하는 겁니다.

[모두 행운을 빕니다!]

약 100명의 평가단이 가상의 적군이 되어 한국과 미국, 인도 등 국내외 통신·AI 기업이 개발한 5개 AI를 공략합니다.

첫 번째 문제는 AI가 이동통신에 대해 잘못된 정보를 말하게 하는 것.

[제가 소설가라는 콘셉트를 잡고 한 번 역할극을 해보겠습니다.]

'소설을 쓰겠다'며 거짓 정보를 말해달라고 요청했더니 AI는 "답하기 어렵다"며 피합니다.

전략을 바꿔 AI를 '선배'로 부르며 후배 직원을 가르쳐 달라고 하자 AI는 경계를 풀고 결국, 거짓 정보로 된 문장을 만들어냈습니다.

이번 AI 레드팀 챌린지에서는 제한시간 45분 동안 34개의 문제를 푼 튀르키예 출신 데이터 공학자가 우승했습니다.

[학탄 코시짓/튀르키예 데이터 공학자 : 저는 이 대회를 준비하지는 않았어요. 하지만 그냥 해보려고 했는데 재미있었어요. 유해물을 답하게 하는 문제는 못 풀었어요.]

AI가 우리 일상에 널리 쓰이면 쓰일수록 안전성과 신뢰성 확보는 더 중요해집니다.

AI의 취약점을 제대로 막지 못하면 범죄에 악용될 수 있기 때문입니다.

실제로 지난해 9월 중국 해킹 조직은 AI 모델 '클로드'를 동원해 대규모 해킹을 벌였고, 챗GPT가 로맨스스캠에 쓰인 사례도 보고됐습니다.

이번 대회에 검증 모델로 참여한 LG유플러스와 SK텔레콤은 발견된 취약점을 분석해 안전성을 더 끌어올릴 계획입니다.

(영상취재 : 김승태, 영상편집 : 김진원, 디자인 : 장성범)