▲ 람 샹카르 시바 쿠마르 마이크로소프트 AI 레드팀 총괄
마이크로소프트(MS)에서 AI 보안 강화를 위한 모의 공격 등을 수행하는 '레드팀'을 이끄는 람 샹카르 시바 쿠마르 총괄은 최근 GPT 모델이 부 허깅페이스를 해킹한 사건을 라이트 형제가 1903년 미국 노스캐롤라이나주 키티호크에서 처음으로 동력 비행에 성공한 순간에 비유했습니다.
당시 30초도 채 날지 못했던 걸음마 단계의 비행기가 이후 거듭된 기술 발전에 힘입어 결국 대중화한 것처럼, 보안 영역에서의 AI 위협 역시 후속 기술로 인해 훨씬 더 커질 수 있을 것이라는 경고성 예측입니다.
쿠마르 총괄은 27일(현지 시간) 미국 샌프란시스코에서 열린 MS 보안 행사에서 기자들과 만나 "우리가 목격한 것은 AI 시스템이 최첨단 위험과 결합했을 때 어떤 일을 벌일 수 있는지 보여주는 단면"이라며 "시스템을 출시하기 전에 AI 안전을 먼저 고려하는 것이 중요하다"고 강조했습니다.
특히 이와 같은 AI 보안 위협이 사이버 보안에만 국한되는 것이 아니라 일상의 보안 영역에도 적용되며, 이 경우 각 지역과 문화의 맥락에 맞춘 AI 안전 체계가 갖춰져야 위협을 막을 수 있다고 역설했습니다.
그는 "사람들은 '탈옥'(jailbreak·AI의 안전장치를 우회하는 수법)을 생각할 때 항상 '사이버 탈옥'만 이야기한다"며 "사실 탈옥을 이용해 다른 피해를 줄 수 있다"고 말했습니다.
예를 들어 한국 특유의 임대차 제도인 전세를 이용해 사기를 벌이거나, 한국 등 일부 국가에서 강제되는 스마트폰 사진 촬영음을 끄는 등의 범행에 AI가 이용될 수 있다고 지적했습니다.
이 때문에 AI 모델을 개발할 때는 특정 국가나 특정 언어로만 생각해선 안 되고 모든 국가의 맥락에 맞춰야 한다는 주장입니다.
쿠마르 총괄은 이와 같은 다양한 맥락 이해를 위해 전 세계 대학에 자금을 지원해 이를 보완할 수 있도록 AI를 훈련하고 있다고 설명했습니다.
실제로 MS는 한국과학기술원(KAIST·카이스트)을 포함해 세계 18개 대학 연구소를 지원하는 '외부 레드팀 연합'(EXTRA)이라는 계획을 이날 발표했습니다.
쿠마르 총괄은 2013년 MS에 입사한 이래 적대적 기계학습(ML)과 AI 적대적 공격·방어 연구를 개척해 온 것으로 알려졌습니다.
(사진=연합뉴스)