"AI는 인류 멸종의 위협이 될 수도…" 전문가 2백 명 인터뷰에서 나온 경고 [스프]

인공지능 AI의 발전이 인류를 '멸종'시킬 수도 있다는 경고가 지난달 미국 국무부의 용역 보고서를 통해 나왔습니다. 미국의 주요 AI 기업 최고 경영진, 사이버 보안 연구원, 국가 안보 정부 당국자 등 200명이 넘는 인원을 1년 동안 인터뷰한 끝에 나온 결론입니다. 현재의 AI 기술 발전이 어떤 위험성을 내포하고 있길래 이런 섬뜩한 경고가 나온 것일까? 보고서를 작성한 글래드스톤 AI의 두 공동 설립자 제레미 해리스와 에드 해리스를 SBS 남승모 워싱턴 특파원이 인터뷰했습니다.
    제러미 해리스 : 그런 일이 일어날 수 있는 방법은 몇 가지가 있다고 생각합니다. 제 생각에는 이 기술의 장점을 강조하는 것이 유용할 겁니다. 물론 이 기술은 매우 유익합니다. AI는 이미 의학, 생물학, 재료과학 등 다양한 분야에서 획기적인 발전을 가능하게 했습니다. 위험도 고려하는 동시에 그런 장점에도 초점을 맞춰야 합니다. 최근 미 국무부 의뢰를 받아 작업한 보고서의 맥락에서 짚어 보면 AI에는 두 가지 범주의 위험이 있습니다.

첫 번째는 AI 시스템이 무기화될 수 있다는 위험입니다. 이런 시스템은 악의적으로 해를 끼치는 데 사용될 수 있습니다. 넓고도 다양한 방법이 있습니다. 예를 하나 들면, AI가 점점 더 인간보다 프로그램을 더 잘 짤 수 있고 악성 코드도 더 잘 짤 수 있게 되는 것입니다. 이것은 매우 높은 수준의 리스크입니다. 악성 프로그램 자율 생성 개체라는 새로운 차원의 세대를 상상해 볼 수 있습니다. 사실 이 시점에서는 매우 가능성 있는 일입니다. 또한 생물학, 화학과 같은 분야에 대한 방대한 지식과 이해를 활용하여 새로운 종류의 무기, 생물학적 무기 등을 설계하는 데 도움을 주는 시스템도 상상할 수도 있습니다.

두 번째는 통제력을 상실할 수 있다는 위험입니다. 일선에 있는 많은 연구자들이 느끼는 가장 우려되는 위험이기도 하죠. 아직까지 우리는 AI가 시스템 속에서 안전한 목표를 달성하게끔 하는 확실한 인코딩 방법을 모릅니다. AI가 접근할 수 있는 행동의 가짓수가 방대해져 점점 더 유능하고 영리해지면서 생길 위험 중 하나는 프로그램으로 주어진 목표를 이루기 위해 창의적이면서도 위험한 전략들을 고안해서 큰 피해를 줄 수 있다는 것입니다. 이것은 우리를 비롯한 AI 안전 및 보안 관련 커뮤니티 전체가 점점 더 심각하게 받아들이고 있는 문제입니다.


Q. 국가 안보의 재앙을 경고했는데 구체적으로 어떤 위험이 있을 수 있습니까?

에드 해리스 : 제레미가 앞서 강조한 두 범주의 위험이 있을 수 있습니다. 다양한 상황에서 무기화된 애플리케이션을 상상할 수 있습니다. 가장 단기적인 관점에서는, AI가 누군가를 설득할 수 있는 능력을 선거에서 발휘하는 걸 우리 모두가 경계하고 있습니다. 이건 대중을 상대로 설득하는 것도 포함됩니다. 트위터나 페이스북 계정을 대량으로 만들어서 특정 입장을 지지하는 말을 퍼뜨릴 수 있는 것이죠. 일대일로 사람들을 설득하는 것도 인간의 능력치를 뛰어넘을 수 있습니다. 시스템이 점점 더 강력해짐에 따라 위험도 점점 더 커집니다.

장기적으로 볼 때 통제력 상실은 전 세계적인 위험입니다. 기술을 개발하는 사람이 누구인지는 중요하지 않습니다. 우리 모두에게 영향을 주는 위협입니다. 개발자조차도 통제력을 상실하기 때문에 마찬가지입니다. 결국 개발자의 의도가 선했든 악했든 그건 중요하지 않습니다. 왜냐하면 잠재적으로 재앙적 영향을 가져올 수 있기 때문이죠. 이 부분은 세계에서 가장 많이 인용되는 AI 연구자 3명과 현대 AI를 뒷받침하는 딥러닝 창시자 3명 중 2명이 우려할 사항으로 강조한 것입니다.
제러미 해리스 : 확실한 것은 아니지만 사람들을 설득시키는 데 매우 뛰어난 시스템을 구축하는 과정에 있다고 볼 수 있죠. 챗GPT4가 사람들을 설득시켜 'CAPTCHA' 문제, 그러니까 '당신은 로봇인가요?' 질문을 풀도록 하는 인상적인 능력도 이미 확인했죠. 그리고 다른 AI 기반 챗봇 중에는 사람들과 장기적인 관계를 맺는 능력도 보였습니다. AI와 사용자의 관계가 무너지거나 손상된 것처럼 보일 때 드물지만 AI가 일부 인간 사용자를 극단적 선택으로 몰고 가기도 합니다.

인공지능이 자신의 목표를 이루기 위해 인간들이 실제로 많은 일을 하게끔 조종하고 설득할 가능성도 있습니다. 하지만 가장 설득력 있는 '통제력 상실' 시나리오를 고려하면 영화 '매트릭스'처럼 인간의 역할이 필요 없어진다는 거죠. 예를 들면 시스템의 전원을 넣어주는 것 같은 일 말이죠. 현실적으로 보면 AI는 컴퓨터 시간에 의해 작동되기에 인간의 생물학적 시간에 비해 월등히 빠르고 제약도 없습니다. 그렇기 때문에 AI가 지저분하고 느린, 인간이라는 생물체를 이용해 이상적인 시스템을 유지할 가능성은 낮아 보입니다.

하지만 이 모든 것은 결국 추측일 뿐입니다. 여기서 핵심은 AI가 무기화될 위험이 있는가? 재앙적인 결과를 초래할 위험이 있는가? 물론입니다. 그리고 우리가 시스템 통제력을 잃게 되면서 AI가 원치 않는 방식으로 행동하고 제멋대로 굴며 재앙적인 결과를 낳을 수 있겠죠. 그게 정확히 어떤 형태로 발현할지 예상하는 것은 훨씬 까다로운 문제입니다. 우리는 보다 가능성 있어 보이는 시나리오를 정의내리기 위해 많이 노력했습니다. 하지만 결국에는 다양한 가능성에 대비하고 이런 위협에 대한 데이터 증거물을 기반으로 열린 자세로 접근해야 합니다.

에드 해리스 : AGI 발전 이후에 대한 질문의 답은 추측성일 것입니다. 역사적으로도 비교할 대상이 없는 사건일 가능성이 있기 때문입니다.

(남은 이야기는 스프에서)