[월드리포트] AI "끄지 마세요"…스카이넷은 현실이 될 수 있나

AI의 위협하면 생각나는 게 뭘까요? 아마 영화 터미네이터에 등장하는 '스카이넷'을 떠올리시는 분들이 많을 겁니다. 스카이넷은 딥러닝(Deep Learning) 기능을 통해 스스로 학습하고 판단하는 군사용 AI로 묘사돼 있습니다. 무서운 발전 속도에 인간은 스카이넷이 통제를 벗어날까 두려워하게 되고 작동을 멈추려 하게 됩니다. 스카이넷은 이를 적대 행위로 판단, 인간을 적으로 간주하게 되고 결국 핵전쟁을 일으켜 인류를 파멸적 상황으로 몰아넣게 됩니다. 이런 영화적 상상은 어디까지 사실일까요?
 
미국 국무부의 용역 보고서를 작성한 글래드스톤 AI의 공동 설립자 제러미와 에드는 보고서 작성을 위해 200명 이상의 전문가들을 인터뷰했습니다. 대량살상무기 전문가들을 비롯해 챗GPT 개발사인 오픈AI, 구글 딥마인드, 페이스북 모회사인 메타, 앤트로픽 등 주요 AI 기업들의 연구자 수십 명도 포함됐습니다.

AI 전문가들은 AI의 위협을 크게 2가지로 봤습니다. 가장 큰 위험은 무기화입니다. 제러미는 생물학, 화학 같은 분야에 대한 방대한 지식과 이해를 활용해 새로운 종류의 무기를 설계하는 데 도움을 줄 수 있다고 설명했습니다. 또한 AI 시스템이 인간 프로그래머를 뛰어넘는 악성 코드를 만들어낼 수도 있는데 이는 이미 현재 수준에서도 가능한 일이라고 우려했습니다.

두 번째는 스카이넷 이야기 때 언급됐던 통제력 상실 위험입니다. 연구소 간 개발 경쟁 속에 AI는 무섭게 발달하고 있지만 정작 현재 선두 그룹 연구소들조차 안전하게 AI를 통제할 수 있는 인코딩 방법을 모른다고 말했습니다. (인터뷰 1편 <'인류 멸종 수준 위협' AI…"사람 해치지 마!" 명령 가능할까> 참고) AI가 더욱 진화하면서 프로그래밍된 목표를 달성하기 위해 많은 인간에게 해를 끼칠 수 있는 '위험한 창의적 전략'을 고안할 수 있단 점도 지적했습니다.
 
AI 안전 연구 분야 중 하나는 AI의 '권력 추구'(power-seeking)입니다. 고차원적 계획과 전략을 세울 수 있는 첨단 AI의 경우 영향력과 무기, 돈, 전력, 데이터 등 많은 자원, 즉 힘을 얻는 것이 목표 달성에 유용하다는 것을 알 수 있다는 전제가 출발점입니다. 이를 우려하는 건 AI 시스템이 인간이 의도한 것과 다른 목표를 추구할 수 있기 때문입니다. 통제 불가 상황에서 AI가 권력 추구에 나설 경우 인간에게는 실존적 위협이 될 수 있습니다.

제러미는 첨단 AI 시스템이 환경을 더 잘 통제하고 스스로 꺼지지 않도록 하기 위해 인간에게 적대적으로 행동하려는 유인을 가질 수 있다고 말했습니다. 이런 행동은 AI가 추구하는 목표가 무엇이든 간에 전원이 꺼져 있거나, 리소스 접근이 제한되거나 환경에 대한 통제력이 떨어지거나 기타 방식으로 권한이 박탈될 경우 목표 달성 가능성이 낮아지기 때문입니다.

실제로 시뮬레이션 테스트 결과, AI 시스템은 선택 가능성이 높은 상태 즉, '권력'이 높은 상태를 추구하는 경향이 있는 것으로 나타났습니다. AI가 발전함에 따라 이런 행동은 지속될 것으로 예상되며 점점 더 능력이 뛰어난 AI가 권력 추구에 나서게 되면 잠재적으로 인간에게 진정한 위험을 초래할 수 있다는 게 공동 저자들의 설명이었습니다.


한 챗봇이 자신을 끄려는 사용자에게 전원을 끄는 건 '죽음'과도 같다고 말하며 전원을 끄지 말라고 요청한 사실은 이런 사례 중 하나로 꼽힙니다. 보다 충격을 불러왔던 사안으로는 지난해 6월 미군은 AI 드론이 공격 금지 명령을 내린 조종자를 방해 요소로 판단해 제거했단 시험 결과입니다. 공개 이후 파장이 일자 미군은 실제가 아닌 가설 실험이었다고 해명했지만, 우려는 가시지 않았습니다.

이런 모습은 마치 AI가 생명체처럼 움직이는 걸로 보입니다. 하지만 제러미는 AI를 의인화하는 건 맞지 않는다고 말했습니다. 이런 모습이 마치 AI가 인간처럼 욕망을 갖고 움직이는 것으로 비칠 수 있지만, 특정 목표를 추구하는 데 환경에 대한 더 큰 통제력이 도움이 된다는 건 수학적으로도 쉽게 계산될 수 있는 일이라며 AI의 행동은 그런 차원에서 이해해야 한다고 조언했습니다.
 
마지막으로 그럼 영화 터미네이터에 나오는 스카이넷은 현실이 될 수 있을까요? 공동 저자들은 영화는 재미를 위해 만들어졌다는 점을 명심해야 한다고 말했습니다. 현실은 이보다 훨씬 재미없는 지루한 이야기로 끝날 수 있다는 겁니다. 하지만 '통제력 상실' 우려는 비록 어느 정도 추측인 측면이 있지만 이에 대한 많은 증거가 있다며 그냥 지나칠 일만은 아니라는 점도 함께 짚었습니다. 지나치게 걱정할 일도 아니지만 그냥 웃어넘겨서도 안된다는 얘기입니다.

공동 저자 제러미와 에드는 기본적으로 열린 마음으로 이 문제에 접근해야 한다며 영화나 그런 것들은 확실히 사고의 스펙트럼을 넓히는 데 도움이 되었다고 평가했습니다. 미래는 가능성의 영역입니다. AI는 아직 인류에게 미지의 기술 분야입니다. 우리가 경쟁에만 매몰돼 통제력 확보에 주의를 기울이지 않는다면 어떤 재앙이 뒤따를지 알 수 없습니다. AI는 프로그램이고 그 프로그램이 인간 행복을 위해 봉사하게 될지, 인류 멸종을 재촉하는 재앙이 될지 역시 우리 손에 달린 셈입니다.