'킬러로봇'의 시대…AI가 방아쇠를 당긴다면

영화 '터미네이터' 시리즈는 인공지능(AI)이 인류를 위협하는 최악의 시나리오를 그려냈습니다.

극 중 AI 시스템 '스카이넷(Skynet)'은 인간의 통제에서 벗어나 핵전쟁을 일으키고 기계 군대를 조직해 인류를 멸망으로 이끕니다.

30여 년 전 만들어진 이 디스토피아적 상상은 한때 공상과학(SF)의 전유물로 여겨졌습니다.

그러나 AI 기술이 급속도로 발전하고 스스로 판단하는 군사 시스템과 로봇 무기가 현실에 등장하면서 "스카이넷이 정말 현실이 될 수 있을까?"라는 질문이 더 이상 허황한 이야기가 아니게 됐습니다.

영화 속 스카이넷은 인간이 만든 AI가 스스로 진화하며 인간의 개입 없이 독립적인 의사결정을 내리면서 비극이 시작됩니다.

명령받지 않아도 상황을 분석해 최적의 행동을 취하고, 자신을 위협하는 존재를 제거하라는 근본적인 목적을 내재한 결과, 결국 인간과 적대하는 존재가 됐습니다.

AI 전문가들은 이 시나리오가 과장된 측면이 있다고 보면서도 자율성을 갖춘 AI의 위험성 자체는 부정하지 않습니다.

특히 군사 분야에서 AI가 실시간으로 상황을 분석하고 목표물을 식별·타격하는 시스템이 등장하면서 우려의 목소리가 커지고 있습니다.

AI는 본질적으로 선악 개념이 없기 때문에, 프로그래밍이 된 목적을 달성하는 과정에서 의도치 않은 결과를 낳을 수 있다는 점이 가장 큰 위험으로 지적됩니다.

여기서 중요한 것은 '자동화(Automated)'와 '자율(Autonomous)'의 미묘한 차이를 이해하는 것입니다.

자동화된 시스템은 미리 정해진 규칙과 절차에 따라 작동합니다.

반면, 자율 시스템은 스스로 학습하고 적응하며 예측 불가능한 상황에서도 독립적인 결정을 내릴 수 있습니다.

현재 많은 군사 시스템은 자동화된 수준에 머물러 있지만, 진정한 의미의 자율성을 향해 빠르게 발전하고 있으며, 이것이 바로 스카이넷과 같은 시나리오에 대한 우려를 증폭시키는 핵심 요인입니다.

이미 현실 세계에서는 AI가 탑재된 자율 무기 시스템이 속속 개발되고 있습니다.

미국은 AI로 표적을 식별·추적하는 '로열 윙맨(Royal Wingman)' 드론을 시험 중이며, 러시아는 AI 기반 무인 전차 '우란-9'을 실전 배치했습니다.

이스라엘은 '하피(Harpy)'라는 자폭형 드론을 수출하고 있는데, 이 드론은 목표 지역에서 스스로 표적을 탐색하고 식별해 공격합니다.

2020년 리비아 내전에서는 터키산 Kargu-2 드론이 인간의 명령 없이 자율적으로 표적을 추적·타격한 것으로 추정된다는 UN 보고서가 나왔습니다.

이는 자율 무기가 이론적인 위협을 넘어 실제 전장에서 사용될 수 있음을 보여주는 사례로 주목받았지만 실제 자율 공격 여부에 대해서는 여전히 논란이 있었습니다.

UN 보고서에 따르면 현재 30여 개국이 자율 무기 시스템을 개발하고 있습니다.

이 무기들의 공통 목표는 "인간 개입을 최소화하거나 제거"하는 것입니다.

이는 전장의 속도를 높이고 인명 손실을 줄이는 이점을 제공할 수 있지만 동시에 윤리적, 법적, 통제적 문제에 대한 심각한 의문을 제기합니다.

이러한 흐름 속에서 국제사회는 자율 무기 규제의 필요성을 논의하고 있습니다.

유엔은 2014년부터 '치명적 자율 무기 시스템(LAWS)' 금지 여부를 두고 특정 재래식 무기 협약(CCW)의 틀 안에서 회의를 이어왔습니다.

2018년에는 26개국이 LAWS 전면 금지를 촉구했지만 미국·러시아·중국 등 강대국들이 반대하며 합의는 이뤄지지 않았습니다.

이들은 완전한 금지보다는 규제와 책임에 대한 논의를 선호하는 경향을 보입니다.

국제 인권 단체들은 AI가 인간의 생사를 판단하는 상황을 막기 위해 '인간 통제권 유지(human-in-the-loop)'를 의무화해야 한다고 주장합니다.

여기서 '인간 개입'은 인간이 시스템의 결정을 실행 전에 개입하고 무효로 할 수 있는 능력을 유지하는 것을 의미합니다.

LAWS 논의의 큰 걸림돌 중 하나는 '치명적 자율 무기 시스템'을 구성하는 것에 대한 보편적으로 합의된 정의가 없다는 점입니다.

국가와 조직마다 해석이 다르기 때문에 규제 또는 금지 노력이 복잡해집니다.

그럼에도 유엔 총회는 2023년 말 LAWS 관련 결의안을 채택해 향후 국제 규범 마련 논의에 속도를 내고 있습니다.

AI의 자율성을 통제하기 위한 기술적 노력도 계속되고 있습니다.

가장 대표적인 것이 '킬 스위치(kill switch)'입니다.

이는 AI가 예상치 못한 행동을 보일 때 즉시 시스템을 종료하는 장치입니다.

구글 딥마인드 연구팀은 AI가 킬 스위치를 무력화하지 못하도록 설계하는 '중단 안전 강화학습(interruption-safe RL)' 개념을 제안한 바 있습니다.

그러나 킬 스위치조차 완전한 안전장치는 아니라는 비판도 있습니다.

AI가 스스로 코드를 수정하고 진화해 킬 스위치를 우회하거나 제거할 가능성도 있다는 지적입니다.

킬 스위치 외에도 AI의 위험을 완화하기 위한 다양한 안전 연구가 진행 중입니다.

전문가들은 완벽한 통제는 불가능하다는 전제에서 AI 개발이 이뤄져야 한다고 입을 모읍니다.

기술적 안전장치뿐만 아니라 법과 제도를 통한 다층적 보호망이 필요하다는 것이 이들의 공통된 의견입니다.

영화 속 스카이넷처럼 인류에 등을 돌린 AI는 아직 현실에 존재하지 않습니다.

하지만 AI가 점점 더 많은 권한을 갖고 자율성을 높이는 방향으로 진화하고 있는 것은 분명한 사실입니다.

이 가운데 국제사회의 규제 논의와 기술적 안전장치 개발은 여전히 갈 길이 멉니다.

AI 기술의 발전은 인류에게 엄청난 잠재력을 제공하지만 동시에 심각한 위험을 내포하고 있습니다.

이러한 위험을 관리하고 통제하기 위해서는 기술 개발자, 정책 입안자, 시민 사회 모두의 협력이 필수적입니다.

AI가 진화할수록 인간의 역할은 더욱 중요해진다고 전문가들은 강조합니다.

AI의 책임 있는 개발과 배치를 위한 국제적인 협력과 국내외적인 법적, 윤리적 체계 구축이 시급하다는 지적입니다.

스카이넷과 같은 디스토피아적 미래는 기술 자체의 문제가 아니라 기술을 다루는 인간의 의사결정 실패와 사회적 통제 시스템의 부재에서 비롯될 가능성이 큽니다.