주저 없이 핵 버튼 '꾹'…AI 가상 전쟁이 던지는 섬뜩한 경고 [스프]

전쟁의 주도권, 인간에서 AI로?

Q. 미국과 이스라엘 대 이란의 전쟁에서 AI가 보조적인 역할이 아니라 주된 역할을 했다?

미래에 21세기 역사책이 쓰인다면 2026년 이란 전쟁이 역사적으로 처음 인공지능이 주인공 역할을 했었던 전쟁이라고 쓰이지 않을까 싶어요. 어마어마한 데이터가 있을 거 아니에요. 인공위성 데이터부터 AI를 사용해서 모든 CCTV를 다 볼 수가 있대요, 미국과 이스라엘에서. 사람이 분석했다면 몇 달이 걸렸을 데이터를 AI가 몇 시간 만에 분석해 줬다. 분석해서 그 다음 타깃은 어딘지 추천. 명령어(Prompt)를 입력하면 그다음 단어가 계속 예측이 되고 추천이 되는 식으로 '그다음 타깃이 뭐야?' 하면 리스트를 쫘악 준다는 거예요. 결국 이란 전쟁의 핵심은 상당히 많은 부분이 인공지능이 추천한 타깃을 파괴하고 있는 거예요.

Q. 그러니까 AI가 표적을 정하고, 공격은 인간이 한다.

아직은. 그것도 몇 년 후면 자동화가 되겠죠.


인간 vs AI..'킬 스위치' 결정권자는?
Q. 버튼은 아직 인간이 누르고 있기는 한데, AI가 자체적으로 판단하고 버튼까지 누를 수 있는 시대가 올 거다?

이미 왔을 수도 있고, 우리만 모를 수도 있고. 'Kill Switch' 마지막에 인간이 판단하도록 돼 있습니다. 가장 큰 문제 중에 하나는 그거예요. 앤트로픽의 헌법에는 'AI가 스스로 판단하는 100% 자율 무기는 있어선 안 된다'라고 하는데, 어떤 분들은 이스라엘에서 사용하고 있는 AI는 사람이 컨트롤하지 않는 자율 무기라는 거예요.

이스라엘 군대에 AI 사단이 생겼어요. 미국과 이스라엘 첩보 기관에서 모든 걸 해킹해서 이란 리더십들이 어디로 이동하는지를 추적하고 있잖아요. 그래서 리더십들은 30분에 한 번씩 위치를 옮겼대요. 표적을 잡아도 준비하는 데 적어도 3~40분이 걸리거든요. 리더십 있는 곳을 치면 이미 다른 데로 옮겨가 있었던 거예요. 그런데 이번에 이란의 최고지도자 하메네이를 타기팅 했을 때는 예측 알고리즘을 썼다. '그다음엔 어디로 갈 거다' 하고.

Q. 알아서 먼저 가서 기다리고 있었던 거죠?

네. 폭탄이 기다리고 있었던 거죠, 어떻게 보면. 이게 AI의 힘인 거죠. 이스라엘의 AI 부대의 핵심 철학은 탱크 1대가 탱크 100대의 역할을 하도록 증폭시켜준다.


전쟁사의 새로운 패러다임
Q. 전쟁사 새로운 패러다임인 걸까?

인공지능이 전쟁에 사용되기 시작하면 전쟁사의 새로운 패러다임이라고 얘기하고 있어요. 전쟁사에서 본질적으로 패러다임이 바뀐 적이 그렇게 많지 않거든요. 원시시대 때 활과 화살이 첫 번째 혁신입니다. 그전에는 사냥하려면 내가 가서 해야 돼요. 맹수면 무섭잖아요. 그런데 활과 화살이 있음으로써 멀리서 칠 수 있다.

그 기술을 수천 년 쓰다가 드디어 화약, 총이 처음에 등장했을 때도 화살이 더 좋았어요. 총은 한 번 쏘는데 거의 5분, 10분이 걸렸어요. 총알 집어넣고 화약 집어넣고 쑤셔 넣고 하니까, 화살은 금방 쏠 수 있는데. 방향성, 기술이 올라가고 있는지 떨어지고 있는지 관점에서 보면 활과 화살은 더 이상 좋아질 게 없었어요. 총은 시간이 지날수록 점점 좋아지잖아요.

처음 총이 나왔을 때 화살이 이겨요. 그런 영화도 있잖아요. 우리는 화살을 쏘는 민족이어서 청나라가 들어왔을 때 이겼다. 그때는 이겼죠, 초반이라. 50년, 100년 후에는 총은 발전하는데 화살은 그대로잖아요. 더구나 화살을 잘 쏘려면 몇 년 동안 훈련을 해야 되는데 총은 누구나 쏠 수 있죠. 몇백 년 지나고 나서 화살은 의미가 없잖아요.

인공지능도 똑같아요. 초기 인공지능은 기존 기술이 더 좋을 수도 있어요. 단, 기존 기술은 더 이상 발전을 안 하는데 AI는 기하급수적으로 발전하겠죠. 화약과 총, 대포가 발전하면서 전쟁사가 바뀌었고 20세기 들어와서 핵무기가 개발되면서 다시 한번 전쟁의 패러다임이 바뀌었는데, 인공지능이 또 한 번 패러다임을 바꿔놓을 거라고. AI는 특히 AGI(범용인공지능; Artificial General Intelligence)로 진화하는 순간 AGI를 가장 먼저 달성하는 국가가 다른 국가들과 초격차(따라올 수 없는 정도의 차이)를 만들 수 있다고 생각하고 있습니다.

Q. 화살, 총, 핵무기, AI, 그다음에 또 AGI가 기다리고 있다?

그다음에 AI가 우리를 사냥하러 다니겠죠. 미국 국방부에서 했던 시뮬레이션이에요. 진짜로 했던 게 아닙니다. AI 드론을 개발할 때 명령한 거예요. '적군 기지로 들어간 다음에 최대한 빠른 시간에 최대한 많은 미사일을 부숴라' 그건 합리적인 목표잖아요. 단, 킬 스위치는 사람이 눌러야 되는 거예요. 사람이 오케이를 해야 된다는 조건으로 시뮬레이션을 돌려봤더니 드론이 들어가서 미사일 잘 부숴요.

AI가 받은 명령은 '최대한 짧은 시간에 최대한 많은 미사일을 부숴라'잖아요. 중간에 사람이 오케이를 해야 되기 때문에 딜레이가 생기고, 그 딜레이 때문에 이론적으로 부실 수 있는 숫자의 미사일을 못 부수고 있는 거예요. AI는 본인에게 주어진 목표를 달성하지 못하고 있는 거잖아요.

그래서 이런 거를 얘기한 적이 없는데, 본인의 목표를 달성하기 위해서 드론이 유턴해서 부대를 부숴버렸어요. 버튼을 누르는 사람을. 그러면 자유롭게 본인의 미션을 수행할 수가 있잖아요. 깜짝 놀라서 '본부 부수지 말고' 했더니, 자기 드론에 있는 안테나를 부숴버렸어요. 그럼 정보가 전달이 안 되니까 상대방이 명령을 못 할 거 아니에요. 그러면 AI은 본인의 미션을 수행할 수 있다.

'터미네이터' 같은 영화는 오해의 여지가 있는 게, AI가 자유 의지로 인류를 지배하고 멸망시킬 가능성은 거의 없습니다. 인공지능은 세상을 지배할 이유가 없어요. 인간 역사를 기반으로 세상을 지배하게 하고 싶다고 우리가 기계에 프로젝션을 한 거예요. 기계가 세상을 지배해서 뭘 얻겠어요? 기계는 우리가 준 미션을 잘 수행하고 싶겠죠. 기계가 우리를 미워해서가 아니고 우리가 준 미션을 잘 수행하기 위해서 찾은 방법론이 우리가 원하지 않는 방법일 수 있습니다.


AI, 망설임 없이 '핵 버튼'을 누른 이유?
Q. 가상으로 전쟁을 시켰는데 21번 중에 20번 핵무기 버튼을 눌렀다. 이 뉴스 너무 섬뜩했거든요.

충분히 할 수도 있을 것 같아요. 현대 AI가 논리(Logic)와 알고리즘으로 만들어진 AI가 아니고, 1956년부터 60년 동안 로직과 알고리즘으로 풀려고 노력했는데 실패했잖아요. 제프리 힌턴 교수가 인간의 뇌를 모방한 블랙박스를 학습시켜서 성공했어요. 다 돼, 문제는 다 되는데 왜 되는지를 모르잖아요. 인간과 똑같아요. 지금 기자님도 제가 왜 이런 얘기를 하고 이런 옷을 입는지 100% 이해가 안 가잖아요. 제 머릿속에 벌어지는 일들은 다른 사람이 읽을 수가 없거든요.

10년 이상 알고 있었던 착한 친구가 갑자기 사기 칠 수 있잖아요. 사람도 예측 불가능합니다. 100% 신뢰라는 것도 있을 수 없고. 단, 사람은 아무리 나쁜 사람이라도 줄 수 있는 대미지가 한정적이에요. 그런데 AI는 인간보다 능력이 더 있기 때문에 AI가 10년, 20년 동안 착하게 헌신적으로 잘해주다가 단 한 번이라도 이상한 행동을 하기 시작했을 때 대미지가 인류 멸망이 될 수 있다.



핵무기 → AI..전쟁이 달라졌다?
Q. 핵무기 시대와 AI 시대의 차이점은?

핵무기 시대과 AI 시대의 큰 차이점 중 하나는, 다시 전쟁이 가능해지는 미래로 가고 있는 것 같아요. 전쟁사에서 칼, 방패, 창 계속 이렇게 올라온 거잖아요. 그러다가 2차 세계대전이 벌어지면서 핵무기가 개발됐죠. 그런데 개발하고 보니까 평범한 무기가 아닌 거예요. 쓰는 사람도 죽고 상대방도 죽고 지구가 멸망할 수 있는 무기를 만들어 버렸습니다.

그런데 핵무기의 개발이 등장이 20세기에 큰 전쟁을 불가능하게 만들었다는 분들도 있습니다. 미국과 소련이 전쟁하면 다 죽으니까. 그러니까 프록시 전쟁, 주변의 작은 나라들의 전쟁은 있었지만 큰 전쟁은 더 이상 없었잖아요. 강대국들 간의 전쟁. 핵무기를 가지고 있으면 이기는 나라가 없는 거예요. 냉철하게 보자면 핵무기가 20세기에 슈퍼파워들 간의 전쟁을 불가능하게 만들었다는 것은 설득력이 있는 것 같아요.

그런데 21세기에 인공지능이 등장하면서 어떤 일이 벌어졌죠? 미국과 이스라엘이 경험으로 배우고 있는 건, 전쟁을 시작하고 거의 데미지가 없는 상태에서 이길 수 있다는 나쁜 학습을 하고 있는 것 같아요. 예전에는 승자가 없기 때문에 전쟁을 시작해서는 안 된다는 것이 핵심 철학이었다면, 인공지능 기술이 도입되고 나서 먼저 전쟁을 시작하면 이길 수도 있겠다는 매우 안 좋은 생각의 바이러스가 정치 리더들 머릿속에 만들어지고 있는 것 같아요. 이건 안 좋은 변화입니다.


열려버린 판도라 상자..AI 폭주를 멈출 방법은?
Q. 전쟁에 있어서 AI 활용에 레드라인은 있어야 되는 거 아니에요?

당연히 있어야죠. 그런데 인공지능 기술은 판도라의 상자고 열려버렸어요. 시계를 되돌릴 수는 없습니다. 대한민국 정부에서 '사람의 일자리를 유지해야 되니까 AI 금지시키자' 불가능하잖아요. 금지시킬 수는 있죠. 그런데 몇 년 후에는 국가적으로 경쟁력이 낮아져서 망하는 거죠.

오픈 AI는 '우리가 안 만들면 구글이 만든다', 구글은 '우리가 안 만들면 오픈 AI가 만든다'. 서로 못 믿잖아요. 그러니까 둘 다 해요. 국가도 똑같아요. 미국은 AI를 무기로 안 쓴다고 합의를 봐도 중국이 먼저 쓸 거라는 거예요. 중국은 우리는 쓰기 싫은데 미국이 먼저 쓸 것이기 때문에 우리도 써야 된다.

유일한 해결책은 UN 같은 데서 모든 국가가 모여서 기후변화협약처럼 'AI는 이런 데 쓰지 말자' 협의해야 돼요. 1945년에 처음 핵무기가 개발됐을 때는 10년 안에 모든 나라들이 핵무기를 가지고 지구가 멸망한다는 생각을 했었어요. 그런데 핵무기 확장을 억제했잖아요. 그래도 핵무기는 확장이 됐지만 전 세계 200개 국가들 중에서 10개 정도밖에 안 됩니다. 성공적으로 다 같이 모여서 한 건데, AI도 그런 걸 해야 돼요.

그런데 타이밍이 안 좋은 것 같아요. 트럼프뿐만이 아닙니다. 힌턴 교수가 AI의 브레이크스루(Breakthrough)를 할 거면 1990년도에 했어야 돼요. 2000년도 세계화 시대 때 인공지능이 지금만큼 파격을 줬다면 UN 산하 200개 국가들이 모여서 탄소 배출 어그리먼트 같은 협약을 했을 것 같아요. AI에 대한 레드라인을 만들고 속도 조절을 하고 각자가 무엇이 많은지 서로 인증하고. 핵무기가 그렇잖아요.

근데 하필 2012년에 브레이크스루가 벌어졌는데 이때부터 20세기의 세계화가 무너지기 시작하고, 2020년대에 들어오니까 딱 챗GPT가 등장한 그 시기가 역사적으로 우연이겠죠. 하필 인공지능이 현실화되는 지금이 지정학적으로 세계 질서가 무너지고 있는 시대다.


AI가 바꾼 전쟁의 모습은?
Q. AI가 전쟁에 활용되는 데 있어서 무서운 얘기들을 많이 했는데요. 혹시 장점은 없나요?

전쟁을 더 효율적으로 할 수 있겠죠. 인명피해 거의 없이 할 수 있다. 예전 같으면 미군이든 이스라엘군이든 이미 몇백 명, 몇천 명 죽었을 거예요. AI를 가진 국가들은 너무나 효율적으로 전쟁을 할 수 있어요.

그런데 그게 동시에 리스크죠. 본인들에게 피해 없이 전쟁을 할 수 있다는 것을 인식하는 순간 전쟁이 벌어질 확률이 높아지겠죠. 20세기의 패러다임은 '전쟁하면 나도 망한다'잖아요. 그런데 인공지능이 보여주는 것은 '나는 안 망하고 상대방을 무너뜨릴 수 있는 도구가 있다'. 그 순간 전쟁을 일으킬 확률이 높아지겠죠.