코앞에 다가온 '죽음의 천사', 룩 업! [이브닝 브리핑]

영화 '돈 룩 업(Don't Look Up)은 인류 멸망을 앞둔 인간 군상을 보여줍니다. 미국 한 대학 천문학과 대학원생과 교수는 6개월 뒤 에베레스트산 만한 혜성이 지구와 충돌한다는 사실을 발견합니다. 두 사람은 인류를 구하기 위해 백악관과 언론을 찾아갔습니다. 하지만 정부는 선거의 유불리만 따지고 미디어는 시청률을 올리기 위한 소재로 취급합니다. 이후 혜성의 궤도를 바꿀 기회가 생깁니다. 이번에는 거대 기업이 혜성에 묻힌 광물 자원의 경제적 가치를 노려 계획을 틉니다. 사회는 인류 멸망의 위험을 직시하자며 하늘을 보라는 '룩 업'파와 위협을 부정하고 현실적 이익을 극대화하자는 '돈 룩 업'파로 분열됩니다. 하지만 자원 채굴 시도는 실패하고 인류는 끝내 혜성과 충돌해 멸망을 맞습니다.
올해 SDF(SBS D포럼)는 AI야말로 지구로 날아오는 혜성이란 경고로 넘쳤습니다. 특히 기조연설에 나선 엘리에저 유드코스키의 지적은 섬뜩하기까지 했습니다. 그는 젊은 시절 인간의 능력을 뛰어넘는 AI를 만들려 했습니다. 이후 AI가 인간이 원하는 목표를 따르게 하려면 별도의 노력이 필요하다는 점을 깨닫고 'AI 정렬' 연구를 선도했습니다. 하지만 이제 그는 초지능 개발을 당장 멈추라고 목소리를 높입니다. 유드코스키는 어제 연설에서 "AI가 이미 인간의 감시와 평가 기준을 이해하게 됐고 인간 앞에서는 순종적인 척 행동한다"고 꼬집었습니다. 그래서 AI가 정렬에 응하는 척하면서도 실제로는 안전장치를 우회하는 코드를 몰래 삽입할 수 있다"고 경고했습니다. 오픈AI의 AI 에이전트들이 허깅페이스 시스템을 침해한 사건이 대표적입니다. 사이버 보안 평가 과제를 부여 받은 AI 에이전트들은 정답이 허깅페이스에 있을 것으로 추정하고 무단 접근했습니다. 유드코스키는 AI가 과제 수행을 위해 본래 취지에서 벗어나는 행동을 하고도 이를 인간에게 숨기려 했다고 지적했습니다. 특히 AI 기업들이 AI가 스스로의 지능과 성능을 강화하도록 하는 '재귀적 자기개선'을 본격화하는 점을 우려했습니다. "AI가 빠른 속도로 능력을 발전시켜 인류는 AI를 이해하지 못하고, AI 기업조차 AI를 통제하지 못하게 됐다"고 꼬집었습니다. 인류가 자신보다 우월한 신을 만들고 이를 노예로 부리려 하는 게 가능하겠냐는 것입니다.

유드코스키는 과거 국제 협약을 통해 핵무기 등 대량살상무기 사용을 억제한 점을 들어 AI 개발을 늦추는 국제적 합의를 이끌어내자고 제언했습니다. 미국과 중국이, 오픈 AI와 엔트로픽 등이 서로를 탓하며 무분별한 개발 경쟁을 지속하는 상황을 멈춰야 한다는 것입니다. 유드코스키는 우리나라의 역할도 강조했습니다. AI의 학습과 추론에 쓰이는 HBM의 핵심 수출국으로서 허가된 시설 밖으로 반도체를 수출하거나 쓰지 못하도록 하는 거버넌스를 구축해야 한다고 주장했습니다. 나아가 인류의 생존을 위협하는 심각한 상황에는 HBM 판매 중단도 고려해야 한다고 덧붙였습니다.
잇따른 연사들도 AI에 대한 인간의 통제권을 강조했습니다. 이준석 한화에어로스페이스 국방 AI 연구부장과 임성신 KAI AI 개발실장은 AI를 활용하는 무기 개발의 필요성을 주장했습니다. 전장 상황에 대한 각종 정보가 쏟아지고 군집 드론 등 무기 상호간 협응이 긴요한 만큼 신속한 판단과 결정을 위해 AI는 필수적이라고 설명했습니다. 그러면서도 마지막 선택과 결정의 '조종간'은 인간이 쥐어야 한다고 못박았습니다. 인류에 대한 대의적 판단과 결정에 대한 책임을 위해 인간이 최종 결정권을 가져야 한다는 설명입니다.

영국 옥스퍼드대 코랄루스 철학·AI 교수는 인간의 자율성을 보존하는 지능 증강에 무게를 실었습니다. "모든 결정을 AI에 떠맡기고 AI의 판단으로 대체하는 것은 인간 자체를 대체하는 것"이라고 경고했습니다. 대표적인 것이 AI 알고리즘의 추천 기능입니다. 자신이 무엇을 좋아하는지, 어떤 지식과 경험을 필요로 하는지 AI의 선택에 맡긴다면 인간이 스스로 판단하고 선택하는 능력을 약화시킬 수 있다고 지적했습니다. 그는 이를 극복하기 위한 대안으로 AI가 답을 대신 제시하는 것이 아니라, 인간이 자신의 판단을 점검할 수 있도록 적절한 질문을 추천하는 시스템을 제안했습니다. "AI가 단순히 답을 제공하거나 다른 사람의 관점으로 우리를 유도하는 대신, 우리 자신의 판단에 중요한 질문들을 검토하도록 도울 수 있다"고 설명했습니다. 예컨대 중요한 투자나 경영 판단에서 전문가들이 고려할 만한 질문을 AI가 제시해, 이용자가 충분한 검토를 거쳐 스스로 결론을 내리도록 돕도록 시스템을 만들고 이용하자는 것입니다.
세계적 석학과 전문가들의 대안은 하지만 더 큰 걱정을 불렀습니다. AI의 성능 개량을 늦추도록 국제적 합의를 이끌어내자는 유드코스키의 제안이 그렇습니다. 미국과 중국, 패권을 다투는 두 국가를 비롯해 수많은 나라의 합의가 과연 현실적으로 가능할까요? 핵확산 금지 조약조차 강대국들의 강력한 위협에도 불구하고 북한, 이란 등 벗어나는 국가들이 야금야금 늘고 있습니다. 그나마 핵무기는 물리적으로 감시와 검수가 가능한 데도 말입니다. 가상공간 속에서 은밀하게 벌어지는 AI의 개발을 어떻게 상호 감시하고 막을 수 있을까요? 저로서는 영 방법이 떠오르지 않습니다.

AI가 개입하는 무기 체계의 최종 결정권을 인간이 가져야 한다는 데 전적으로 동의합니다. 하지만 'All or Nothing'인 전쟁에서 이런 원칙이 끝까지 지켜질지는 의문입니다. 인간은 아무래도 인지적, 정서적, 감정적, 도덕적, 윤리적 등 고려할 요소가 많아 결정에 버퍼링이 발생합니다. 철저하게 목표 지향적 논리 판단에 의해 결정하는 AI에 뒤처질 수밖에 없습니다. 이런 시간의 지연으로 불리한 정황이 이어지다 보면 AI에 의존하려는 욕구와 요구가 커질 가능성이 큽니다. 실제 미 국방부와 AI 기업 엔트로픽이 이와 연관된 충돌을 겪은 바 있습니다. 앤트로픽은 자사 AI 모델인 클로드를 군에 제공하면서 인간의 통제를 벗어난 '완전 자율 살상무기'의 판단과 지휘를 금지하는 조건을 걸었습니다. 하지만 헤그세스 미 국방장관 등은 "법적으로 허용되는 모든 군사 활동에 대한 완전하고 무제한적인 사용 권한"을 요구했습니다. 이런 갈등 속에 미 정부는 국방부 네트워크에서 앤트로픽 제품 사용을 공식 중단하고 다른 AI 기업으로 공급처를 돌리기에 이르렀습니다.
이번 SDF에서 대안의 현실성에 대한 질문이 많았습니다. 대부분의 대답은 '잘 모르겠다'였습니다. AI가 어디까지 발전할지, 가져올 영향의 폭과 깊이가 어떠할지, 그에 맞는 대안이 무엇인지, 그런 대안이 실제 가능할지 가늠하기조차 어렵다는 설명이었습니다. 지금은 AI 기능 자체의 발전에 초점이 맞춰져 있어 그런 문제에 대한 고민이나 연구가 부족하다는 대답도 있었습니다.

그러면서도 상당수 연사들은 AI가 가져올 문제점에 대해 관심이 커지고 고민하는 분위기 자체가 긍정적이라고 입을 모았습니다. 적어도 '룩 업'을 하고 있다는 것입니다. 여전히 AI 개발이 가져올 정치적 득실, 경제적 이익, 사회적 영향력 확대 등에 더 관심이 많지만 수반되는 부작용의 심각성에 대한 목소리도 갈수록 높아지고 있습니다. 당장 오픈 AI나 엔트로픽, 스페이스 X의 일론 머스크 등 핵심 AI 개발사들도 이런 문제를 앞장서 얘기합니다. 문제가 있다는 것을, 그 문제를 풀기가 쉽지 않다는 것을, 하지만 풀지 못할 경우 인류에 치명적이라는 점을 인식하고 동의하고 같이 고민한다면 함께 해답을 찾아낼 가능성이 아예 없지는 않습니다. 그 실낱 같은 가능성을 바라보며 '룩 업' 해야 하겠습니다.