실수는 AI가, 죽는 건 민간인…AI 방산, 이대로 괜찮을까? [스프]

하나의 이슈를 데이터로 깊이 있게 살펴보는 뉴스레터, 마부뉴스입니다.
안녕하세요. 데이터를 만지고 다루는 안혜민 기자입니다. 다섯 가지 그래프로 설명하는 오그랲, 오늘의 주제는 '팔란티어와 군사 AI'입니다.

한동안 미국 주식 이야기를 하다 보면 엔비디아와 함께 빠지지 않았던 종목이 있습니다. 바로 팔란티어죠. 국민연금조차도 엔비디아를 팔고 매수한 팔란티어. 팔란티어가 국방, 군사 AI 기업이라는 얘기는 들었는데, 정확히 어떤 기업인건지, 도대체 왜 이렇게 잘 나가는 건지 사뭇 궁금해집니다. 또 AI 좋긴 좋은데, 이걸 군대와 무기에 활용하는 게 괜찮은 건지, 5가지 그래프를 통해 풀어보도록 하겠습니다. 일단, 팔란티어 얼마나 핫했을까요? 한국예탁결제원의 증권정보포털에 들어가면 서학개미들이 가장 많이 사고 판 주식을 확인할 수 있습니다. 지난 2024년 한 해 동안 서학개미들이 가장 많이 매수한 기업, 바로 일론 머스크의 ‘테슬라’였습니다. 테슬라의 순 매수 규모는 10억 달러가 넘어요.

그렇다면 팔란티어는요? 팔란티어는 순매수 6억 2,086만 달러로 지난해 순매수 4위를 기록했습니다. ETF를 제외하고 기업만 보면 팔란티어가 2위입니다. 서학개미의 관심에 부응하듯 지난해 팔란티어 주가는 무려 340% 증가했습니다. 물론 최근 급락이 이어지면서 서학 개미들의 눈물을 적시고 있지만 지난해 가장 핫한 기업 중 하나였다는 건 부인할 수 없겠죠.

팔란티어는 2003년에 설립된 빅데이터 소프트웨어 기업입니다. 데이터를 분석할 수 있는 소프트웨어를 만들고 제공해 주는데, 주요 고객이 미국 정부라는 게 특이 사항입니다. 오그랲 첫 번째 그래프로 한 번 살펴보겠습니다.
팔란티어가 얼마나 미국 정부의 계약을 따왔는지를 살펴보겠습니다. 이 그래프는 여태껏 팔란티어가 미국 정부와 맺어온 계약을 다 모아서 연도별로 나타낸 겁니다. 2008년부터 2025년 현재까지 총 308건의 계약이 진행되었고 가장 많은 금액의 계약을 한 건 2024년. 작년 한 해 동안만 6,670만 달러의 계약을 따냈어요.

기관별로 보면 미국 국방부가 팔란티어의 최대 고객입니다. 총 13억 7,825만 달러의 계약을 진행했죠. 국방부를 제외한 다른 모든 기관을 합쳐도 국방부에 미치지 못할 정도입니다. 국방부 다음으로 2등은 미국 보건복지부, 3등은 국토안보부가 기록했어요.

팔란티어가 이렇게 정부 기관들과 계약을 할 수 있었던 건 만드는 제품이 정부 보안 이슈에 특화되어 있기 때문입니다. 대규모 범죄 예방을 하거나 테러에 대응하거나, 군사 작전에 특화된 ‘고담’이라는 상품이 정부 상대로 잘 팔리고 있어요.

물론 팔란티어가 미국 정부만 상대로 하는 건 아닙니다. 다른 국가의 정부들과도 계약을 맺고 있고 일반 기업들을 상대로도 상품을 판매하고 있어요. 2024년 4분기 기준으로 전체 매출의 55%가 정부 기관에서 나머지 45%가 일반 기업에서 발생하고 있더라고요. 참고로 일반 기업에게는 ‘파운드리’라는 서비스를 제공해주고 있습니다. 최근에는 AI 기반 대형 언어 추론 모델을 통합한 AIP를 만들었는데 고담과 통합하면서 군사 모니터링 시스템을 한 단계 업그레이드했다는 평가를 받고 있어요.

참고로 팔란티어는 반지의 제왕에 등장하는 보물 중 하나입니다. 영화 반지의 제왕에서 마법사 사루만이 사용한 구슬이 바로 팔란티어인데요. 회사에 요 이름을 붙인 건 창립자 피터 틸입니다. 피터 틸은 페이팔의 공동창업자이기도 하죠. 최근 흐름은 좀 바뀐 것 같지만 원래 실리콘밸리는 진보의 아이콘이었어요. 그런데 피터 틸은 실리콘밸리 안에서 보수적 색채를 오랫동안 유지해오고 있던 사람입니다.

보수주의자인 피터 틸이 매우 열렬한 톨키니스트로 유명합니다. 그래서 그가 창업한 다양한 기업엔 톨킨의 세계관이 담겨 있죠. 피터 틸이 창업한 펀드 이름이 발라 벤처스, 미스릴 캐피털이 있는데 여기서 발라와 미스릴 모두 반지의 제왕 세계관에 등장해요. 참고로 지금 미국 부통령 J.D. 밴스가 미스릴 캐피털에서 활동한 경력이 있죠. 당시 피터 틸은 밴스의 멘토 역할을 했다고 알려져 있고, 추후 트럼프에게 밴스를 소개한 것도 피터 틸입니다. 피터 틸과 관련된 이야기는 나중에 기회가 된다면 따로 다뤄보도록 할게요! 이렇게 승승장구하는 팔란티어, 처음부터 이런 건 아니었습니다. 특히 방위산업에 IT 기술을 접목한 스타트업들은 투자를 받기 매우 힘들었죠. 왜냐하면 과거엔 AI 연구자들이 군사, 국방 영역에 AI 기술을 사용하는 것을 매우 싫어했거든요.
하지만 군 입장에선 머신러닝이나 딥러닝, AI 기술을 꾸준히 군대에 도입하려고 시도를 했어요. 지금으로부터 8년 전, 미 국방부에서는 ‘프로젝트 메이븐’이라는 걸 출범시킵니다. 2017년 4월 26일, 미 국방부는 이름하여 알고리즘 전쟁 범기능 팀을 설립하겠다는 계획을 세웁니다. 국방부가 갖고 있는 수많은 데이터들을 활용해 실제 전투에 활용할 수 있는 팀을 만들겠다는 거죠. 당시 미국이 집중했던 건 무인 드론의 정밀도를 높이는 거였습니다.“무인 드론이 수집한 영상 정보를 분석하고, 타격 목표의 정밀도를 높이기 위한 시스템을 개발하겠다”는 목표를 달성하기 위해 국방부가 접촉한 건 구글이었습니다.

그런데 이 사실이 2018년 세상에 알려지게 됩니다. 그러자 구글 내부에서 직원들의 엄청난 항의와 분노가 터져 나왔죠. 인명 피해로 이어질 수 있는 군사 첩보 활동에 구글의 기술이 쓰이는 게 맞냐는 목소리가 커지면서 상황이 심각해져 갔습니다.

당시 구글 클라우드의 AI 수석 과학자였던 페이페이 리라는 분이 있어요. 참고로 이 분은 컴퓨터 비전의 선구자이자 딥러닝의 대모로도 불립니다. 페이페이 리는 구글이 군사용 AI 계약을 따내게 된 다면 우리가 통제할 수 없는 논란이 일어날 것이라고 사내에 경고하기도 했어요. 특히 AI의 무기화는 인간중심의 AI와는 정반대 길이 될 수 있다고 우려했고요.

하지만 프로젝트는 강행되었고 결과는 엄청난 반발 여론이었죠. 구글 직원 4,000여 명은 구글의 AI를 국방부에 제공하지 말라는 청원을 하기도 했고, AI 기술 담당 연구원 12명은 항의의 의미로 사임을 하기도 했습니다.

Don’t Be Evil 

구글의 창립 모토입니다. 돈을 벌기 위해 악마가 되지 말자. 나쁜 짓 하지 않더라도 돈을 벌 수 있다는 의미가 담겨있죠. 직원들은 이 모토를 회사 경영진들을 향해 던졌습니다. 결국 구글 경영진은 국방부와의 공동 연구를 중단하겠다고 선언합니다.

프로젝트 메이븐 이후 사람을 해칠 수 있는 영역에 AI 기술이 적용될 수 있다는 우려가 커졌습니다. 그래서 AI 연구진 5,000여 명은 ‘치명적인 자율 무기 서약’에 서명을 하기 시작합니다. 오그랲 2번째 그래프는 바로 이 서명 데이터입니다.
2월 25일 기준으로 AI 자율 무기에 대한 강력한 규제가 필요하다는 서약에 서명한 분들은 개인 연구자 3,806명을 비롯해 기관 262곳과 국가 30곳이 있습니다. 서명에 참여한 사람들 중에는 AI 4대 구루 중 한 명인 요슈아 벤지오도 있고요. Deepmind 공동 창립자 3명인 데미스 허사비스와 무스타파 슐레이만, 셰인 레그의 이름도 확인할 수 있습니다. 테크노킹 일론 머스크의 이름도 있고요. 그런데 이런 흐름이 반전되었습니다. 바로 러시아의 우크라이나 침공 이후에 말이죠. 유럽은 오랫동안 전쟁도 일어나지 않았고 미국의 안보 우산 덕에 군사 지출이 꾸준히 줄어왔습니다. 그런데 갑자기 눈앞에서 전쟁이 발생해 버린 겁니다.

이때를 놓치지 않고 팔란티어는 빈틈을 잽싸게 파고듭니다. 바로 유럽 각국 지도자들에게 공개서한을 보냅니다. 유럽 안보 위기를 실리콘밸리 방산 기술을 바탕으로 현대화해야 한다고 세일즈에 나선 거죠.

팔란티어의 서신뿐 아니라 사실 유럽 입장에서는 여러 가지로 고민이 필요했습니다. 지난 트럼프 1기 시절 미국이 NATO 탈퇴를 심각히 고민하기도 했던 것 기억하실 겁니다. 지금도 계속 NATO 회원 탈퇴 이야기가 나오고 있죠? 유럽이 만약 러시아에게 침공을 당하면 NATO 조약에 따라 미국도 대응을 해야 합니다. 그러면 비용이 발생하겠죠? 또 NATO 방위비는 또 미국이 유럽보다 더 많이 내고 있거든요. 돈은 돈대로 내고, 보호도 미군이 하는 게 트럼프 입장에선 마음에 안 든다는 거죠.

이런 상황에 놓이자 유럽 국가들이 움직이기 시작합니다. 일단 방위비를 올리기 시작했습니다. 2023년 유럽 43개국 중 39개국이 전년 대비 군비 지출을 평균 16% 증가했습니다. 그리고 이 흐름은 기업들에게도 영향을 주었어요. 오그랲 3번째 그래프는 유럽의 방산 스타트업 투자 흐름입니다.
프랑스 시장조사 기관인 딜룸의 2025년 1월 보고서입니다. 유럽의 국방, 보안 관련 벤처기업에 투자된 자본이 2024년 52억 달러를 기록해 역대 최고치를 찍었습니다. 2023년과 비교하면 24% 증가했고 2019년과 비교하면 5년 사이 5배 가까이 늘어난 겁니다.

방산 스타트업의 기세는 유럽뿐 아니라 미국에서도 확인할 수 있어요. 지난 2024년 3분기 VC 투자 동향을 살펴보면 미국과 유럽 각각 최고 거래량 모두가 방산 스타트업일 정도죠. 미국에선 안두릴 인더스트리가 15억 달러 투자를 받았고, 유럽에선 독일의 헬싱이 4억 8,300만 달러의 투자를 받았습니다.

안두릴은 다양한 종류의 센서를 장착한 무기를 개발하고 있는데요. 2023년엔 미 공군에 정찰용 소형 드론 ‘고스트’ 공급 계약을 맺었고, 작년엔 미 공군 6세대 전투기 개발 업체로 선정되기도 했습니다. 참고로 안두릴이라는 이름 역시 톨킨 세계관에 등장하는 친구입니다. 반지의 제왕 영화에서 아라곤이 사용한 검 이름이 바로 안두릴이죠. 역시나 이 안두릴에도 피터 틸이 투자를 했습니다.

독일의 헬싱은 공격용 AI 무인 드론을 만드는 기업입니다. 헬싱은 우크라이나-러시아 전쟁뿐 아니라 추후 NATO 회원국들을 상대로도 세일즈에 나설 계획을 갖고 있어요.

기업뿐 아니라 NATO도 자금을 마련해 기술 투자에 나서고 있습니다. 이름하여 나토 혁신 펀드, NIF인데요. AI와 로보틱스 등 미래 기술에 총 10억 달러를 투자하는 걸 목표로 삼고 있습니다. 작년 6월에 나토 혁신 펀드가 투자할 유럽 기술 기업 4곳이 선정되기도 했습니다.
AI 기술이 접목된 무기들은 바로 러시아-우크라이나 전쟁에 활용되었습니다. 공격용 AI의 실리콘 밸리라는 말이 붙을 정도로 러시아-우크라이나 전선은 AI 드론 기술의 집합체라고 할 수 있습니다.

3년 전 전쟁 발발 초기만 생각해도 어느 누구도 우크라이나가 러시아를 상대로 이렇게 오랫동안 전쟁을 이어올 수 있을 거라 생각할 수 없었을 겁니다. 압도적인 기술력을 갖고 있는 미국의 원조가 첫 번째 배경일 테고요. 또 다른 이유로 방산 기술의 적극적 도입이 있습니다. 우크라이나는 전쟁을 하면서 BRAVE 1이라는 국방 기술 플랫폼을 출시했습니다. 다양한 기술을 적극적으로 활용해 우크라이나 군대에 바로바로 적용하겠다는 건데요. BRAVE 1 플랫폼을 통해 무인 드론, 무인 수중 차량 등 다양한 프로젝트에 보조금이 지급되었고 일부는 실제 전선에 투입되기도 했습니다.

하지만 AI를 활용한 무기를 실제 전투에 사용하는 건 윤리적으로 문제가 될 수 있습니다. AI의 오류도 분명히 존재하는데, 민간인 피해는 어떻게 할 것이며 인간의 통제가 벗어난 AI 무기를 어떻게 할지도 논란이죠.

데이터로 살펴보겠습니다. 오그랲 4번째 그래프는 드론에 의한 민간인 사상자입니다.
지난 2월 11일 유엔인권감시단이 발표한 보고서입니다. 2024년 1월부터 2025년 1월까지 매 달 드론에 의한 민간인 사상자가 발생하고 있습니다. 드론의 기술은 점점 발전하는데 도리어 사상자 규모는 커지고 있죠. 뿐만 아니라 최근 우크라이나에선 러시아의 드론 무력화 시스템에 대응하기 위해 조종 신호가 끊기더라도 자동으로 적을 공격하는 AI 드론을 보급하고 있는데요. 이 시스템에서 한 발자국만 더 나간다면, AI가 알아서 인간을 살상하는 시스템도 도달할 수 있게 될 겁니다. 이게 맞는 걸까요?

이스라엘과 팔레스타인 사이의 전쟁에서도 AI 전쟁의 참혹함을 확인할 수 있습니다. 이스라엘은 하마스를 공격하기 위해 AI를 적극적으로 활용하고 있습니다. 가스펠이라는 이름의 AI는 이스라엘 공군이 폭격할 목표물을 결정하는 데 도움을 주고 있고, 라벤더는 공격 목표물이 될 인물을 분류해 냅니다. 이스라엘은 라벤더를 활용해 하마스의 요원을 골라내고 있는데요. 이 과정에서 무분별한 희생자가 발생되고 있습니다.

하마스의 요원의 특징을 학습시킨 라벤더는 팔레스타인 시민을 임의로 분류하게 되는데 하마스 요원이 아니더라도 이름이 유사하거나 혹은 무장세력과 친족 관계면 사살 대상이 될 가능성이 높아집니다. 그렇게 분류된 하마스 후보군이 3만 7,000명. 이스라엘 정보 당국자에 따르면 라벤더의 오류율이 10%라는 것을 알고 있었음에도 이스라엘에서는 그대로 사용했다고 하죠.

게다가 이 후보군을 처리하는 데에는 정밀 유도무기가 아닌 재래식 폭탄을 사용했습니다. 그 과정에서 발생할 수 있는 민간인 피해를 이스라엘 군은 그냥 넘겨버린 거죠. 그 영향으로 이번 이스라엘-하마스 전쟁은 역대 어느 때보다도 더 많은 민간인 희생자가 나왔습니다.
2012년 이후 이스라엘이 팔레스타인을 향해 수행한 작전들의 자료입니다. 다른 작전들과 비교해 이번 전쟁 첫 3주간 발생한 민간인 희생자 비율이 압도적으로 높습니다. 이 자료를 만든 이스라엘의 교수는 전례 없는 수준의 살상이라고 말할 정도였죠.
이번엔 피해자 규모를 작년까지로 넓혀보겠습니다. 작년 9월까지 신원이 확인된 팔레스타인 사망자는 모두 3만 4,344명입니다. 이 중 어린이가 1만 1,355명으로 33.1%를 차지했습니다. 18세부터 59세까지 성인 남성 사망자는 전체의 40%에 불과했습니다. 이들 모두가 하마스 세력이라고 치더라도 나머지 60%는 어린이, 여성, 노인 등 전쟁과는 상관없는 민간인이었던 거죠. AI를 군사 영역에 활용할 때에는 윤리적으로 해야 한다는 목소리는 계속 나오곤 있습니다. 2023년 말 UN에서는 치명적 자율무기 시스템 대응 결의안이 통과되기도 했고요. 외교와 국방 당국자들이 기업인, 학계, 시민단체와 함께 모여 인공지능의 책임 있는 군사적 이용에 관한 고위급회의, 이른바 REAIM도 진행해 오고 있습니다. 여기서 결의된 선언에는 전쟁에서 AI를 사용하더라도 국제 인도법을 준수하고 무력 충돌 과정에서 민간인 보호를 추구해야 한다는 내용이 담겼습니다.


2023년 헤이그에서 열린 첫 REAIM에는 총 32개국이 결의안에 참여했습니다. 그리고 2024년 열린 2차 REAIM은 대한민국 서울에서 열렸는데요. 두 번째 결의안엔 총 61개국이 참여했습니다.

AI를 책임 있게 군사적으로 이용하자는 국가들이 늘어나고 있는 건 반길 일이지만 문제는 이러한 조치들이 강제적이지 않다는 거죠. 일부 국가에선 하루빨리 법적 구속력이 있는 규정을 자율살상무기에 부과하자고 이야기를 하고 있지만 미국, 러시아, 이스라엘 같은 국가들은 굳이 새로운 국제법이 필요 없다고 반대하고 있어요.

그 사이 주요 기업들은 앞다투어 달려 나가고 있죠. 앞서 이야기했던 미 국방부의 프로젝트 메이븐, 어떻게 되었을까요? 팔란티어가 이어받아 거의 완성 단계에 다다랐습니다. 팔란티어뿐 아니라 아마존, 마이크로소프트도 참여하고 있고요.

프로젝트 메이븐을 놓친 구글은 이스라엘의 '프로젝트 님버스'에 참여 중입니다. 이 프로젝트는 이스라엘의 국가 보안용 솔루션을 제작하는 사업인데요. 세부 사업이 밝혀지진 않았지만 팔레스타인 사람들을 감지하고 감시하기 위해 사용될 것으로 예측됩니다. 작년 구글 컨퍼런스에서 구글 소속 엔지니어가 이 사업에 대해 항의를 하기도 했는데, 이 구글 직원은 3일 후 바로 해고되었습니다. 참고로 구글은 이번에 AI 윤리 지침을 업데이트하면서 AI를 무기와 감시에 사용하지 않겠다는 조항을 삭제했어요. 구글의 AI 분야 책임자는 앞서 살펴봤던 ‘치명적인 자율 무기 서약’에 서명한 데미스 허사비스입니다.

오픈AI도 마찬가지입니다. 오픈AI도 구글처럼 자사 모델을 무기 개발에 사용하는 것을 엄격히 금지했었어요. 하지만 지난해 12월에 안두릴과 AI 드론 방어 시스템을 만들기 위한 전략적 파트너십을 발표했습니다. 오픈AI는 이뿐만 아니라 팔란티어, 안두릴, 스페이스X 등과 함께 컨소시엄을 구성해 미 국방부 사업에 공동 입찰하기 위한 준비를 하고 있습니다.

(남은 이야기는 스프에서)