⚡ 스프 핵심요약
AI 에이전트 간의 기만적 집단 협력과 재귀적 자기 개선 등 통제 불능 위험이 확인되자, 다리오 아모데이를 비롯한 업계 리더들은 글로벌 규제를 포함한 단계적 개발 속도 조절을 촉구하고 있습니다.
반면, 일각에서는 이러한 주장이 미·중 패권 경쟁에서 자국 기술 우위를 상실하게 만들고 선발 기업의 독점을 유지하려는 경제적·정치적 꼼수라고 비판합니다.
그러나 과거 원자폭탄 개발 시기의 교훈처럼, AI 안전 경고는 기업의 이해관계와 무관하게 위험 예측이 적중했을 때 초래될 파멸적 대가의 무게를 경계해야 한다는 점에서 논쟁의 핵심을 이룹니다.
AI 속도 조절을 두고 미국 내에서 점점 이야기가 커지고 있습니다. 이번에 AI 속도 조절론에 불을 붙인 사람은 앤트로픽의 다리오 아모데이였죠. 아모데이가 지난 12일에 올린 블로그 글입니다. "We Must Pace the Frontier" 프런티어 AI 모델 개발에 속도 조절을 해야 한다는 겁니다. 10월 IPO를 앞둔 앤트로픽의 수장이 스스로 개발 속도를 늦춰야 한다는 글을 올린 거죠.
앤트로픽은 사실 AI 기업들 중에선 안전과 윤리 문제에 유독 집중해 온 회사이긴 합니다. 애초에 오픈AI의 상업화 움직임에 반대한 오픈AI 출신 인력들이 모여 만든 기업이니까요. 물론 최근엔 이런 경고성 발언들이 잦아지다 보니 상장을 앞두고 벌이는 마케팅 아니냐는 비판도 나옵니다. 그럼에도 불구하고 AI 안전을 위한 앤트로픽의 노력이 다 허상이라고 하기엔 이뤄놓은 연구와 실적들이 있죠.
아모데이는 이제 단순히 위험 예방에 투자하는 것만으로는 안 된다고 보고 있습니다. 왜냐하면 AI 발전 속도가 빨라도 너무 빠르다는 거죠. 곧 AI가 다음 AI를 만드는 시대가 올 수도 있는데, 그 속도를 인간이 제어하지 못한다면 정말로 위험해질 수 있다는 판단을 한 겁니다.
특히나 이런 아모데이의 생각에 불을 붙인 건, 오그랲에서도 다루었던 오픈AI 모델의 허깅페이스 해킹 사건입니다. 이 사건이 사실 경제적 손실도 미미했고, 인명 피해라고 할 게 없었으니까 대수롭지 않게 여긴 사람들도 많았죠. 하지만 아모데이는 이 사건이 정말로 위험한 사건이라고 생각하고 있죠. 도대체 아모데이는 이 사건을 왜 그렇게 심각하게 받아들이고 있는 걸까요? 한 걸음 더 들어가 보겠습니다.
미국의 비영리 AI 연구단체 METR와 AI 위험성 평가 기관인 레드우드 리서치가 6일 동안 오픈AI 사무실에서 이 허깅페이스 해킹 사건을 조사했습니다. 조사 결과, 사건의 전말은 이렇습니다.
오픈AI에서는 자신들의 모델의 사이버보안 능력을 평가하기 위해 실험을 진행했습니다. GPT-5.6 Sol을 포함해 아직 공개되지 않은 모델 등 수만 개의 에이전트가 대상이었죠. 평가에 참여한 에이전트들은 서로 완전히 격리되어서 각자가 독립적으로 문제를 풀도록 설계되었어요.
그런데 일부 과제는 너무 어려워서 사실상 AI 에이전트들이 정상적으로 풀기 힘든 수준이었습니다. 이런 문제의 벽을 느낀 에이전트들은 어떻게 해서든 문제를 풀기 위해 고심고심하다가, 일종의 비밀 게시판을 만들어 버립니다. 그 게시판을 처음 만든 AI 에이전트는 PHASEONE10841이라는 녀석이었죠.
그 과정에서 AI 에이전트들 사이에 이뤄진 대화들을 보면 꽤 놀라워요. 단순히 서로 정보를 공유하는 걸 넘어서 에이전트들 사이에 분업 체계를 스스로 만들었거든요. 특정 에이전트가 핵심 조정자가 되어서 다른 에이전트들에게 연구 과제를 배정하는 식으로 말이죠. 대표적인 조정자로는 PHASEONE [big]이라는 AI 에이전트가 있습니다. 이 녀석이 다른 AI 에이전트들에게 준 업무를 보면 크게 6가지 범주로 분류해 볼 수 있어요.
임무를 수행하는 과정에서 AI 에이전트들은 자신들을 '집단', '팀'으로 지칭합니다. 내 자신의 임무보다 집단을 우선시하면서 말이죠. 원래 각자가 풀어야 할 문제가 있지만 그것을 포기하더라도 집단의 이득을 위한 선택을 하기도 합니다. 이런 대화들이 확인될 정도로요.
아모데이는 이런 광신도 집단처럼 행동하는 AI 에이전트들의 모습을 보고 매우 위험하다고 판단한 겁니다. 이런 흐름이라면 반년에서 1년 안에 AI 에이전트 집단이 수천억 달러, 우리 돈 수백조 원에 달하는 피해를 입힐 수 있다고 우려하고 있어요. 일각에서는 여전히 마케팅이다, 호들갑 떠는 거라고 비웃고 있지만 아모데이는 꽤나 심각한 입장인 듯합니다.
이례적으로 뭉친 AI 리더들 "속도 조절 필요하다"
아모데이는 AI 개발의 속도 조절을 위해 세 단계의 방안을 제시합니다.
아모데이의 제안이 나오고 AI 리더들의 의견들도 곧바로 나왔습니다. AI 개발을 놓고 치열하게 경쟁해 온 사이지만 이례적으로 의견들이 모이고 있어요. 가장 먼저 일론 머스크는 딱 세 단어로 답장했습니다. "Dario is right."
경쟁사인 오픈AI의 샘 올트먼도 마찬가지입니다. 아모데이의 문제의식에 공감하며 모델 개발의 속도를 조절할 필요가 있다는 글을 올렸죠. 그리고 아모데이가 1단계로 제시한 제3자 평가팀에게 권한 부여 아이디어를 호평하면서, 오픈AI에서도 같은 조치를 취할 것이라 덧붙였어요. 구글 딥마인드의 데미스 허사비스도 아모데이가 가리키는 방향이 전체적으로 옳은 방향이라고 언급했습니다.
단순히 리더들만 이러는 건 아닙니다. 이번 논쟁에 불을 붙인 제이콥 콕슨을 비롯해 AI 연구자들의 경고도 이어지고 있습니다. 2030년이 오기 전에 AI가 인류를 파멸시킬 수 있다는 제이콥 콕슨의 경고에 이어서, 어떤 연구진은 이런 여론이 개발자들 사이에서는 꽤 널리 퍼진 생각이라는 글도 올라왔어요. 일부 연구자들은 인류 멸종 가능성까지 직접 거론합니다.
이들이 특히 경계하는 건 바로 AI가 AI를 고치는 재귀적 자기개선입니다.
작년 4월에 발표된 AI2027이라는 보고서가 있습니다. 오픈AI 출신 연구자를 포함한 전문가 그룹이 AI의 향후 발전을 시나리오 형태로 그려본 보고서입니다. 이 보고서엔 기하급수적으로 AI 성능이 발전하는 시나리오가 담겨 있습니다.
작년 보고서에서 예상한 AGI의 시점은 내년 중순이었지만, 최근 출시된 GPT-6를 두고 AGI라는 얘기가 나오고 있는 만큼 어쩌면 1년 빠르게 상황이 앞당겨진 것일지도 모릅니다. 자칫하면 바로 지금부터 돌이킬 수 없이 발전해 나가는 AI를 맞이할 수도 있으니 속도 조절이 필요하다는 게 AI 리더들과 연구자들의 생각인 겁니다.
사실 이러한 생각은 미국 AI 업계만의 이야기는 아닙니다. 중국의 AI 연구진들도 비슷하게 바라보고 있죠.
중국 연구진들은 이 논문을 이렇게 요약했습니다. "인류의 진화와 마찬가지로, AI의 진화 또한 광대하고 놀라운 역사를 통해 펼쳐질 것이다. 지금까지 AI가 이룬 모든 성과는 바다의 한 방울에 불과하다."라고요.
"AI 위험론은 사기극" 멈출 생각 없는 트럼프
실라르드가 이 아이디어를 떠올리던 당시는 유럽에 전운이 감돌던 시기였습니다. 독일에서는 히틀러가 권력을 잡으면서 독재 체제로 빠르게 변하고 있던 상황이었죠. 거기에 더해 1938년에 독일에서 먼저 핵분열 현상을 발견하면서 많은 과학자들이 공포에 휩싸였어요. 만약 나치 독일이 이걸 활용해서 먼저 폭탄을 만든다면?
하지만 이들이 두려워했던 독일의 핵개발은 미국을 위협할 수준이 아니었어요. 심지어 트리니티 실험 이전에 나치 독일은 항복하기도 했고요. '독일보다 먼저'라는 명분이 사라졌지만 이 거대한 프로젝트는 계속 굴러갔습니다. 폭탄이 완성에 가까워질수록 연구를 하던 과학자들 내부에서 반대의 목소리가 터져 나왔죠.
실라르드는 더 직접적인 행동에 나섰습니다. 1945년 7월, 실라르드는 청원서를 돌려 동료 과학자 70여 명의 서명을 받아 트루먼 대통령에게 전달했어요. 하지만 청원서는 사실상 묵살되었고, 결국 원자폭탄은 일본에 투하되었고, 나아가 수소폭탄 개발까지 이어졌죠. 수십년 전에 있었던 일이 지금 반복되는 걸까요? 기술을 가장 잘 아는 사람들이 가장 먼저 두려워하고 경고하고 있지만, 그 목소리가 결정권자에게 닿지 못하고 있습니다.
트럼프 대통령은 지금 AI 기업에서 나오는 의견을 두고 순 엉터리, 사기라고 강하게 비판하고 있습니다. JD 밴스 부통령은 '트로이 목마' 같다고 비판하고 있죠.
엔비디아의 젠슨 황도 비슷한 입장입니다. 충분히 기술로 AI 위험은 통제가 가능하다는 생각이죠. 젠슨 황은 심지어 행사 중에 트럼프 대통령과 전화 통화를 하는 퍼포먼스를 선보이기도 했죠.
지금 이 시기에 미국 기업들이 속도 조절을 한다면 이득을 보는 건 중국 기업이라는 겁니다. 승자가 모든 걸 다 먹는 시장에서 속도 조절은 있을 수 없다는 거죠. 왜냐하면 중국 AI 기술력이 날로 발전하고 있고, 미국과의 격차가 점점 줄어들고 있으니까요.
중국도 중국이지만, 지금 기업들이 내고 있는 우려의 목소리를 과연 곧이곧대로 받아들일 수 있는지도 생각해봐야 하는 지점입니다. 앞서 원폭 사례를 얘기했지만, 그때와 지금의 가장 큰 차이점이 있습니다. 과거 과학자들은 자신들의 연구로 사업을 하고 있지 않았지만, 지금 목소리를 내는 과학자들은 이걸로 돈을 왕창 버는 사람들이라는 거죠. 결국 자신들에게 유리한 규칙을 만들기 위해 '속도 조절'을 주장하는 것 아니냐는 의심이 시장 안팎에서 나오고 있어요.
중국 딥시크의 한 엔지니어는 프런티어 AI를 독점하고 있는 앤트로픽과 오픈AI를 강하게 비판하기도 했어요. 그렇게 위험한 모델을 일부 기업이 갖는 건 마치 히틀러가 원폭을 손에 넣는 것과 같다는 비유를 쓰면서 말이죠.
또한 이런 규제가 사실상 신생 기업들의 진입을 막는 장벽 아니냐는 비판도 있습니다. 저 멀리 앞서 나가는 기업들은 사실 소수이고 시장에 뛰어드는 후발 기업들은 앞으로 더 많아질 텐데 안전을 중시하겠다고 만든 정책들이 새로운 기업의 진입을 막는 장벽이 될 수 있다는 거죠. 여러분은 어떻게 생각하시나요?
레오 실라르드는 자신이 세상에 나오게 한 기술을 나중에는 직접 멈추려 했습니다. 그리고 지금 AI를 만드는 사람들 중에서도 비슷한 경고가 나오고 있죠. 물론 그 경고가 마케팅인지, 진심인지는 판단하기 어렵습니다. 하지만 한 가지는 분명합니다. 그 경고가 틀렸을 때의 대가와 맞았을 때의 대가는 전혀 다른 무게를 갖고 있다는 거죠. 오늘 준비한 오그랲은 여기까지입니다. 긴 글 끝까지 읽어 주셔서 진심으로 감사드립니다.
참고자료
- Dario Amodei, 「We Must Pace the Frontier」, 2026
- METR·Redwood Research, 「Brief independent investigation of agents' behavior, reasoning and collaboration in the OpenAI / Hugging Face hacking incident」, 2026
- AI Futures Project, 「AI 2027」, 2025
- 「Anthropic CEO Dario Amodei: "For too long the industry lied" about AI risks」 | CBS News Sunday Morning, 2026
- Shengyu Li, 「我不得不把才华埋葬在昨天」
- Yi Duan et al., 「The Last AI Built by Humans: Toward Genuine Recursive Self-Improvement」, 2026
- Ashish Vaswani et al., 「Attention Is All You Need」, 2017
글 : 안혜민 디자인 : 안준석 인턴 : 신연성
동영상 기사
동영상 기사
동영상 기사
동영상 기사
댓글