인류 파멸이 정녕 걱정되면 당신들 AI 권력부터 나눠라

홍수 일으킨 자가 제 방주만 짓는 형국… 현존하는 통제 제도부터 당장 사용해야

오픈에이아이(OpenAI) 로고와 인공지능. 연합뉴스

2026년 9월 내내 실리콘밸리 인공지능(AI) 업체들에서 제기된 ‘범용 인공지능’(AGI)의 통제 불가와 인류 파멸 선언이 지구촌 사회를 뒤숭숭하게 했다. 오픈에이아이(OpenAI)와 앤트로픽(Anthropic)에서 일했던 연구원 한 명이 회사를 그만두며, 두 회사 모두 무책임하게 인류의 목숨을 걸고 안전장치 없이 질주하고 있다고 폭로했다. 앤트로픽의 다른 연구원들도 곧바로 동조하며, 10년 안에 고삐 풀린 AGI가 인류를 멸종시킬 확률을 10% 넘게 본다고 밝혔다. 며칠 뒤 다리오 아모데이 앤트로픽 최고경영자가 AI 개발 속도 조절론을 들고나왔다. 이에 마이크로소프트와 구글의 최고책임자를 포함해 평소 앙숙인 샘 올트먼과 일론 머스크까지 AI 통제 불가능성의 잠재 위협에 동조했다.

 

속도 조절, ‘죄수의 딜레마’ 상황에 봉착

 

이제까지의 무한 경쟁과 속도전에 견줘 이번 일은 이례적이지만, 그렇다고 해서 무턱대고 이들의 경고를 무시할 일은 아니다. 속도 조절론의 직접적 계기는 2026년 7월 인간의 개입 없이 AI 에이전트 스스로 외부 시스템에 무단으로 침투해 AI 에이전트 무리가 연합 공격에 악용된 사례가 잇따르며, 모델의 기술 능력이 안전장치 마련보다 더 빨리 진화하고 있다는 우려가 커진 데 있다. AI가 인간의 개입 없이 스스로 진화하는 이른바 ‘재귀적 자기개선’(RSI) 능력이 새롭게 위협 요인이 되고 있다. AI가 스스로 개량하기 시작하면 인간이 그 속도를 따라잡기가 사실상 불가능해진다는 문제의식이다.

아모데이는 개발을 아예 멈추자는 것이 아니라, AI 모델을 인간의 의도와 통제 범위 안에 두는 안전과 ‘정렬’ 문제를 해결할 시간을 벌자고 말한다. 그런데 AI 시장의 경쟁 현실은 개발 속도 조절이 기업 단독으로 도저히 이뤄질 수 없다. 이미 그들 사이에 기술 경쟁의 도가 지나쳐 자기제어가 어려워졌고, 설사 미국 기업들이 함께 늦춰도 중국이 계속 질주하면 기술 경쟁에서 밀린다는 두려움이 존재한다. 모두가 함께 늦추면 조금 더 안전해지겠지만, 상대를 믿지 못해 누구도 먼저 멈추지 못하는 전형적인 ‘죄수의 딜레마’ 상황에 봉착했다. 그래서 아모데이는 이를 조절하기 위한 독립 평가기관과 공통 안전 기준, 국가 사이의 협력을 묶은 해법까지 내놨다.

 

인공지능(AI) 개발 기업을 이끄는 수장들. (위 왼쪽부터 시계방향으로) 앤트로픽의 다리오 아모데이, 구글 딥마인드의 데미스 허사비스, 스페이스엑스(X)의 일론 머스크, 오픈에이아이(AI)의 샘 올트먼. AP 연합뉴스

 

위험 경고하는 자들의 몇 가지 속셈

 

AI 모델을 개발하는 기업 조직 내부에 오래전부터 가속화된 AI 개발 혁신을 강조하는 ‘부머’(속도파)와 안전장치 마련 없이는 인류의 파멸이 올 것이라 믿는 ‘두머’(안전파)라는 두 극단의 긴장 관계가 있었다는 것은 잘 알려진 사실이다. 이번 사안은 최근 몇 년 사이 AI 개발의 가속 경쟁 과정에서 부머가 득세하며 개발 검토 절차를 생략한 채 무리하게 신모델을 반복 출시하며 두머를 배제해오던 내부 문제가 곪아 터졌고, 급기야 두머 집단이 이를 사회문제로 끌고 나와 폭로한 형국으로 보인다.

어찌됐건 무분별한 ‘하이퍼스케일’(대규모 인프라) 구축 경쟁이 그들 자신을 공멸의 위기 상황으로 이끌 것이라는 위험을 이번 일로 업계 스스로 인정한 점은 의미가 있다. 문제는 그다음이다. 위험이 사실이라는 것과 그 위험을 말하는 이들의 동기에 뭔가 다른 전제가 깔려 있다면 이는 전혀 다른 문제다. 이들의 AI 개발 속도 조절 경고 뒤에는 몇 가지 셈법이 숨어 있다는 점에서 다소 불순하다.

첫째, 전형적인 마케팅 전략이라 보는 시각이 있다. AI 공포를 키운 다음 그 해결책으로 자기 회사의 안전 기술을 파는, 이를테면 인류의 파국을 막을 기업은 우리뿐이고 사태가 이러니 우리 제품을 믿고 써달라는 익숙한 ‘어그로’(관심 끌기)식 화법이 도사린다. 뜻밖에도 국방 AI 기업 팔란티어의 임원 시암 상카르는 이런 유의 “공포마케팅”이 소수의 기술 엘리트가 나머지 모두에 대한 통제권을 쥐기 위한 발상이라고 비판하면서, 투자자 지갑을 더 열기 위한 “모금용 쇼”에 가깝다고 지적했다.

둘째, AI 테크기업의 손익계산으로 보는 시각이다. 정부 개입이 필요할 정도의 첨단 AI 연산 모델을 소유한 소수 ‘프런티어 AI 모델’ 기업들의 개발 속도를 함께 늦추면 막대한 학습 비용이 줄고 이미 내놓은 제품의 매출은 그대로 남아 오히려 이익이 늘 수 있다는 진단이다. 이를테면 아모데이는 자신이 개발하는 기술과 도구가 파국적 결과를 초래할 수 있다고 선언한 지 불과 며칠 만에 한 행사장에서 고객에게 소프트웨어를 열심히 팔고 곧 다가올 기업공개(IPO)를 준비하며 억만장자가 될 채비를 하는 모순된 모습을 보였다. 그들의 속도 조절에 대한 진심이 진정 다른 계산 위에 있음을 뜻한다.

셋째, 규제 이익으로 보는 시각도 있다. 앞서가는 소수 프런티어 AI 기업이 안전을 이유로 새로운 규제 틀을 만들면, 뒤늦게 뛰어드는 스타트업이나 오픈소스 진영, 중국 기업들의 진입을 쉽게 막을 수 있다. 인류 파멸까지 초래할 거대 연산 기술을 다룬다는 이유만으로 반독점법 등 기존 법적 요구 사항으로부터 면제된 채, 이들 소수 영리 추구 기업끼리 예외 규정을 마음대로 정하려는 일종의 시장 담합이자 신사협정을 체결하려는 시도로 읽는다. 자신들의 내적인 기술 위험을 막겠다는 규제 명분을 통해, 정부가 책임지는 구속력 있는 법안을 마련하기보다는 소수 AI 시장의 독점 카르텔을 지키려는 그들만의 울타리를 세우려 한다고 보는 것이다.

 

엔비디아의 최고경영자 젠슨 황. AFP 연합뉴스

AI 둘러싼 분열증과 각자도생의 길

 

흥미롭게도 도널드 트럼프 미국 대통령은 최소한의 AI 규제 법안조차 원치 않는다는 점을 분명히 했다. 트럼프 대통령은 사회관계망서비스(SNS)에 AI 기업들이 내놓는 인류 파멸의 경고를 “역겨운 음모”라 부르며, AI 속도를 늦추면 좋아할 나라는 중국뿐이라고 쏘아붙였다. 중국 외교부도 이 위협론이 오히려 국제 협력을 방해한다며 맞받았다. 세계 최강대국 두 나라가 정확히 같은 지점에서 AI 두머론을 비웃은 셈이다. 중단 없는 기술 가속과 물리적 인프라 생산 공급망을 담당하는 엔비디아의 젠슨 황은 이 모든 AI 위험 논쟁을 과학적 근거 없는 공포 조장이라고 일축했다. 트럼프는 한술 더 떠서 우주군을 만들었던 것처럼 이번엔 “AI군”을 창설해, AI 산업 성장을 어떤 식으로도 억누르지 않겠다고 공언했다.

종말을 그토록 요란하게 경고한 AI 기업 두머들조차 행동이나 태도는 다소 기괴하고 각자도생의 길을 보인다는 점에서 특징적이다. 가령 메타의 마크 저커버그는 미국 하와이에 지하 벙커로 보도된 대형 시설을 지었다가 그저 작은 재난대피소일 뿐이라며 발을 뺐다. 샘 올트먼은 생존 콘크리트 대피소를 짓고 총, 금괴, 방독면, 항생제 등을 챙겨둬 파국을 늘 준비하고 있다. 팔란티어 공동창업자인 피터 틸은 종말 이후 가장 안전한 고립지인 뉴질랜드를 최후의 보루로 삼아 그의 저택에 지하 방어 시설을 갖춘 ‘패닉룸’을 설치했다. 일론 머스크는 지구가 잘못되면 화성으로 도망칠 계획을 세운다. 이들 기업의 최고경영자는 정작 그들 자신이 초래한 위기로부터의 탈출에 누구보다 진심이다. 언론인 나오미 클라인과 작가 애스트라 테일러는 ‘종말 시대의 파시즘’이란 신간에서 이들의 추한 모습을 한 문장으로 요약한다. 이들은 자신이 홍수를 일으키면서 동시에 자기만 생존할 방주를 짓고 있다.

AI 기업은 더 나은 세상을 우리와 함께 짓기보다, 최악의 종말론적 상황을 가정하며 그들 자신만이 살아남을 탈출구를 상상한다. 종말을 앞두고 벙커를 짓는 이와 중단 없는 혁신을 부르짖는 이가 마치 정반대인 것처럼 보이지만, 기실 같은 인물이다. 결국 지금 벌어지는 소란은 안전 대 가속의 싸움이라기보다, 기술 패권을 움켜쥐려는 여러 권력자의 자리다툼에 가깝다. 안전을 내세우는 모델 개발사, 국가 패권을 앞세우는 트럼프와 백악관, 규제를 걷어내고 군비경쟁과 안정적 공급망을 확보하려는 팔란티어 등 방위산업과 엔비디아 등 반도체 업계, 이 모든 미국의 견제를 밀어내려는 중국이 자리한다. 이들은 저마다 얻을 AI 손익계산을 따질 뿐, 이 기술이 막상 누구 손에 어떻게 있어야 하는지 어떤 목소리를 소외시키는지 전혀 묻지 않는다.

 

종말 시나리오가 은폐하는 것들 드러내야

 

AI 안전 담론이 지능 기계의 ‘실존적 반란’ ‘인류 절멸’ 같은 공포 프레임으로만 확산되면서, AI로 일자리를 잃는 사람들, 데이터센터가 삼키는 전기와 물, 인간의 승인 없이 움직이는 자율살상무기 같은 문제는 이 요란한 소음 속에 조용히 파묻힌다. 인류 전체의 생존이라는 거대한 종말론적 서사 앞에서 지금 당장 일자리를 위협받거나 데이터센터 옆에서 가뭄을 걱정하는 지역민의 현실적 위협은 우리 시야에서 점점 사라지고 있다.

정치인 알렉산드리아 오카시오코르테스의 말처럼, 정작 인류에 대한 실제 위협은 AI의 인류 파멸 시나리오보다는 그 AI를 쥔 기술 과두 권력자들 자신이다. 먼 미래의 공상과학(SF)적 파국 시나리오가 오히려 이들 권력자가 벌이는 현실의 부 집중, 불평등, 민주주의 훼손이라는 진짜 문제를 가린다고 보는 것이다.

‘AI 제국’ 저자 카렌 하오가 지적하듯, AI 프런티어 모델 기업의 한마디에 일희일비하는 국제사회의 현실을 넘어서려면, 이제 AI 권력의 재분배가 필요해 보인다. 어떤 데이터로 AI를 훈련했는지조차 공개하지 않은 채 소수 기업이 세상을 좌우한다면, 필요한 것은 그들에게 속도를 늦춰달라고 부탁할 일이 아니라 그들의 기술 개발과 소유 구조 자체를 감시하고 규칙을 세우도록 강제하는 일이다. 훈련 데이터와 모델의 핵심 내용을 공개하도록 의무화하고, AI와 관련된 일을 하는 이들의 노동권을 지키고, 데이터센터 등 환경파괴의 메가 프로젝트 ‘토건’을 제한하는 것 등이 이번 파동의 진짜 해결책이다.

전직 미국 연방거래위원회 위원장 리나 칸은 위험하고 검증되지 않은 제품을 내놓은 기업과 경영진을 처벌할 법적 권한은 이미 정부에 있으며, 새로운 AI 전용 규제안을 논의하느라 지금 당장 쓸 수 있는 법 집행을 미룰 이유가 없다고 본다. 그대로 멈춤인지 혁신의 가속인지, 세상이 끝나는지 아닌지를 둘러싼 저 소란보다, 그로부터 잊히는 현실 기술의 위협에 답하는 쪽이 ‘지구 생활자’로서 살아가는 모든 생명의 삶에 훨씬 더 중요하다.

 

이광석 서울과학기술대 교수·미래이후연구소장