혁신의 이름으로, 살상이 자동화된다

자율살상무기체계 통제를 둘러싼 네 가지 쟁점… 국제인도법 반대편에서 ‘규제 완화’ 주장하는 한국 정부

2025년 12월6일 우크라이나가 보유한 무인수상정 마구라 브이(V)7이 지대공미사일을 장착한 채 우크라이나의 비공개 지역 바다 위를 이동하고 있다. AP 연합뉴스

‘혁신.’

인공지능(AI)을 말할 때 자주 따라오는 단어다. 오픈에이아이·앤트로픽 같은 AI 기업뿐만 아니라 구글·메타 등 기존 빅테크(정보기술 대기업)들도 대규모 투자를 통해 AI 기술을 고도화하고 우수 인재를 영입하는 데 열을 올리고 있다. 한국을 비롯한 각국 정부도 AI 강국 도약을 뒷받침하는 국가 전략을 수립하고 AI 기반 확충을 위해 예산을 쏟아붓고 있다. 그들이 앞다퉈 외치는 단어는 단연 ‘혁신’이다. 하지만 모두가 겉으론 혁신을 외치면서 뒤에서는 AI 기술을 활용한 살상무기체계를 앞다퉈 만들고 있다. 2026년 2월28일 미국과 이스라엘이 앤트로픽이 개발한 ‘클로드’를 이용해 작전계획을 수립하고 이란에 대규모 폭격을 감행하기 훨씬 전부터 AI는 이미 전쟁, 나아가 대량학살(제노사이드)의 핵심 병기로 자리 잡았다.

함정·감시 체계에 이어 AI 군인까지

2022년 2월24일 러시아의 우크라이나 침공으로 시작돼 지금까지 이어지는 전쟁에서 우크라이나는 AI를 장착한 무인수상정(USV) ‘마구라 브이(V)7’을 이용해 흑해에서 러시아 전투기를 미사일로 공격했고, 폭약을 싣고 러시아 군함으로 돌진했다. 미사일 발사는 인간 운용자의 최종 승인이 필요하지만 목표물 인근까지 스스로 항해할 수 있는 무기다. 또 AI가 탑재된 드론(무인비행장치) 편대를 운용하며 다수의 드론이 하나의 지능체처럼 움직이는 ‘군집 드론’(Swarm Drone)으로 러시아군을 타격했다.

AI는 함정·항공뿐만 아니라 감시·정찰 무기체계에도 쓰인다. 팔레스타인 땅을 식민지배하는 이스라엘은 ‘아이언 월’(Iron Wall)이라는 이름의 AI 기반 경계 시스템을 운용하고 있다. 2021년 12월 완공돼 이스라엘과 가자지구 경계에 설치된 이 시스템은 장벽에 있는 수많은 카메라와 레이더 장비로 팔레스타인 사람들의 일거수일투족을 감시한다. 원격사격통제체계(RCWS)도 갖추고 있다. 실시간으로 전송된 감시 영상을 보고 타격을 결정하는 시스템, 말 그대로 인간이 기계가 보여주는 화면을 보고 타인을 살상하는 체계다.

2021년 12월7일 이스라엘군 병사가 이스라엘‑가자지구 접경에 설치된 ‘아이언 월’ 앞에서 경계를 서고 있다. AP 연합뉴스

AI 기술 발전은 인간의 통제마저 벗어난 무기체계의 출현으로 이어졌다. 인간 운용자의 개입 없이 스스로 표적을 식별해 선택하고 공격하는 무기체계, 이른바 자율살상무기체계(LAWS·Lethal Autonomous Weapon System)의 등장이다. 예를 들어 인간이 ‘이 지역의 적군을 공격하라’고 명령하면 AI가 스스로 그 적군에 해당하는 인물을 찾고 타격 대상으로 판단해 방아쇠를 당기는 시스템이다.

2021년 3월8일 유엔 안전보장이사회 전문가 패널(특정 국가의 안보리 결의안 이행 여부를 감시하는 조사기구)이 안보리 의장에게 제출한 보고서를 보면, 리비아 내전(2014년 5월16일 발발~2020년 10월23일 휴전 협정) 때인 2020년 3월 당시 리비아 통합정부(GNA)군은 내전 상대인 리비아국민군(LNA)을 공격할 때 튀르키예 방산업체 에스티엠(STM)이 개발한 자폭 드론 ‘카르구-2’를 투입했다. 보고서는 카르구-2에 대해 “운용자와 무기 사이에 데이터 연결 없이도 표적을 공격하도록 프로그래밍됐다”며 “사실상 진정한 ‘발사 후 망각’(Fire and forget) 능력을 갖춘 셈”이라고 설명했다. 인간 운용자가 표적을 설정해 발사한 무기가 추가적인 조작이나 유도(데이터 연결) 없이 스스로 전장을 누비며 표적을 추적, 탐지해 타격하는 기술이 바로 ‘발사 후 망각’ 능력이다.

최근 전장에는 ‘AI 군인’도 나타났다. 미국 스타트업 파운데이션이 개발한 휴머노이드형 전투용 로봇 ‘팬텀 엠케이(MK)-1’ 2대가 2026년 2월 우크라이나에 인도됐다. 현재 정찰 임무를 맡은 것으로 알려졌으나 사격도 가능하도록 설계됐다. ‘적을 물리적으로 공격할지는 인간 병사가 결정하도록 시스템을 만들었다’는 것이 제작사 설명이지만, 그 안전핀이 언제 뽑힐지는 알 수 없다.

2020년 3월 리비아 내전 당시 리비아 통합정부군이 내전 상대인 리비아국민군을 공격할 때 투입한 튀르키예 방산업체 에스티엠(STM)이 개발한 자폭 드론 ‘카르구-2’의 모습. 에스티엠 누리집 갈무리

전쟁에서 ‘환각’을 일으킨다면

이처럼 AI 기술이 빠르게 발전해 인간의 개입과 통제 범위를 축소하는 쪽으로 무기체계가 개발되는 흐름이 가속화하면서 우려가 커지고 있다. AI는 결코 완벽하지 않기 때문이다. 현재 전장에서 활용되는 거대언어모델(LLM) 기반의 생성형 AI는 텍스트 생성과 요약, 번역, 질의응답 같은 자연어처리(컴퓨터가 인간의 언어를 이해하고 처리)가 가능하다. 책 ‘인간 없는 전쟁’(최재운 지음, 북트리거 펴냄, 2026)은 다음과 같이 설명한다. “수백 페이지 분량의 상황 보고서가 AI를 거치면 핵심만 담긴 요약본으로 출력된다. (…) 지휘관이 ‘현재 동남아 지역에서 미군에 대한 위협 징후가 있는가?’라고 묻기만 하면, AI는 방대한 정보의 바다를 순식간에 훑어 관련 단서를 찾아낸 후 리포트를 작성해준다.”

그러나 거대언어모델에는 치명적 약점이 있다. “LLM은 학습한 데이터에서 패턴을 찾아 ‘다음 단어’를 확률적으로 예측하는 구조다. 내용을 이해하고 답을 하는 것이 아니다. 이 때문에 환각이 자연스럽게 발생한다. (…) AI 세계에서 ‘환각’이란 AI가 자신이 모르는 정보나 논리를 마치 사실인 양 만들어내는 현상을 말한다. 사람으로 치면 모르는 걸 모른다고 말하지 않고, 자신 있게 거짓말하는 것과 비슷하다.”(‘인간 없는 전쟁’)

만약 AI가 민간인을 적군으로, 민간인 거주지를 적군 기지로 확신해 환각을 일으킨다면 그 결과는 돌이킬 수 없는 학살로 이어진다. 이처럼 군사 분야에서는 작은 오류로도 큰 인명 피해가 발생할 수 있다.

이런 비극을 막기 위해 국제사회는 자율살상무기체계 사용을 금지하거나 국제법 아래에서 규제하기 위한 논의를 하고 있다. 그 논의의 장이 자율살상무기체계에 관한 정부전문가그룹(GGE) 회의다. 유엔 특정재래식무기금지협약(CCW)을 체결한 각국(체약국) 대표단과 유럽연합(EU), 국제적십자위원회 같은 국제기구, 그리고 아티클36과 국제앰네스티, 휴먼라이츠워치 등 비정부기구가 참여한다. 하지만 2017년 첫 회의 이후 10년 가까이 지나도록 자율살상무기체계를 금지·규제하는 새로운 조약이 만들어지지 못하고 있다. 그리고 여기서, 한국이 바로 그 합의를 방해하는 체약국 중 하나다.

‘치명적 무기’만 금지할 것인가

현재 정부전문가그룹 회의에서는 새 조약의 바탕이 될 협상문 초안을 만들고 있다. 이를 ‘롤링 텍스트’(Rolling Text)라고 한다. 최종 합의에 도달할 때까지 수정과 보완을 거듭하기 때문이다. 지금까지 롤링 텍스트는 2024년 11월8일과 2025년 5월12일, 12월18일 세 차례 발표됐다. 가장 최신 문서인 2025년 12월 롤링 텍스트를 토대로 2026년 3월2~6일 스위스 제네바에 있는 유엔 유럽본부에서 정부전문가그룹 회의가 열렸고, 이 회의 내용을 반영한 롤링 텍스트는 향후 발표될 전망이다.

결국 이 회의는 롤링 텍스트에 어떤 용어와 표현을 넣을지 말지를 놓고 규제를 강화하려는 쪽과 규제를 완화(또는 사실상 무력화)하려는 쪽의 의견이 첨예하게 부딪치는 자리다. 그래서 쟁점도 많다. 핵심 쟁점 중 하나는 자율살상무기체계의 특성을 설명하는 문언에 ‘치명적’(Lethal)이란 말을 넣느냐 빼느냐 하는 지점이다.(아래 표 참조) 참고로 한국은 규제 완화 쪽에 서 있다.

디자인주 장광석 실장

‘치명적’ 또는 ‘치명성’(Lethality)이란 말을 넣자는 쪽인 한국 대표단(외교부와 국방부 등 정부 관계자와 전문가로 구성)은 2026년 3월5일 오전 회의에서 “우리가 특성을 규정하려고 하는 것은 자율살상무기체계”라며 “(인간 운용자의) 개입 없이 표적을 식별·선택하고 교전하는 것으로 ‘자율성’이 무엇인지 확인했고, 하나 이상의 무기가 기능적 또는 통합적으로 결합된 것으로 ‘무기체계’가 무엇인지 확인했다. 그러나 우리는 ‘치명적’이 무엇인지는 확인하지 못했다”고 발언했다. 특성 규정의 완결성을 위해 자율살상무기체계가 ‘치명적인 무력’을 행사할 능력을 갖췄음을 규정하자는 취지다. 하지만 오스트리아, 브라질, 아일랜드, 노르웨이, 스위스 등의 국가는 ‘치명적인 무력’이나 ‘치명적’이라는 단어가 물체 손상·파괴 또는 인간의 부상을 초래하는 비치명적 시스템을 규제 범위에서 제외하는 구실이 될 수 있다며 반대 입장을 표명했다.(평화운동단체 피스모모 ‘특정재래식무기금지협약 자율살상무기체계 정부전문가회의 2026년 1차 회의 결과 분석 보고서’)

문아영 피스모모 대표는 3월24일 한겨레21을 만나 “‘치명적’이라는 단어를 빼서 ‘자율무기체계’(AWS)로 정하자는 것이 오스트리아 등 많은 체결국과 시민사회단체의 입장”이라며 “국제인도법(IHL)은 무기를 치명적인 것과 비치명적인 것으로 구별하지 않는다. 국제인도법이 규제하는 것은 무기의 ‘특성’이 아니라 ‘효과’다. 과도한 피해를 주거나 무차별적일 경우, 치명적이든 아니든 금지된다. (그런데도) 한국 정부의 입장은 살상 능력이 있는 무기체계만을 규제하자는 것”이라고 설명했다. 국제인도법은 무력 충돌시 민간인을 보호하고 전쟁의 수단과 방법을 제한하는 국제조약과 관습법(국가 관행에서 도출되며, 의무감에 근거하는 법)이다.(국제적십자위원회)

“행위의 책임은 항상 인간에게 있다”

다음으로 살펴볼 쟁점은 ‘맥락에 적합한 인간의 판단과 통제’(CAHJC·Context-Appropriate Human Judgement and Control)에 관한 내용이다.(위의 표 참조) 피스모모가 2025년 11월 발간한 연구보고서 ‘인공지능 무기화와 인간의 자리’ 내용을 빌려 이 개념을 설명하면 다음과 같다. 적 미사일이 초속 수백m로 날아오고 있다. 인간이 개별 표적을 확인하고 승인할 시간이 없다. 이런 경우 시스템에 판단을 맡길 수 있다. 그러나 민간인과 전투원이 섞여 있는 복잡한 환경에서는 구별(전투원과 비전투원)과 비례성(군사적 이익보다 민간인 피해가 과도할 여지가 많은 공격의 개시를 금지) 판단이 극도로 중요하기 때문에, 이 경우 인간의 직접적인 판단과 통제가 훨씬 더 엄격하게 적용돼야 한다. 이처럼 인간의 판단과 통제가 상황(문맥)에 따라 달라질 수 있다는 게 CAHJC의 개념이다.

그런데 한국 대표단은 이 개념이 불필요하다는 입장이다. “이 표현을 삭제할 것을 강력히 권고합니다. 논의의 주된 초점은 다시 한번 말씀드리지만 국제인도법의 준수이며, 인간의 통제와 판단에 대한 언급은 기껏해야 중간 단계의 고려 사항일 뿐입니다. 보시다시피 이 용어는 회의장에서 합의가 결여돼 있습니다.”(2025년 3월7일 오전 회의 발언) 한국 대표단은 그러면서 “우리는 인간의 통제가 국제인도법을 준수하기 위해 항상 필수불가결한 것으로 간주됐다는 점에 동의하기 어렵다. 중요한 것은 ‘제어’이지 반드시 ‘인간의 통제’여야 하는 것은 아니다. (…) 우리는 인간의 ‘판단’만으로도 자율살상무기체계가 국제인도법을 준수하도록 보장하는 데 충분할 수 있다고 믿는다”(2025년 3월6일 오후 회의)고 말했다.

그러나 정부전문가그룹 회의에 학술 법률 전문가로 참여해온 오슬렘 울겐 영국 노팅엄대학 법학 부교수는 2025년 11월26일 피스모모가 진행한 온라인 세미나에서 “자율무기체계의 사용 결정과 실제 사용에는 반드시 인간의 법적 책임이 귀속돼야 한다. 국제인도법은 법을 해석하고 적용하며 준수하는 행위의 책임이 항상 인간에게 있다는 전제를 토대로 구성돼왔다”며 “국제인도법의 근본적 특징은 그 적용·해석·이행이 모두 인간(개인 또는 국가를 대표하는 개인들의 집단)을 전제로 한다는 점”이라고 밝혔다.

한국 대표단의 말처럼 인간의 통제는 없고 판단만 있어도 되는 걸까. 복잡한 시가지 전투 상황을 가정해보자. 자율 드론이 건물 안에서 ‘표적’을 탐지해 사격 모드로 전환한다. 이를 모니터로 지켜보던 인간 운용자가 그 ‘표적’이 무장 전투원이 아니라 몸을 웅크린 아이라는 사실을 깨닫는다. 운용자는 공격 중지를 판단했지만, 드론이 이미 자율 모드에 따라 공격을 감행했다. 인간의 판단만 있고 통제가 없는 경우 벌어질 수 있는 비극이다.

‘인공지능(AI) 경쟁을 멈추라’는 글자가 적힌 깃발이 2026년 3월21일(현지시각) 미국 캘리포니아주 샌프란시스코에 있는 오픈에이아이 본사 밖에서 펄럭이고 있다. 로이터 연합뉴스

오픈에이아이 태세 전환이 일깨우는 것

한국 대표단은 이어 2025년 9월3일 오후 회의에서 “지능형 기술의 평화적 이용 발전이나 접근을 저해하지 않는” 범위 안에서 규제해야 한다는 의견을 피력했다. 그러나 처음부터 군사 목적으로 개발되지 않은 AI도 나중에 얼마든지 사람을 죽이는 데 쓰일 수 있다는 사실은 ‘챗지피티’ 개발사인 오픈에이아이의 태세 전환을 통해서도 확인할 수 있다. 오픈에이아이는 2015년 창립 당시 ‘인류 전체에 이익이 되는 AI를 만드는 것’을 핵심 목표로 제시했다. 그러나 2024년 1월 자사의 이용 정책을 갱신(업데이트)하면서 ‘군사 및 전쟁 목적의 사용을 금지한다’는 내용의 문구를 삭제했다.

지금의 롤링 텍스트 문언에서 우려되는 것 중 하나가 “무기가 인간의 통제를 벗어나 임의로 살상을 수행하는 것을 막고, 발생한 결과에 대해 인간이 법적·윤리적 책임을 지게 하는 최소한의 안전장치”(문아영 대표)에 해당하는 용어들, 즉 ‘예측 가능성’(무기가 활성화된 뒤 운용자가 시스템의 출력과 그로 인한 효과를 충분히 이해하고 예상할 수 있는 상태)과 ‘추적 가능성’(무기체계 설계부터 운용, 실제 교전에 이르는 모든 의사결정과 작동 과정을 기록해 사후에 검증할 수 있는 능력), ‘설명 가능성’(시스템이 왜 그런 결정을 했고 왜 그런 결과가 나왔는지 인간이 이해할 수 있는 방식으로 재구성할 수 있는 능력)이 빠진 점이다. 그런데도 한국 대표단은 ‘추적 가능성’ 용어의 사용에 대해 “기술적 관점에서 비현실적”(2025년 3월5일 오후 회의), “인간의 지휘 및 통제 체계는 언제나 추적할 수 있기 마련”(2026년 3월4일 오후 회의)이라고 밝혔다.

인공지능(AI) 모델 ‘클로드’를 개발한 앤트로픽의 누리집을 노트북에 띄운 화면. AP 연합뉴스

전쟁을 ‘데이터 처리 영역화’하는 AI

김현준 성공회대 평화월딩연구소 교수는 2026년 2월25일 참여연대에서 열린 ‘인공지능과 전쟁의 미래’ 토론회에서 다음과 같이 말했다.

“인간은 더는 전쟁의 주체적 판단자가 아니라 시스템이 산출한 최적의 선택지를 관리하고 승인하는 ‘운영자’가 된다. (…) 특히 물리적 시간과 숙고의 간극이 제거된 조건에서 이뤄지는 승인은 ‘판단’이라기보다는 ‘기계적 추인’에 불과해지기 쉽다. (…) 이러한 자동화 편향(인간이 자신의 판단 능력보다 자동화된 시스템의 결과를 더 확신하는 것)은 지휘관과 병사들의 ‘도덕적 기술 상실’(기술에 의존하면서 인간의 도덕적 판단 능력이나 윤리적 사고 능력이 퇴화)로 이어진다. (…) 전쟁이 비디오게임처럼 느껴지게 하는 심리적 거리 두기는 살상 행위에 대한 심리적 장벽을 낮추고, 타자에 대한 공감 능력을 마비시킬 수 있다.”

지금처럼 사람이 죽는 전장이 AI 기술 향상을 위한 거대 실험실(테스트베드)로 여겨지고 있고, 전쟁을 비극이 아닌 데이터 처리 영역으로 재구성하고 있는 AI 시대에 한국 정부는 평화와 정반대의 길을 가는 모양새다. 한국 국회도 크게 다르지 않아 보인다.

오세진 기자 [e-mail]

□ 국회 상황에 관한 글은 3월31일 출고될 예정입니다.