‘인간 통제’ 문턱 낮아진 AI 무기, 재앙 되나

유엔 자율살상무기 규제안, 인간 통제·보호 문구들 빠져… 3년 논의 끝, 안전장치 해제돼

우크라이나 남부 도시 자포리자에 있는 한 상점이 2026년 8월28일 러시아의 드론 공격으로 불타고 있다. 현재 전쟁 중인 러시아와 우크라이나는 인공지능(AI) 기술을 접목한 드론 공격을 주고받고 있다. EPA 연합뉴스

도널드 트럼프 미국 대통령은 2026년 9월22일 유엔총회 연설에서 앞으로 ‘인공지능’(Artificial Intelligence)이라는 말 대신 ‘초지능’(Super Intelligence)을 쓰겠다고 밝혔다. 자율적이며 인간을 능가하는 지능을 갖춘 AI를 일컫는 말이다. 하지만 지금의 AI는 그 수준에 한참 못 미친다. 영국 학자들은 초지능을 논하는 것은 시기상조라며 “현재 인류는 햄스터 수준의 지능을 가진 자율 시스템조차 개발하지 못했다”고 표현했다.(각주1)

AI는 데이터에 오류나 편향이 있다면 인간이 설정한 목표와 방향에서 벗어난 결과를 내놓을 수 있다. 성능이 훈련 데이터에 의해 엄격하게 제한되는 취약성을 지녔음에도 AI는 변수투성이인 실제 전장에 투입되고 있다. 미국, 중국, 러시아, 이스라엘 등 군사비 지출이 많은 국가는 AI 기술을 활용해 인간의 개입을 줄이는 쪽으로 무기를 개발하고 있다. 대한민국도 예외는 아니다. 육군은 10월14일 경기도 양평훈련장에서 AI, 로봇, 무인차량 등의 장비를 기존 전력(인간 전투원)과 결합한 훈련을 했다고 발표했다.

AI 군비 경쟁이 치열해지면서 AI 같은 신흥 기술을 이용한 무기가 언젠가는 인간의 개입 없이 누군가를 죽일 수 있다는 우려가 커지고 있다. 국제사회는 대응책을 마련하고 있다. 작동한 이후 인간이 직접 조작하지 않아도 스스로 표적을 찾아 공격할 수 있는 무기체계를 일컫는 자율살상무기체계(LAWS)의 금지 또는 규제 방안을 논의하는 유엔 산하 회의체가 있다. 유엔 특정 재래식무기 금지협약(CCW) 체약당사국(체약국) 대표단과 국제기구, 비정부기구, 학계 관계자 등이 모여 논의하는 정부전문가그룹(GGE)이다.

2026년까지 LAWS 규제안의 구성 요소를 마련하는 임무를 맡은 GGE는 2026년 8월31일∼9월4일 스위스 제네바에서 마지막 회의(공식·비공식)를 열고 최종 보고서를 채택했다. 그런데 9월14일 공개된 최종본을 살폈더니 2026년 6월 초안에 있던 안전장치 조항들, 즉 LAWS의 남용과 무제한 교전을 막을 조항이 대거 삭제된 것으로 나타났다.

우산 든 민간인 공격 가능성

딥러닝(심층학습) 기반 AI는 질서정연하고 쉽게 디지털화하며 세심하게 경계가 설정된 가상 환경에서 가장 잘 작동한다. 그 때문에 불투명성, 즉 시스템의 행동을 예측하기 어렵거나 심지어 사후에 이해하기 어렵다는 근본적인 약점을 지닌다. 시스템이 설계한 대로 작동하지 않아도 그 이유를 알기 어려울 수 있다. 그저 더 좋은 데이터로 다시 훈련하고 더 나은 결과가 나오기를 기대할 수밖에 없다.(각주2) 이런 문제를 ‘블랙박스’ 현상이라고도 부른다.

이 약점을 해결하지 않는다면 예측 불허의 상황이 펼쳐지는 전장에서 AI 무기가 커다란 인명 손실을 초래할 위험성이 크다. 가령 소총으로 무장한 전투원을 식별하도록 훈련받은 AI가 ‘긴 막대처럼 생긴 물건을 든 사람’을 표적으로 판단하는 법을 익혔다면, 전투원뿐만 아니라 우산을 들고 있거나 목발을 짚고 걷는 민간인까지 공격할 수 있다. 흰 눈으로 덮인 군용 트럭을 공격하도록 학습된 AI 무기가 흰 천으로 덮인 민간 트럭을 공격할 수도 있다.

GGE 의장이 작성한 2026년 6월5일치 조문 형태의 문서(롤링 텍스트)에는 이런 우려의 목소리를 반영한 조항이 있었다. 국가가 LAWS의 작동을 충분히 예측·신뢰·추적·설명할 수 있어야 한다는 조항이다. 그런데 이 조항은 9월 공식 회의에서 반대에 부딪혔다. 러시아와 인도, 이스라엘 대표단은 9월2일 회의에서 설명 가능성, 추적 가능성 같은 용어가 무엇을 뜻하는지 불분명하다는 취지로 발언했다.

하지만 영국 노팅엄대학 대표는 9월3일 회의 때 앞의 용어들이 이미 AI와 로봇공학 분야에서 통용되고 있다며 LAWS에 맞는 정의를 제시했다. 예컨대 ‘추적 가능성’은 “LAWS의 입력, 출력, 행동을 기록, 보존, 재구성하는 것”이라고 설명했고, ‘예측 가능성’은 “예견 가능한 사용 조건에서 LAWS의 출력, 행동, 성능을 신뢰성 있게 예상하는 것”이라고 말했다. ‘설명 가능성’은 “예견 가능한 사용 조건에서 LAWS의 입력, 출력, 행동, 성능을 이해하는 것”이라 밝혔다.

사고 때 ‘추적·설명 가능성’ 취약

튀르키예 대표단은 9월3일 회의에서 절대적 예측 가능성은 AI 같은 학습체계에 요구할 수 있는 현실적인 기준이 아니라고 밝혔다. 이에 파키스탄 대표단은 “우리는 절대적 예측 가능성을 추구하지 않는다. 그것이 달성될 수 없다는 점은 분명히 동의하지만, 체계가 예측 가능해야 한다는 점은 중요하다”고 반박했다.

이탈리아 대표단은 9월2일 회의 때 “추적 가능성과 설명 가능성은 (LAWS의) 책임 있는 사용을 보장하고 의도치 않은 교전을 방지하는 중요한 안전장치”라며 “자율 체계가 어떻게 작동하고 어떻게 결과에 도달하는지 이해하는 것은 그 개발과 사용에 책임 있는 사람이 잠재적 편향을 식별하고, 그 영향을 평가하며, 그것을 방지하고 완화하기 위한 적절한 조치를 하는 데 도움이 된다”고 밝혔다.

GGE가 공개한 최종 보고서에 ‘예측·신뢰·추적·설명 가능성’이라는 말은 어디에도 남아 있지 않다. 8∼9월 열린 GGE 공식 회의를 제네바 현지에서 지켜본 평화운동단체 피스모모의 문아영 대표는 “사고가 났을 때 무엇이 잘못되었는지 거슬러 확인할 근거가 약해진 것”이라고 지적했다.(각주3)

디자인주 서혜린

국제인도법(IHL)은 무력 충돌 때 적대행위에 가담하지 않거나 더는 직접 가담하지 않는 사람들을 보호하고, 전쟁 수단과 방법을 제한하는 규칙으로 구성된 국제법이다. 국가를 비롯한 무력 충돌 당사자는 항상 민간인 및 민간 물자와 전투원 및 군사 목표물을 구분해야 하고, 공격은 군사 목표물로만 엄격하게 제한돼야 하며, 군사적 이익보다 우발적인 민간인 인명 손실 등이 과도할 여지가 많은 공격 개시는 금지한다는 것이 국제인도법의 핵심 규칙이다.(각주4)

6월 롤링 텍스트는 ‘사용 상황에서 국제인도법이 요구하는 바에 따라 공격 효과를 예견하고 제한할 수 없는 경우 LAWS의 사용은 금지된다’는 조항을 담았다. 이 조항 역시 최종 보고서에서 삭제됐다.

자율 교전 횟수 제한도 빠져

9월2일 회의에서 ‘제한’만 남기자며 앞 조문의 수정을 요구한 이스라엘 대표단은 “국제인도법은 공격 전 확보 가능한 정보에 기반을 둬 예상 피해를 평가하는 합리적 노력을 요구할 뿐, 무기 자체의 효과를 미리 예견하는 것까지 합법적 사용의 조건으로 규정하진 않는다. 전장에서는 예기치 못한 상황이 빈번히 일어나기 마련”이라고 말했다. 미국 대표단은 앞의 조항이 LAWS가 국제법에 따라서만 사용돼야 한다고 정한 다른 조항과 중복된다는 이유로 반대했다.

오스트리아 대표단은 이해할 수 없다는 반응을 보였다. “이 조항은 오랫동안 (롤링 텍스트) 문안에 있었고, (그동안) 어떤 대표단도 문제 삼지 않았으며, 기존 국제인도법 의무를 완전히 반영하고 있다. 이 조항에 제기된 우려를 이해하기 어렵다.” 파나마 대표단도 ‘3년간 그렇게 여러 차례 논의했는데 현 단계에서 상당수 조항을 삭제하자는 요청이 나오는 것에 동의할 수 없다’는 스페인 등 다른 대표단의 발언을 전적으로 지지한다고 밝혔다.

LAWS의 위험성을 통제할 다른 조항도 마찬가지다. 6월 롤링 텍스트에는 국제인도법에 맞게 사용할 수 없는 LAWS는 처음부터 제조·획득·비축·이전하지 말자는 조항, 작동 중인 LAWS의 표적 또는 임무 변수(사람이 미리 입력한 표적 조건과 작전 범위)를 인간의 실행 또는 승인 없이 실질적으로 변경할 수 없도록 한 조항, 표적 식별과 선택, 교전 기능 등에 영향을 미치는 기존 LAWS의 추가 개발 또는 변경시에 국제인도법 준수를 보장하기 위한 검토를 하도록 한 조항이 있었다. LAWS가 자율적으로 수행할 수 있는 교전 횟수를 제한하는 항목도 있었다. 모두 빠졌다.

회의 때 첨예했던 쟁점 중 하나가 최종 보고서에 ‘인간의 판단과 통제’라는 말을 남길 것이냐, 아니면 ‘통제와 인간의 판단’이라는 말을 남길 것이냐였다. 6월 롤링 텍스트에는 국제인도법에 따라 LAWS를 사용하기 위해서는 ‘인간의 판단과 통제’가 필요하다는 조항이 있었다.

파키스탄 대표단이 2025년 9월 GGE 회의 때 제시한 개념인데, 인간의 판단은 ‘이것은 합법적 표적인가’ ‘예상되는 민간인 피해가 군사적 이점보다 과도한가’ ‘민간인 피해를 최소화하기 위한 실행 가능한 조처를 했는가’ 등에 대한 판단을 가리킨다. 인간의 통제는 이런 판단을 실행할 수 있는 능력으로, 공격을 시작할 권한 또는 진행 중인 공격을 중단할 능력, 공격 방법이나 대상을 변경할 실질적 권한 행사를 뜻한다.(각주5) 가령 무기 사용 범위와 지속 시간, 표적 특성 등의 작동 조건을 정하는 일이 통제에 해당한다.

도널드 트럼프 미국 대통령(오른쪽)과 시진핑 중국 국가주석이 미국 워싱턴의 국립문서보관소를 방문한 2026년 9월25일 악수하고 있다. 미국과 중국은 현재 인공지능(AI) 패권 경쟁을 벌이고 있다. AFP 연합뉴스

미국 등이 뺀 ‘인간의 통제’

포르투갈과 파키스탄 등 ‘인간의 판단과 통제’ 표현을 반영해야 한다는 쪽은, ‘통제와 인간의 판단’ 표현을 쓴다면 통제가 인간의 관여 없이 기계가 스스로 할 수 있다고 해석될 수 있음을 우려했다. 노르웨이 대표단은 9월1일 회의에서 ‘인간의 통제’가 필요한 이유를 이렇게 설명했다. “첫째, 그것은 무력 사용에서 인간의 중심적 역할을 강조한다. 둘째, 그것은 인간이 여전히 법을 해석하고 당면한 사실에 법을 적용해야 한다는 것, 즉 (국제인도법의 핵심 규칙인) 구별, 비례성, 예방 조치와 관련하여 필요한 판단을 내려야 한다는 것을 강조한다. 셋째, 그것은 인간이 무기체계를 지휘하고 제한하여 그 작동 방식과 효과가 인간 지휘 계통의 의도와 판단에 부합하도록 하는 능력을 갖추고 이를 행사해야 함을 강조한다.”

스리랑카 대표단은 “전쟁범죄에 대한 법적 책임은 인간의 의도와 인식, 곧 범의(범죄행위임을 알고서도 그 행위를 하려는 의사)에 귀속된다”며 “통제가 순수하게 (인간이 하지 않아도 되는) 기술적인 작업으로 축소된다면 (민간인 살상과 같은) 알고리즘 실패에 대해 지휘관에게 개인 책임을 귀속시키는 것이 극히 어려워진다. ‘인간의 판단’을 앞세우면 인간 의사결정자가 무력 사용에 대해 법적 책임을 지는 상태로 남게 된다”고 밝혔다.

반면 미국 대표단 등은 GGE가 ‘인간의 통제’라는 용어에 합의한 적이 없다며 ‘통제와 인간의 판단’ 표현으로 바꿀 것을 주장했다.

아일랜드 대표단이 절충안을 내놨다. ‘통제와 인간의 판단’ 표현은 받아들이자고 했다. 대신 LAWS 사용 효과가 국제인도법을 준수할지 판단하는 주체는 ‘인간’이어야 하고, ‘시스템 작동 내내’ 그 판단을 실행할 능력도 인간이 보유해야 한다는 내용으로 조문을 바꾸자는 제안이었다. 멕시코, 브라질, 오스트리아, 콜롬비아 등 여러 체약국 대표단이 이를 지지했다. 노르웨이 대표단은 여기에 더해 ‘상황 변화로 인한 재평가’도 판단 실행 능력에 포함하자고 했다. 가령 공격용 드론(무인기)을 띄웠을 때는 작전지역에 군용 차량 표적만 있었는데 공격 과정에서 그 지역으로 민간인 행렬이 들어왔다면 인간이 상황 변화를 재평가하고 공격을 멈출 수 있어야 한다는 취지다.

최종 보고서에는 결국 ‘통제와 인간의 판단’ 표현이 담겼다. ‘시스템 작동 내내’ 표현과 재평가 내용은 반영되지 않았다.

11월, 새 의정서 협상 개시할까

문아영 대표는 민간인을 보호하고 인간의 책임을 지키는 핵심 문구 여럿이 최종 보고서에서 삭제되거나 약해졌다고 평가했다. “사람의 모습이나 움직임을 ‘인식’하는 것과 그 사람을 공격해도 되는지 ‘판단’하는 것은 전혀 다른 일입니다. 상대가 민간인인지, 싸움에 직접 참여하고 있는지, 항복했는지는 상황에 따라 바뀌는 법적 판단입니다. 교황청, 스리랑카, 국제적십자위원회(ICRC), 시민사회는 이런 판단을 기계의 자동 절차에 넘길 수 없다며 대인(사람을 표적으로 삼는) 자율무기의 금지를 요구했지만 (최종 보고서에) 반영되지 않았습니다.”(각주3)

2026년 11월16∼20일 열리는 제7차 CCW 검토회의(체약국이 협약 이행 상황 점검 등을 하는 회의)에서는 GGE의 최종 보고서를 바탕으로 다음에 할 일을 정한다. 실명 유발 레이저무기 사용을 금지한 현재 CCW 내의 의정서와 같이 LAWS 사용을 금지·규제하는 법적 구속력 있는 새 의정서를 만들기 위한 협상을 시작할지가 관건이다. 한 나라라도 반대하면 협상 개시는 불가능하다. 지금까지 해온 논의가 연장된다면 규제 공백 상태는 더욱 길어진다.

그 피해는 고스란히 민간인에게 돌아간다.

오세진 기자 [e-mail]

※ 참고 문헌
1. ‘AI는 인간을 먹고 자란다’, 마크 그레이엄 등 지음, 김두완 옮김, 흐름출판 펴냄, 2025
2. ‘AI 시대, 전쟁의 미래’, 조지 M. 도허티 지음, 유강은 옮김, 김영사 펴냄, 2026
3. ‘특정재래식무기금지협약(CCW) 자율살상무기체계(LAWS) 정부전문가회의(GGE) 2026년 2차 회의 결과 분석 보고서’, 문아영 지음, 피스모모, 2026
4. ‘국제인도법 질문과 답변’, 국제적십자위원회(ICRC) 한국사무소, 2017
5. ‘인공지능 무기화와 인간의 자리’ 연구보고서, 문아영 지음, 피스모모, 2025

※ 관련 기사

□ 1620호 포커스: 뒷걸음치는 AI 제한 
https://h21.hani.co.kr/arti/society/society_general/59549.html
<'실수'라며 넘어간 살상, AI 무기 통제 못하면 일상>

□ 1607호 표지이야기: 책임 없는 살상 AI
https://h21.hani.co.kr/arti/society/society_general/59083.html
<혁신의 이름으로, 살상이 자동화된다>
https://h21.hani.co.kr/arti/society/society_general/59090.html
<세계 최초? 가장 위험한 선례가 될 수도 있다>