세계 최초? 가장 위험한 선례가 될 수도 있다

조용히 통과되는 국방AI법안의 공백

2024년 9월9일 서울 중구 롯데호텔에서 열린 ‘인공지능(AI)의 책임 있는 군사적 이용에 관한 고위급회의’(REAIM) 회의장 앞에 국방과학연구소의 자율터널탐사 로봇이 전시돼 있다. 연합뉴스

세계 최초의 군사 인공지능(AI) 법률이 대한민국 국회에서 만들어지고 있다. 2026년 1월 유용원(국민의힘)·부승찬(더불어민주당) 의원 등 여야 국회의원 33명이 공동발의한 ‘국방인공지능법안’(이하 국방AI법안)이 국방위원회에 회부돼 심사를 앞두고 있다. 그런데 거의 아무도 이 법안에 관심을 갖고 있지 않다.

2025년 1월 인공지능기본법(이하 AI기본법)이 제정되기 전까지 19개 법안을 둘러싼 논쟁이 3년 반 동안 계속됐다. 시민사회·학계·산업계가 치열하게 참여했다. 그러나 사람의 생사에 훨씬 더 직접적인 영향을 미치는 국방AI법안은 국방·안보 담론과 “케이(K)-방산” 성공 서사에 실려 조용히 통과하려 하고 있다. 이 법안의 전체 기조는 군사 AI의 ‘촉진’과 ‘활성화’다. 금지나 규제에 관한 조항은 사실상 없다.

국방AI법안에 없는 세 가지

이 법안이 참조한 미국 국방부(현 전쟁부) 지령(훈령) 3000.09도 ‘치명적’ 시스템만을 통제 대상으로 하여 비치명적이지만 심각한 피해를 야기할 수 있는 시스템은 규제 밖에 있고, 의회 제정 법률이 아닌 행정 규범에 불과해 민주적·헌법적 통제 밖에 있다는 점에서 비판의 대상이다. 그러나 그런 미국조차 최소한 세 가지는 못박아뒀다. 자율살상무기체계(LAWS)를 명시적으로 정의하고, 치명적 자율무기체계의 전력화(야전 배치) 전에 차관급 서명 승인을 요구하며, 이 절차가 면제될 때 의회에 보고하도록 의무화했다. 국방AI법안에는 이 세 가지가 모두 없다.

한국은 2024년 9월 서울에서 ‘AI의 책임 있는 군사적 이용에 관한 고위급회의’(REAIM·리에임)를 주최하면서 군사 분야의 AI 이용을 위해 국제사회가 준수해야 할 최소한의 원칙인 국제인도법 준수, 인간 책임, 투명성을 강조하는 ‘행동을 위한 청사진’을 이끌어냈다. 그런데 이후 국회에 발의된 국방AI법안에는 그 원칙이 단 하나도 반영돼 있지 않다. 이 글은 지금 팔레스타인 가자지구, 우크라이나, 이란에서 이미 현실이 된 AI 전쟁의 결과에 비춰, 국방AI법안이 말하지 않는 것을 드러낸다.

팔레스타인 가자지구에서 이스라엘군의 AI 표적 식별 플랫폼 ‘라벤더’는 가자 주민의 통신 형태, 이동 경로, 소셜미디어 활동을 분석해 하마스 등 무장조직과의 연계 확률을 점수화했다. AI가 생성한 각 표적을 정보장교가 검토하는 데 든 시간은 평균 20초. 저급 무장세력 1명당 민간인 15~20명의 사망이 ‘허용 가능한 손실’로 사전 설정됐다. 인간은 개입했다. 그러나 통제한 것은 최종 승인 버튼이었을 뿐, “누가 표적인가”를 결정한 알고리즘 자체가 아니었다.

국방AI법안 제3조 3항은 바로 이 구조를 법률로 고착시킨다. “자동화된 결정이 사람의 생명 또는 신체에 중대한 위해를 발생하게 할 우려가 있는 경우에는 인적 개입이 보장되어야 한다.” 이 조항은 인적 개입의 구체적 내용, 즉 언제, 누가, 어떤 권한으로, 어떤 단계에서 개입하는지에 대해 아무것도 명시하지 않는다. 20초짜리 승인이 인적 개입인지, 실질적 판단이 인적 개입인지를 구별하지 않는다. AI 시스템의 결정을 거부하거나 작전을 중단할 수 있는 권리, 즉 ‘중단권’에 대한 조항도 없다.

인간 통제 논의는 최종 결정과 행동 단계에 집중된다. 그러나 AI 전쟁 운영체제에서 실질적 결정은 그 이전에 이미 완료된다. 알고리즘이 전장을 ‘위험 환경’으로 모델링하고 특정 인물에게 위험 점수를 부여하는 순간, 결정 단계의 인간에게 남는 것은 판단이 아닌 기계적 추인뿐이다. 국방AI법안의 인적 개입 조항은 이 구조를 법적으로 보장한다.

‘인적 개입’ 생략 근거 열어둔 법령

더 심각한 것은 국방AI법안의 내적 모순이다. 제14조는 “신속한 전력화”를 이유로 무기체계 획득 절차를 별도로 정할 수 있게 하고, 제18조 3항은 “관련 규제의 전부 또는 일부를 적용하지 아니하고” 실증할 수 있게 한다. 인적 개입을 “보장”한다고 쓰면서(제3조), 그 보장을 검증하는 안전 절차를 생략할 수 있게 열어둔 것이다.(제14조·제18조) 미완성 기술을 실전에 투입할 수 있는 법적 근거다.

이 조항의 실체를 러시아가 일으킨 우크라이나 전쟁이 보여준다. 2022년 러시아의 침공 이후, 우크라이나는 AI 탑재 드론과 데이터 통합 플랫폼의 거대한 실험장이 되었다. 미국의 AI 방산기업 팔란티어의 군사용 데이터 통합 플랫폼이 위성·신호정보·드론 영상을 하나로 연결해 실시간 전장 인식을 제공했고, 정찰에서 타격까지의 시간이 수 시간에서 수 분으로 단축된다.

문제는 이 기술이 완성 상태에서 투입된 것이 아니라는 점이다. 전장은 기술을 검증하고 데이터를 학습시키는 운영 실험실로 기능했다. 작전의 실패와 인명 피해는 윤리적 중단의 계기가 아니라 다음 알고리즘의 정확도를 높이기 위한 피드백 데이터로 흡수됐다. 그리고 그 데이터는 우크라이나 병사의 것이 아니라 팔란티어 등 글로벌 방산 테크 기업의 AI 학습 자산이 되었다.

앞서 살펴본 국방AI법안의 특례 조항은 바로 이 구조를 한국 국방법 체계 안에서 합법화한다. 시험평가가 완료되지 않은 AI 시스템을 실전에 투입하고, 실전 데이터로 시스템을 개선하는 순환. 우크라이나에서 사실상 작동 중인 체제를 법률상 가능하게 만드는 것이다.

2026년 2월28일 미국과 이스라엘의 합동작전 ‘에픽 퓨리’(Epic Fury·장대한 분노) 개시 첫날, 이란 미나브의 여자초등학교가 폭격돼 175명이 사망했다. 그중 대다수는 어린이였다. 이 학교는 2015년 개교했다. 인접해 있던 이슬람혁명수비대 해군 기지는 공습 수년 전에 이미 폐쇄됐고, 2016년 학교와 기지 사이에 담장이 세워져 별도 출입구까지 설치된 상태였다. 알고리즘은 갱신되지 않은 데이터를 현재의 표적으로 처리했다. ‘오폭’이 아니다. 시스템은 설계된 대로 작동해 학교를 ‘정밀폭격’했다.

이 작전에 앤트로픽의 AI 모델 ‘클로드’가 탑재된 ‘메이븐 스마트 시스템’이 활용됐다. 시스템은 수백 개의 표적을 제안하고, 좌표를 제공하며, 우선순위를 매겼다. 24시간 안에 1천 개 이상의 표적이 ‘처리’됐다. 다수의 어린이가 사망한 뒤에도 책임 소재는 특정되지 않았다. 클로드는 표적을 제안했을 뿐이고, 지휘관은 목록을 확인했을 뿐이며, 기업은 도구를 제공했을 뿐이고, 정부는 작전을 승인했을 뿐이다. 어쩌면 이 모든 항변이 동시에 참일 수 있다는 것이 이 시스템의 설계 원리다.

이 전쟁에서 반복된 공식 언어가 있다. ‘의사결정 지원 도구.’ AI는 타격을 결정하지 않았다. 표적을 제안했을 뿐이다. 최종 결정은 인간이 내렸다. 이 언어는 기술적으로 정확하다. 그러나 바로 그 정확성이 책임을 소멸시킨다. 수백 개의 표적이 중요도순으로 나열된 목록 앞에서, 수 분 안에 확인 버튼을 누르는 행위를 독립적 인간의 판단이라 부를 수 있는가. AI가 옵션 메뉴를 설계하고 인간이 선택하는 구조에서, 선택의 실질은 메뉴를 설계한 알고리즘에 이미 이전돼 있다.

2025년 4월17일 당시 더불어민주당 대선 경선 후보이던 이재명 대통령이 국방과학연구소를 방문해 인공지능(AI) 기반 무인체계 연구개발 현장을 둘러보고 있다. 국회사진기자단

글로벌 방산기업, 한국에 ‘전쟁 운영체제’ 가져오는데

이 사슬의 어느 지점에서 책임이 귀속되는가. 국방AI법안은 이 질문에 침묵한다. 법안 전체에 책임 귀속에 관한 조항이 단 하나도 없다. 벌칙 조항(제30조)은 비밀 누설에 대한 처벌만을 규정할 뿐이다. 알고리즘 설계자, 데이터 제공 정보기관, 시스템을 승인한 지휘관, 플랫폼을 납품한 기업. 이 사슬의 누구에게 법적 책임을 물을지에 대해, 이 법은 어떤 답도 준비하지 않았다.

여기서 하나의 사실을 직시해야 한다. AI기본법은 채용 AI에 위험관리, 설명 의무, 영향평가를 부과한다. 그런데 이 법안은 사람의 생사를 직접 결정하는 표적 선택 AI에 이 중 어느 것도 부과하지 않는다. 채용 AI에는 설명을 요구하면서, 사람을 죽이는 AI에는 아무것도 묻지 않는다. 가장 위험한 AI가 가장 느슨한 규제를 받는 구조다.

이란에서 검증된 AI 전쟁 운영체제가 한반도로 향하고 있다. 국방부가 2023년 3월 발표한 ‘국방혁신 4.0 기본계획’은 ‘완전 자율’ 기반 AI 전투체계를 목표로 제시했고, 팔란티어를 비롯한 글로벌 방산 테크 기업들이 한국 시장에 진입하고 있다. 이들이 가져오는 것은 무기 하드웨어가 아니라 전쟁 운영체제 자체다. 이 법안의 특례 조항은 그 운영체제가 들어올 법적 인프라를 만든다. 만일 군사 AI가 북한군의 통신·위성·경제 데이터를 종합해 “도발 가능성 85%”로 예측한다면, 정부는 선제적 전력 증강을 시행할 것이고 북한은 이를 공격 준비로 인식할 것이다. AI는 확전을 가속하지만 탈확전을 설계하지 않는다. 이란 전쟁은 이 명제가 이론이 아님을 증명했다. 이란과의 핵협상이 가장 진전된 바로 그 시점에 공습이 개시됐다. 외교 채널은 알고리즘의 속도를 멈추지 못했다.

이 운영체제가 외부만 향하리라는 보장은 없다. 하나의 플랫폼은 외부의 적과 내부의 위협을 구별하지 않는다. 2024년 12·3 내란 전에 정치적 분류에 기반한 체포 대상자 명단(‘노상원 수첩’)이 작성됐다. 국회의 계엄 해제 의결과 시민의 저항으로 집행되지 않았지만, 이 법안이 합법화하는 AI 운영체제가 도입된다면 명단은 더는 인간이 수기로 작성하는 것이 아니다. 시스템이 자동으로 위험 점수를 생성하며, ‘명단’은 연속적이고 자기 갱신되는 알고리즘적 산출물이 된다.

국방AI법안은 AI를 ‘전력화'의 대상으로만 다룬다. 물어야 할 것은 어떻게 더 효율적으로 전력화할지가 아니라, 어디에서 멈출지를 어떻게 법에 새겨넣을 것인가이다.

AI 규제 ‘하한선’ 어떻게 그을까

국방AI법안은 제대로 설계된다면 국제 규범의 모범이 될 수 있다. 무기와 무기체계의 자율화 수준에 따른 분류와 완전한 자율무기체계의 금지, 시스템의 결정을 거부할 실질적 권한의 명시, 표적 선택과 교전 개시에서 안전 검증 우회 금지, 사람이 죽었을 때 누가 책임지는가에 대한 법적 규정. 이 중 어느 것도 현행 법안에 없지만, 어느 것도 법안에 넣을 수 없는 것이 아니다. 그러나 지금 내용대로 통과되면, 이 법률은 전력화 가속을 법적으로 정당화한 선례로 기록될 것이다. 세계 최초의 군사 AI 법률이 어떤 내용으로 제정되느냐는 방산 수출 상대국에서 적용되는 기준이 되고, 국제규범 형성의 하한선을 설정한다.

이 법안에는 “어디에서 멈출 것인가”라는 질문 자체가 없다. 국회 국방위원회 심사가 시작되기 전인 지금이, 그 질문을 넣을 마지막 기회다.

강성현 성공회대 평화월딩연구소 소장

□ 관련기사
<혁신의 이름으로, 살상이 자동화된다>
https://h21.hani.co.kr/arti/society/society_general/59083.html