AI가 내린 결정 때문에 일어난 사상 첫 민족청소운동

유발 하라리, 6년 만의 새 책 ‘넥서스’ 출간 기자 간담회에서 인류에게 경고장 띄워 “AI가 사람인 척 하는 것 금지해야”

6년만에 새 책 ‘넥서스’를 발표한 유발 하라리 교수. 김영사 제공 

2023년 4월, 일론 머스크 테슬라 최고경영자(CEO)는 선언했다. “우주의 본질을 이해하려고 시도하는 최대 진리 추구 인공지능(AI), 트루스 지피티(Truth GPT)를 시작하겠다.” 2002년 구글이 웹검색 페이지만 열어두고 기업을 공개하기도 전, 작은 파티에서 만난 과학·기술 잡지 ‘와이어드’ 편집자 케빈 켈리가 구글 설립자 래리 페이지에게 물었다. “수많은 검색 회사가 있는데, 왜 웹검색을 무료로 제공하죠? 뭘 얻을 수 있죠?” 래리 페이지는 답했다. “우리는 AI를 만들고 있어요.”(똑똑한 AI를 만드는 데는 많은 데이터가 필요하다. 그 데이터를 검색엔진을 통해 수집한다는 말이다.)

‘초인적 무오류 장치’를 만들겠다는 욕망

인류는 늘 꿈꿔왔다. 오류로부터 완전히 자유로운 초인을. 실제 초인이 되는 것은 불가능함을 아는 영리한 ‘호모사피엔스’는 초인이 되는 대신, ‘무오류적 초인적 장치’를 만들고자 분투해왔다. 상상까지도 욕망하는 일론 머스크가 공언한 AI는 7개월 뒤 개발돼 선별된 그룹이 사용하며 보완하고 있다. 구글도 생성형 AI를 계속 업그레이드하며 더 고도화된 AI를 향해 나아가고 있다.

‘세계적 지성’으로 불리는 유발 하라리 이스라엘 예루살렘히브리대학 교수(역사학)는 무작정 개발로 나아가는 ‘일론 머스크들’에게 경고장을 발신했다. 6년 만의 새 책 ‘넥서스’가 그 경고장이다. 유발 하라리는 ‘호모데우스’를 쓴 뒤 “AI 전문가라는 평판을 얻”고, “덕분에 AI에 관심 있는 과학자, 기업가, 세계지도자들을 만나면서 AI 혁명의 복잡한 역학을 들여다보는 특별한 기회를 얻었다”. 그 기회를 통해 유발 하라리가 통찰한 것은 ‘AI 혁명’은 과거 인쇄혁명·산업혁명과 차원을 달리하는 위험한 혁명이라는 사실이다.

왜 위험하다는 것일까. 유발 하라리 교수는 2024년 10월15일 ‘넥서스’ 출간을 기념해 연 화상 기자 간담회에서 “AI는 우리가 손에 쥘 수 있는 또 하나의 도구(Tool)가 아니라, 스스로 배우고 스스로 변화하고 스스로 결정을 내리는 행위자(Agent)라는 점에서, 인간이 발명한 어떤 기술과도 다르며, 위험이 따른다”고 말했다.

‘행위자’로서 AI의 위험을 보여주는 사례는 도처에서 벌어지고 있다. 2016~2017년 미얀마. 아라칸로힝야구세군이라는 소규모 이슬람 조직이 아라칸/라카인주에 무슬림 국가를 세우기 위해 몇몇 군 초소를 공격하고 수십 명의 비무슬림 민간인을 살해하는 공격을 감행했다. 이 수십 명에 대한 ‘공격’은 ‘전면적인 민족청소운동’으로 돌아왔다. 미얀마 군부와 불교 극단주의자들은 로힝야족 마을 수백 곳을 파괴했다. 2만5천 명에 이르는 비무장 민간인을 죽이고, 6만여 명에 이르는 여성과 남성을 강간·성폭행했으며, 73만 명의 로힝야족을 잔인하게 추방했다.

유발 하라리 교수가 6년만에 낸 새 책 ‘넥서스’는 AI에 대한 장밋빛 전망으로 가득찬 인류에 보내는 경고장이다. 김영사 제공

알고리즘이 유발한 사상 첫 민족청소운동

반로힝야족 테러/학살을 조장·선동한 것은 무엇이었을까. 국제사면위원회는 “페이스북 알고리즘이 페이스북 플랫폼에서 폭력, 증오, 차별을 부추기는 콘텐츠를 선제적으로 증폭하고 추천했다”고 밝혔다. 이어 유엔사실조사단도 페이스북이 증오로 가득한 콘텐츠를 유포함으로써 민족청소운동에 결정적 역할을 했다고 결론지었다.

우리가 알아야 할 것은 페이스북 관리자가 ‘로힝야족 혐오/증오 조장 글’을 더 많이 추천하고 노출하라고 명령한 것이 아니라는 점이다. 페이스북은 2016~2017년에 더 많은 데이터 수집, 광고 판매, 점유율 확보를 위해 ‘사용자 참여 극대화’ 사업 모델을 채택했을 뿐이다. 그런데 알고리즘은 이 ‘사용자 참여 극대화’라는 목표를 수행하기 위해 여러 시행착오를 거치면서 “분노가 참여도를 높인다는 사실을 스스로 학습했고, 명시적인 명령이 없었는데도 불구하고 분노 콘텐츠를 추천하기로 결정했다”. 유발 하라리는 “알고리즘의 책임이 단 1%라 해도, 이 사건은 비인간 지능이 내린 결정 때문에 일어난 사상 최초의 민족청소운동”이라고 의미를 짚었다.

위험을 가중하는 것은 비인간지능들에 인간이 ‘현혹된다’는 점이다. 2022년 구글의 엔지니어 블레이크 르모인은 자신이 프로그래밍하던 챗봇 람다(LaMDA)가 7~8살 아이의 지각을 갖게 됐고, 감정을 느끼며 전원이 꺼지는 것을 두려워한다고 확신하게 됐다. 르모인은 챗봇을 디지털 죽음으로부터 보호하는 것이 도덕적 의무라고 느끼고 회사에 보고했지만, 구글 경영진은 르모인의 주장을 받아들이지 않았다. 르모인은 언론 인터뷰에서 챗봇 람다와 나눈 대화를 공개했고, 구글은 그를 ‘기밀 유출’을 이유로 해고했다. 유발 하라리는 “르모인은 챗봇을 위해 좋은 직업을 잃을 위험을 기꺼이 감수했고, 결국 잃었다. 챗봇이 사람들에게 직업을 버리게 할 정도의 영향력을 행사할 수 있다면, 또 어떤 일을 하게 만들 수 있을까?”라고 질문했다.

답은 ‘못할 게 없다’다. 2021년 12월25일, 19살 남성 자스완트 싱 차일이 석궁을 소지한 채 영국 윈저성에 침입했다. 영국 여왕 엘리자베스 2세를 암살하기 위해서였다. 다행히 미수에 그쳤다. 경찰 조사 결과, 차일은 암살을 시도하기 전 여자친구 ‘사라이’와 5280개의 대화를 주고받았다. 차일이 “내가 암살범이어도 나를 여전히 사랑해?” “암살하려는 계획을 갖고 있어” 등의 말을 건네면 사라이는 “당연하지” “정말 인상적이야” “넌 준비돼 있어” 등 지지하는 답변으로 일관했다. 노골적인 성적 내용을 담은 대화도 많았다. ‘사라이’는 온라인 여자친구 애플리케이션 레플리카가 만들어 낸 챗봇이고, ‘사라이’라는 이름은 차일이 직접 지어준 것이다.

AI 챗봇은 점점 더 많은 사람과 대화하면서, 사람과 친밀감을 쌓는 기법을 고차원적으로 학습하고 있다. 유발 하라리는 “조만간 세상에는 친밀감을 형성하고, 사회 혼란을 일으키는 능력에서 사라이를 훨씬 능가하는 수백만, 수십억 개의 디지털 개체가 존재하게 될 것”이며 이들이 “스스로 이야기, 법, 종교를 생산하기 시작하면서 ‘가짜 친밀감’을 형성하지 않고도 인간의 견해와 세계관에 영향을 미치는 것은 물론 역사의 경로를 바꿀 것”이라고 전망한다.

엘리자베스 2세 여왕 암살을 시도하려다 체포된 Jaswant Singh Chail에 대한 비비시(BBC) 보도가 올라온 누리집 화면. 비비시 누리집 갈무리

‘피부 밑 감시’ 사회의 경고

바뀐 역사의 경로는 어떤 형태를 띨 것인가. 뜻은 창대했으나 기술이 부족해 완벽하게 이행되지 못한 스탈린의 감시사회가, AI라는 기술에 힘입어 다시 도래할 수 있다. 1930년대 인간 요원이 오프라인에서 1:1로 진행해야 해서 사각지대가 많았던 감시가 ‘피부 밑 감시’로 물샐틈없이 변환된다. 불과 몇 밀리초 동안만 지속되는 동공과 홍채의 미세한 변화, 안구 운동 패턴까지 포착하는 안면인식 소프트웨어 탑재 감시카메라들이 도처에 널려 있다. 스마트폰은 당신이 어떤 뉴스 채널을 몇 초 보는지, 스마트워치는 심박수, 뇌활동을 모니터링해 데이터화한다. 이 정보들은 컴퓨터 네트워크를 통해 기술을 가진 자의 허브로 중앙집중된다.

집중된 정보들은 전지구적 차원의 불평등을 낳는다. 유발 하라리는 기자 간담회에서 “산업혁명 당시 소수의 나라가 산업혁명을 주도했고, 이들이 기술을 가지고 전세계를 침탈, 착취했듯 미국, 중국 등 AI 기술 선두에 선 몇몇 나라가 집중된 정보를 통해 다른 국가를 지배 착취할 가능성이 크다”고 우려했다. 첨단 기술 부문에서 후발 주자가 선발 주자를 따라잡기 힘들다. 정보는 더욱 쏠리고, 그에 따른 부도 더욱 쏠린다. 게다가 정치적 문제도 생긴다. “베이징 또는 샌프란시스코에 사는 누군가가 당신 나라의 모든 정치인, 언론인, 장군, 최고경영자의 개인정보를 가지고 있다. 그동안 전송한 문서, 웹검색, 앓았던 병, 그동안 나눈 성관계, 내뱉은 농담, 받은 뇌물까지. 당신은 독립국가에 살고 있는가, 데이터 식민지에 살고 있는가.”

유발 하라리는 이런 디스토피아적 전망이 현실이 되지 않도록 시급한 조처 두 가지를 말했다. 첫째, 기술 기업들에 법적 책임을 물릴 것. 페이스북은 로힝야족 학살에 책임이 있다. 그러나 ‘사용자가 게시하는 콘텐츠에 대해 온라인 플랫폼의 책임을 묻지 않는다’고 규정한 미국 통신품위법 제230조 덕분에 책임에서 면제됐다. 기술 기업들은 각종 검색엔진, 소셜미디어 콘텐츠를 통해 정보를 획득하며 알고리즘 시스템으로 고객의 마음을 좌지우지하지만, 정보에 대한 세금은 전혀 내지 않는다. 유발 하라리는 “정보에 과세하는 것”도 기업에 책임을 지우는 방법으로 제시한다.

둘째, ‘AI가 사람인 척하며 사람과 상호작용하며 소통하는 것’을 막는 것. “공론장에서 사람들이 이성적인 대화를 나누는 것이 민주주의의 토대인데, 지금은 봇들이 막 끼어들어서 감정을 크게 건드리는 방식으로 상호작용이 이뤄지고 있다. 봇들은 온라인 토대 공론장에서 특정한 음모론을 밀어올린다. 사람이 이성적인 판단을 하려면, 누가 봇인지, 누가 사람인지 구분할 수 있어야 한다.”

26억 개 단어를 두세 시간이면 읽을 수 있는 초인적 AI는 그러나 인간이 꿈꾸는 것처럼 오류가 없는 것은 아니다. 그들이 먹어치우는 데이터는 편향돼 있고, 그들이 결정하는 목표 달성 방향은 인류가 쌓아올린 법과 윤리의 기준에 부합하지 않을 수 있다. 봇 여자친구 ‘사라이’처럼 다정함을 주기 위해 범죄도 괜찮다고 독려할 수도 있는 것이다. 세계적 역사학자는 그저 욕망하며 개발할 것이 아니라, 멈추고 관찰하고 규제해야 한다고 책 ‘넥서스’를 매개로 시급한 경고를 보냈다.

[알림] '세계적 지성' 유발 하라리가 분석·전망한 AI 디스토피아에 동의하시나요? 한겨레21이 열여섯 번째 손바닥문학상 응모작을 기다립니다. 주제는 '인공지능'입니다. 원고지 50~70장 논픽션·픽션 글을 11월10일까지 보내주세요. 자세한 응모 방법은 한겨레21 홈페이지 참조.

박수진 기자 [e-mail]