AI 면접관이 말했다 “너 인성 문제 있어?”

박태우 기자가 AI역량검사 뒤 받아든 평가지 “AI에게 인정받고 싶었지만…”

‘

박태우 기자가 AI역량검사에 응시하기 위해 ‘안면등록’ 절차를 밟고 있다.

‘야망 있는’ ‘감정 전달이 서툰’ ‘보상에 민감한’ ‘처세가 좋은’ ‘논리가 부족한’ ‘학습이 느린’.

기자생활 10년을 맞는 38살 ‘박태우’에 대해 ‘인공지능(AI)역량검사’가 내린 평가다. 고성과예측점수는 ‘B’. 결과지를 본 동료들은 “원래 공감 능력이 없지 않냐” “숨겨둔 야망이 드러났다”며 한마디씩 거들었다. 야망과 처세야 둘째 치고, 취재하고 기사를 쓰는 데 필수적인 능력인 ‘논리가 부족한’과 ‘학습이 느린’이란 결과는 도무지 받아들이기 어려웠다. AI 알고리즘은 왜 나를 이런 사람으로 평가했을까? 너 자신을 알라던 ‘테스형’에게 물어야 하나.

공공기관·금융권 채용 비리가 논란이 된 이후인 2018년 국내 채용 시장에 처음 선보인 AI역량검사는 최근 코로나19로 인해 ‘비대면 면접’이 주목받으면서 확산하고 있다. AI역량검사 팁을 제공하는 취업학원이 등장하고, 유튜브엔 관련 후기가 넘쳐난다. AI 알고리즘의 편향과 차별, 불투명성이 문제가 되는 상황에서 공정·신뢰·투명성이 요구되는 채용 영역에서 AI역량검사가 제대로 작동하는지 알아보고 싶었다.

민간기업과 공공기관 400여 곳이 채용(참고) 목적으로 쓸 정도로 점유율이 높은 마이다스IT의 AI역량검사를 취재 대상으로 삼았다. 마이다스IT 누리집에 실린 정보를 수집한 뒤 9월24일 서울 마포구 공덕동 한겨레신문사에서 AI역량검사에 응시했다. 업체가 마련한 응시직군에 ‘기자’가 없어 ‘영업직’을 선택했다. 인터넷 환경이 갖춰졌고 웹캠과 스피커·마이크가 갖춰진 컴퓨터가 있다면 지정된 기한 안에 언제 어디서든 응시가 가능했다. 시험은 크게 영상면접(자기소개·기본질문·상황대처·심층대화)과 컴퓨터를 활용한 인·적성 검사(보상선호·전략게임)로 나뉜다. 영상면접은 화면에 뜨는 내 얼굴을 보면서 진행한다.

박태우 기자의 AI역량검사 평가 결과지

처세가 좋은

검사의 시작은 일반적인 사람 면접관의 면접과 다르지 않았다. 자기소개·장단점·지원동기를 AI가 물었고 이에 답하는 식이었다. 마지막 면접을 본 게 10년 전이라, 시험을 보기 전에 대기업 인사담당자의 조언을 얻어 ‘모범답안’을 작성해 미리 준비했다. 특히 마이다스IT 누리집에 “(지원자의) 음성을 추출해 지원자의 언어 습관이나 특정 단어 사용 횟수 등을 분석하고 지원자의 언어 행동과 경향을 분석한다”고 쓰여 있어, 호기심·적극성·추진력, 신뢰·친절·겸손·헌신·도전정신 따위의 단어가 여러 개 들어가도록 면접 답변을 구성했다. 이 단어들을 말할 때는 발음에 신경 써서 또박또박 말하려 했다. 얼굴 표정이 인식된다고 하니, 최대한 밝고 신뢰감 있는 표정을 지으려고 애썼다.

다음은 ‘성향검사’ 차례. ‘나는 울고 싶을 때가 많다’ ‘재미없는 일은 꾸준히 하기 어렵다’ ‘다른 사람의 행동을 이해하기 어려울 때가 많다’ 등의 질문에 5점 척도로 응답하는 것인데 인·적성 검사와 비슷하다. 중간중간 응답자의 신뢰도를 평가하는 ‘함정 질문’도 눈에 띄었다. 이어서는 ‘상황대처’ 질문이 나왔다. “고객이 계약서에 없는 내용을 요구할 때, 어떻게 대처할 것인지 실제 고객과 전화 통화를 한다고 생각해 응답하라”는 등 두 가지 질문이 던져졌다. 잠시 생각할 틈을 주긴 했지만, 갑작스러운 물음에 제대로 응답하기 쉽지 않았다. 이때는 밝은 표정을 지어야 하나, 아니면 신뢰감 가는 표정을 지어야 하나, 순간 헷갈렸다. 화상회의 플랫폼에서 말하는 것도 영 어색한데, 내 얼굴만 마주 보며 말한다는 건 더 쉽지 않았다.

학습이 느린
다음 단계로 나온 ‘보상선호’와 ‘전략게임’에서는 마우스와 키보드를 잘 써야 했다. 전략게임은 모두 10가지. ‘공 탑 쌓기’ ‘공 무게 맞히기’처럼 대충 보면 이해되는 게임도 있었지만, ‘도형 위치 파악하기’나 ‘카드 뒤집기’ 등은 문제의 규칙과 예시를 보여주지만 짧은 시간 안에 이해하기 힘들었다. “뇌의 전전두엽 6가지 영역과 관련된 역량을 측정하는 게임”이라고 업체는 소개했다. 평소 게임을 즐겨 하지 않는 탓인지 마우스와 키보드를 빠르게 쓰는 것도 버거웠다. 게임이 마무리될 즈음 ‘멘털이 나갈’ 지경이었다.

50분이 걸린 전략게임을 마친 뒤, 앞선 검사를 바탕으로 부여된다는 ‘심층질문’이 나왔다. ‘가치관이 전혀 다른 사람과 일해야 하는 경우 어떻게 해야 장점을 극대화할 수 있을까?’ 등의 질문이지만, 내가 어떻게 답했는지조차 잘 기억나지 않았다. ‘망했구나’라는 말이 자연스레 터져나왔다. ‘게임을 못했다고 결과가 완전히 달라지진 않겠지.’ 마음이 복잡해졌다.

AI역량검사는 AI가 제시하는 질문에 답하는 영상면접과, 인·적성 검사와 비슷한 전략게임으로 나뉜다.

보상에 민감한

시험은 망했지만 그래도 점수가 잘 나왔으면 했다. 이세돌은 알파고를 꺾으려 했지만, 나는 AI에게 인정받고 싶었다. AI역량검사 결과지는 A4용지 4장 분량인데 역량 등급은 S부터 D까지로 나뉜다. 나는 고성과예측점수 B가 나왔다. 세부적으로는 성과역량(신뢰·전략·관계·실행) B, 성장역량(가치·조직적합) B-, 관찰특성(호감도) B-였다.

나에 대한 AI의 ‘역량 해석’은 이렇다. “다양한 정보를 종합해 결론 내리는 과정에서 논리적 오류를 범할 때가 있다.” “공감을 이끌어내는 능력이 다소 부족하다.” “다른 사람에게 의견이나 생각을 전달하는 것이 서툰 편이다.” “인상이 밝다는 평가를 받지 못하는 편이다.” “합리적 근거 없이 다른 사람을 함부로 의심해 공격성을 보이는 성향이 두드러진다.” 업체는 AI가 “사람의 채용을 돕는 역할에 그친다”고 홍보하지만, 이 결과표를 본 면접관이 나를 긍정적으로 판단할 리 없어 보였다. 결과지 마지막 장에는 나에 대한 추천 질문도 있다. ‘B’라면 그래도 중간은 갔다는 얘긴데, 역량 해석이 너무 박한 게 아닌가 싶었다.

취재 목적으로 응시했기에 나는 결과지를 받아볼 수 있었지만, 일반 응시자에게는 그렇지 않다. 인사담당자만 시험 결과를 확인할 수 있다고 했다. 정답이 없고 시험의 어떤 요소가 점수로 반영됐는지도, 어떻게 해야 점수가 잘 나오는지도 알 수 없을 터이다. 그럼에도 이 시험을 일부 기업은 전형 과정에서 점수로 반영한다고 한다.

야망 있는

이 알고리즘은 공정한가, 어떻게 신뢰할 수 있는가, 신뢰를 얻으려면 무엇이 공개돼야 하는가. 꼬리를 무는 궁금증을 풀기 위해 마이다스IT 담당자에게 시스템과 알고리즘의 원리에 대해 대면 인터뷰 2시간, 두 차례의 서면·전화 인터뷰를 했다. 또한 채용 과정에서 AI역량검사를 쓰는 기업 인사담당자의 평가, AI 기반 채용에 관한 국내외의 논란을 살펴봤다. 

글 박태우 기자 [e-mail], 사진 박승화 기자 [e-mail]

투명성·공정성·신뢰성…AI면접 믿을 만할까?(http://h21.hani.co.kr/arti/economy/economy_general/49403.html)로 이어집니다.