흑백사진이여 색이 있으라!

사진 속 정보를 읽고 흑백사진의 색을 재현하는 ‘조물주 인공지능’

‘Let there be color!’ 제공

‘이세돌 vs 알파고’.

구글의 마케팅은 성공적이었다. 세기의 대국은 역사에 새겨졌고, 구글은 ‘인공지능’을 전세계에 대중화했다. 인공지능이 이번엔 바둑을 넘어 사진 영역으로 들어왔다. 이름도 거창하다. ‘색이 있으라!’(Let there be Color!) 인공지능 기술로 낡은 흑백사진을 컬러사진으로 바꿔주는 기술이다. 일본 와세다대학 연구원인 사토시 이즈카, 에드가 시모 세라, 히로시 이시가와가 공동저자로 발표했다.

핵심은 인공지능 기술 ‘딥러닝’의 하나인 ‘나선형신경망’(Convolutional Neural Networks) 기술이다. 컴퓨터가 사진에서 점이나 선, 면 정보를 분석해 사진 속 부분 정보를 기존 사물 정보와 합쳐 색깔을 입히는 방식이다. 나선형신경망 기술은 우선 보편적 정보들, 이를테면 사진이 촬영된 곳이 실내인지 야외인지, 촬영 시간이 낮인지 밤인지, 계절은 봄인지 여름인지 등을 사진에서 뽑아낸다. 여기에 사진 속 대상물의 고유 정보를 더하면 촬영 당시 환경에 가장 근접한 색깔이 나온다. 컴퓨터가 흑백사진이 해 질 녘에 촬영됐다는 정보와 사진을 찍은 곳이 햇살을 받은 해변이라는 정보를 뽑아내면, 이 둘을 결합해 석양이 깔린 해변 색깔을 재현하는 것이다. 이런 식으로 구름 낀 하늘색이나 사진 속 인물의 촬영 당시 얼굴색도 알고리즘이 찾아낸다. 사람의 개입은 전혀 없다.

연구진은 이런 식으로 변환한 사진을 기존 풍경 데이터베이스와 비교해 색 재현도를 평가했다. 그랬더니 변환된 사진의 92.6%가 ‘자연스런’ 색깔로 판별됐다. 또 연구진은 20세기 초 고대 건축물을 촬영한 흑백사진을 컬러로 변환한 다음 실제 건축물과 비교했는데, 이 실험에서도 “신뢰할 만한 결론을 얻었다”고 밝혔다.

와세다대학 연구진은 이 ‘조물주 인공지능’ 기술을 풍경, 건축물, 인물사진이나 근접 촬영한 사진까지 두루 활용할 수 있다고 했다. 여기서 그치지 않았다. 이들은 누구나 ‘색이 있으라!’ 기술을 활용할 수 있도록 소스코드도 공개했다. 이 코드를 활용하면 ‘흑백사진→컬러사진’ 변환 서비스를 직접 구현할 수 있다. 연구진은 초기 구상 단계에서 거칠게 스케치한 밑그림의 윤곽선을 인공지능을 이용해 자동으로 또렷하게 그려주는 ‘스케치 단순화’ 기술도 공개했다.

‘색이 있으라!’가 제 색깔을 찾아주는 인공지능 기술이라면, ‘와이푸2×’는 제 모양을 찾아주는 기술이다. ‘나가도미’로 알려진 일본인 소프트웨어 개발자가 만들었다. 와이푸2×도 앞선 ‘색이 있으라!’처럼 나선형신경망 기술을 활용한다. 나선형신경망이 저해상도와 고해상도 이미지 속 요소를 일대일로 비교·분석해 자글자글한 이미지를 부드럽고 선명하게 바꿔준다. 서비스 이름인 ‘와이푸’는 애니메이션 마니아들이 좋아하는 캐릭터를 ‘내 신부’(wife)라고 부르는 데서 따왔다.

와이푸2×는 ‘원본’에 대한 발상을 바꿨다. 인공지능이 원본 이미지를 처음부터 축소한 이미지로 인식하도록 알고리즘을 짰다. 인공지능에게 속임수를 쓰고, 원본을 복원하라고 숙제를 던져주는 식이다. 그래서 이미지가 올라오면 인공지능은 ‘원본’을 찾기 위해 이미지를 확대하게 되고, 이 과정에서 일대일 매칭 방식으로 노이즈 제거 작업이 이뤄진다.

불분명한 모습을 마술처럼 확대해 범인을 찾아내는 장면은 영화에선 낯익다. 인공지능은 이 흐릿한 미래를 조금씩 선명하게 바꾸고 있다. ‘일본형’ 인공지능이나 ‘5개년 계획’이 만들어낸 것은 아니다. 연구자의 노력과 기술 공유, 공론장에서 이뤄진 개발자 사이의 자유로운 토론이 기술을 싹 틔우고 살찌우지 않았던가.

이희욱 편집장 [e-mail]

※카카오톡에서 을 선물하세요 :) ▶ 바로가기 (모바일에서만 가능합니다)