음악, 눈으로 보여줄게

선율을 3D 조형물로 시각화한 홀로덱스, 증강현실 더한 ‘이노·하이드’ 앱

오스트레일리아 컴퓨터아티스트가 개발한 ‘홀로덱스’를 통해 음악 선율은 3차원 조형물로 되살아난다. 홀로덱스 제공

12년쯤 전이던가. 망중한을 즐기러 예술의전당에 들렀다가 음악분수를 처음 보았다. 한여름 햇살 사이로 경쾌한 음악이 울려퍼졌고, 선율을 따라 물줄기들이 무지개를 내뿜으며 하늘거리고 있었다. 음악에 한창 젖어들던 내 눈에 한 무리의 관람객이 들어왔다. 그들은 분수 앞 벤치에 앉아 수화를 나누며 분수처럼 음악을 따라 들썩거렸다. 그때 처음 알았다. 음악을 귀로만 듣는 건 아니란 사실을.

청각장애인은 음악이 재생될 때 스피커에 손을 대고 그 떨림으로 선율을 느끼거나, 볼륨을 높이고 음의 떨림을 온몸으로 느끼며 음악을 감상한다. 진동으로 멜로디를 구분하고, 진동의 흐름을 따라 곡 전체를 감상한다. 청각을 대신해 촉각이 음악을 받아들이는 것이다. 2014년엔 서강대 영상대학원에서 예술공학을 전공한 송은성씨가 이 원리를 이용해 ‘뮤직시트’를 선보이기도 했다. 음악을 진동으로 표현해, 청각장애인이 촉각으로 음악을 감상하게 돕는 의자다. 마이크로소프트는 지난해 11월, 골전도 기술을 적용해 고막 대신 뼈와 피부 진동을 통해 소리를 전달하는 헤드폰을 공개하기도 했다.

그렇다면 촉각 대신 시각으로 음악을 감상할 순 없을까. ‘홀로덱스’가 그런 시도다. 홀로덱스는 오스트레일리아에서 활동하는 컴퓨터아티스트 루카스 카룩의 개인 프로젝트다. 카룩은 음악을 귀로만 소비하고 싶지 않았다. 요동치는 선율을 눈으로 보여주고 싶었다. 그는 3차원(3D) 프린터에 눈을 돌렸다. 다양한 소리를 시각화한 다음, 이를 3D 프린터로 ‘출력’하면 어떨까. 2014년 1월, 그렇게 홀로덱스 프로젝트가 첫발을 뗐다.

홀로덱스는 선율을 3D 조형물로 시각화하는 프로젝트다. 조형물의 기본 생김새는 음악을 담은 그릇, 요컨대 CD인지 LP 음반인지에 따라 달라진다. 밑판 모양도 이에 따라 결정된다. 이제 소프트웨어(SW)가 선율을 분석해 시각화한 다음, 이를 3D 프린터로 전달해 조형물을 뽑아낸다. 소프트웨어는 오픈프레임웍스를 이용해 직접 제작했다. 오픈프레임웍스는 프로그래밍 언어 ‘C++’를 기반으로 제작된 오픈소스 코딩 도구다. 시각화 작업이라고 해서 어렵게 생각할 건 없었다. 흔히 오디오 기기나 SW를 보면 막대그래프 모양의 이퀼라이저가 선율을 따라 춤추는 걸 볼 수 있지 않은가. 이를 조금만 더 응용하면 선율을 더 복잡한 형상으로 시각화하는 것도 문제없었다. 음악을 분석해 직물 형태로 시각화하는 오픈소스 SW도 여럿이었다.

이젠 3D 프린터 차례였다. 카룩은 ‘메이커봇 리플리케이터2’로 첫 시제품을 출력했다. 결과는 기대 이상이었다. 귓가를 맴돌던 선율이 눈앞에 3차원 조형물로 우뚝 솟았다. 카룩은 한발 더 나아갔다. 3D 프린팅 조형물을 증강현실(AR)과 결합해보면 어떨까. 그는 워프레코드와 손잡고 ‘이노·하이드’ 응용프로그램(앱)을 내놓았다. 영국 뮤지션 브라이언 이노와 칼 하이드의 컬래버레이션 앨범 를 증강현실을 이용해 시각화한 모바일 앱이다.

이노·하이드 앱은 음악을 스마트폰 화면에 띄워준다. 음악을 ‘보는’ 방법은 간단하다. 앱을 실행하고 ‘이노·하이드’ LP 라벨에 스마트폰 카메라를 갖다 대면 된다. LP가 없다고? 걱정할 필요 없다. 이노·하이드 웹사이트(http://enohyde.com/app)에 접속해 가상 레코드판 재킷 이미지를 폰 카메라로 비춰보자. 화면에 재생 단추(?)가 뜨고, 이를 터치하면 경쾌한 음악과 함께 현란한 조형물이 화면 가득 춤춘다. 화면을 터치하면 시각화 이미지들이 그에 맞춰 반응하고, 화면을 연속 두 번 터치하면 이미지들이 무작위로 바뀐다. 귀로만 듣던 음악이 화면 속에서 울창한 소리의 숲으로 거듭난다. 기술과 공학이 오감의 굳건한 경계를 허물고 있다.

이희욱 기자 [e-mail]