▣ 임일곤/ <아이티타임스> 기자

지난 1월10일 서울 역삼동에 있는 한 동영상 콘텐츠 제공업체(CP) 사무실에서는 긴장감이 흘렀다. 오전부터 폭주하기 시작한 누리꾼들의 사이트 방문으로 서버가 위태위태하다가 결국 다운돼버린 것. 긴급 복구작업에 들어가자 또 다른 소식이 날아들었다. 이 사이트가 오후 8시께 네이버의 실시간 검색어 1위에 올랐다는 소식이었다.

△ 구글은 인위적인 편집 과정을 거치지 않는 웹검색 서비스를 중심으로 삼는다. 지난해 5월 구글 체험행사에 참여한 국내 대학생들. (사진/ 구글 제공)

웹 수집도구 ‘로봇’

최근 문화방송 〈PD수첩〉을 패러디한 ‘동네수첩’과 노래 잘하는 여고생 ‘신규정’ 등 이 CP를 통해 알려진 동영상들이 연달아 히트치면서 누리꾼들의 방문이 급격히 증가했다. 기존 공중파 방송에 싫증을 느낀 누리꾼들이 자신이 직접 만든 동영상(UCC·User Created Contents)을 이러한 CP나 각 포털의 블로그에 올리기 시작한 것이다.

UCC는 각 포털에서 쉽게 발견할 수 있다. 네이버의 ‘지식인’처럼 누리꾼들끼리 서로 질문하고 답하는 방식이 바로 그것이다. 인터넷에 콘텐츠를 올리는 누리꾼들은 상대방의 반응에 아주 민감하고 피드백도 실시간에 가까운 속도로 일으키면서 정보를 공유한다. 정보 공유가 즐거운 행위가 되면서 새로운 콘텐츠가 생산되고, 이것이 확대재생산되는 구조로 발전하게 된다. 미국에선 ‘정보=돈’이라는 사고 때문에 정보를 인터넷에 마구 올리는 행위를 선뜻 이해하기 힘들 것이다. 폐인, 싸이족, 블로거 등으로 불리는 이들이 온라인의 신명나는 ‘놀이’에 익숙하다는 것을.

검색 서비스에서 봤을 때, 우리나라는 UCC 말고도 독특한 것이 있다. 사람의 손으로 이뤄지는 ‘통합검색’이 바로 그것. 국내 검색 업체들은 사이트, 디렉토리, 뉴스, 사전 등 각종 정보를 편집자들이 보기 좋게 배치해주는 이른바 ‘한국형’ 통합검색을 이뤘다. 여기에 지식인, 카페, 미니홈피 등 UCC를 기반으로 한 검색 결과까지 더해져 검색 사이트 한 곳에서 원하는 모든 정보를 찾을 수 있는 환경을 제공한다. 네이버, 엠파스, 야후코리아 등 국내의 대표적인 검색 서비스들은 이런 방식을 취하고 있다.

이에 대비되는 것이 ‘웹검색’으로, 검색 엔진이 인터넷상에서 정보를 수집하기 위해 웹 수집도구 프로그램을 활용하는 것이다. 보통 로봇(robot) 또는 봇(bot)이라고 불리는 이 프로그램은 인터넷을 따라 지금도 꾸준히 돌아다니며 웹페이지의 정보를 미리 수집해놓는다. 사용자가 검색을 이용하면 로봇이 수집한 정보는 검색 업체의 자체 알고리즘을 통해 분석한 결과를 보여준다. 여기에는 편집자들, 그러니까 ‘사람의 손’을 전혀 거치지 않아 검색 결과가 다소 산만하게 느껴진다. 이러한 웹검색 서비스의 대표적인 업체가 유명한 미국의 ‘구글’이고, 국내에서는 신생 업체인 ‘첫눈’이 있다.

‘지식인’도 건드린 엠파스의 ‘열린 검색’

로봇이 정보 수집을 못하는 경우도 있다. ‘Robot.txt’라는 규칙 때문이다. Robot.txt는 인터넷에 정보를 올리는 사람이 자기 정보를 외부에 노출하기 꺼릴 때 간단히 만들 수 있는 파일로, 이를 이용하면 로봇이 수집을 못하게 된다. 결국 검색에도 잡히지 않는다. 검색 업체에서는 Robot.txt는 강제조항이 아니고 확정된 표준안도 아닌 것으로 여긴다. 따라서 검색 업체에 따라 지켜도 되고 안 지킬 수도 있다. 문제는 어느 검색 업체에서는 지키려 하고, 어디서는 안 지키면서 업체 간 감정싸움이 불거지는 데 있다.

구글은 현재까지 이 규칙을 제대로 지키고 있다. 구글의 기업 이념으로 자주 언급되는 ‘사악해지지 말자’의 맥락이다. 구글의 한국어 검색 결과가 “예상외로 형편없다”고 회자되는 것도 Robot.txt의 탓이 크다. Robot.txt에 관련된 문제는 정작 구글보다 국내 검색 업체인 네이버와 엠파스 간 대립에서 생겨나고 있다. 지난해 6월 시작한 엠파스의 ‘열린 검색’은 고급 정보를 찾기 위한 방안으로 전문 게시판과 블로그의 정보를 검색해준다. 포털에서 검색 본연으로 돌아가기로 한 엠파스는 사용자들에게 필요한 정보를 찾아주기 위해 모든 게시판을 검색하다 보니 네이버의 ‘지식인’도 검색 대상에 포함시킨 것이다. 네이버의 ‘지식인’ 서비스는 질문과 답변으로 이뤄지는 방식으로, 이 정보가 질문자와 답변자라는 공동의 저작물이기 때문에 딱히 네이버의 정보라고 보기 어렵다는 게 엠파스의 태도다.

△ 다음, 엠파스, 야후코리아(위부터)도 네이버처럼 '통합검색' 위주로 돼 있다.

네이버가 국내 검색 시장에서 1위를 확고히 하면서, 검색 시장 내 독점 구조를 강화하게 된 것은 불과 수년 전부터다. 현재 네이버 검색 서비스는 전체 인터넷 이용자의 90%가 이용하고 있다. 검색 서비스 시장이 과거 과점 구도에서 독점으로 재편된 것이다. 이렇게 네이버가 대다수의 이용자를 확보하게 된 데에는 ‘지식인’ 서비스가 결정적인 공을 세웠다. 이러자 경쟁사인 엠파스는 네이버에 대응하기 위해 열린 검색을 통해 외부 데이터베이스(DB) 검색 역량으로 전환을 도모한다. 즉, 네이버가 이룩한 ‘지식인’ DB를 검색하는, 네이버의 독점적 지위에 대응하는 전략을 세운 것이다. 어느 검색 업체는 이 부분이 ‘지식인’ DB에 대한 관리와 유지를 위해 기울인 네이버의 노력을 침해한 것이라고 말한다.

본래 검색의 취지는 ‘어디에 정보가 있느냐’였다. 네이버는 국내 시장을 독점하면서 ‘웹’이라는 바다에서 양식장을 경영하게 된다. 즉, 사용자가 한번 오면 잡아두고 다른 곳으로 빠져나가지 못하게 하려는 것이다. 수익을 좇는 기업이니 당연하다. 하지만 이는 검색이 포털의 시녀로 전락하는 환경을 만들고 있다. 전문 콘텐츠 업체들이 네이버에 줄을 서게 되는 것이다. 네이버는 막강한 자금력으로 콘텐츠 업체들의 DB를 독점해 폐쇄적으로 이용하게 된다. 이로 인해 뉴스를 비롯해 전문 CP들이 네이버에 종속될 수밖에 없다.

네이버의 폐쇄적인 경영은 대다수 콘텐츠 업체들의 수익을 떨어뜨린다. 처음에는 네이버에 돈을 받고 팔던 콘텐츠들을 이제는 눈에 잘 띄는 곳에 올리기 위해 오히려 돈을 줘야 하는 상황으로 치닫고 있는 것이다. 검색 업체와 콘텐츠 업체가 상생하기 위해 네이버의 폐쇄적이고 독점적인 검색 구조가 바뀌어야 한다고 관련 업체들은 입을 모은다.

구글은 한국시장 1위에 관심 없을 것

국내 검색 선도 업체 네이버가 독점 구조를 바꾸게 되면 ‘곧 상륙할 구글의 버팀목은 누가 하라는 것이냐’란 의문이 생긴다. 네이버와는 비교도 안 될 정도로 막강한 자금력과 마케팅력을 보유한 구글 상륙으로 국내 검색 업체가 고사하지 않을까 하는 우려도 크다. 하지만 국내 검색 업체들은 의외로 덤덤하다. 먼저 위에서 지적한 구글의 ‘웹검색’ 방식이 ‘통합검색’에 익숙한 한국 네티즌들을 만족시킬 수 없다는 것이 가장 큰 이유다.

또 다른 이유로는 구글은 한국 검색 시장을 배우러 오는 것이지 이곳에서 큰돈을 벌려는 게 아니라는 것. 최근 구글이 상반기 중 한국에 연구센터를 짓는다는 소식이 전해졌다. 한국의 UCC 같은 독특한 문화와 고속 인프라를 통해 이뤄지는 검색 패턴이 연구할 만하다고 본 것이다. 이로 인해 관련 업체들은 구글의 첫 화면이 파격적인 ‘통합검색’으로 바뀔 수도 있고, 잘 지키던 robot.txt도 무시할 수 있다고 전한다. 왜냐하면 한국에서 1위를 하든 꼴등을 하든 구글에게는 별다른 타격이 없기 때문이다.

구글의 최종 목표는 최근 격화되고 있는 자국 시장과 떠오르는 중국 시장에서 승부수를 띄울 만한 기술을 쌓는 것이다. 구글은 한국에서 영양가 있는 기술들을 섭렵해, 든든한 보약을 한 첩 챙기려는 것 외에 한국에서 별다른 야망을 보이지 않을 것이란 분석이다. 국내 검색 업체들이 내심 걱정하는 것은 구글의 ‘고급 인력 빼가기’이다. 네이버가 그 피해 대상 1호로 꼽히고 있다.