네이버 vs 구글? 검색이 추구해야할 방향은?

인터넷에서 재밌는 논쟁을 발견하였습니다. 네이버와 구글의 검색을 서로 비교하며 한국 인터넷이 10년간 정체되어 있는 이유가 네이버에 있다라는 것이었는데요.

한국의 인터넷에서 잘못 끼워진 첫 단추, 그 이름은 네이버 (NAVER)

사실 이것은 수년 전부터 꾸준히 논의가 되어오던 것인데 이번처럼 큰 파급력을 가지고 논의가 된 적은 없었던 듯 하네요. 아마도 제 생각에는 트위터를 통한 노출, 자극적인 제목과 더불어, 아이폰의 도입으로 그동안 국내 울타리에 갇혀 있으면서 만족하던 사람들이 또 다른 세상을 겪게 되면서 사고가 깸에 따라, 그것이 네이버와 구글이라는 국내와 세계의 검색엔진에도 관심을 가지고 국내의 쇄국정책을 타파하려는 의식개선의 움직임들이겠지요. 

암튼 냄비 속 개구리 이야기처럼 그동안 따뜻한 물 속에서 서서히 삶아져 가던 사용자들이 이런 글들로 인해 뜨거운 물이 부어지는 것은 좋은 것 같습니다.

문제를 제기하는 부분은,

네이버의 폐쇄적인 부분에 의해 한국의 인터넷 생태계가 파괴되고 중소기업의 성장이 가능한 환경이 만들어지지 않았다. 구글처럼 검색엔진에 충실한 열린 인터넷 환경이 되어야 한다.

결론적으로 상당부분 동의하고 공감이 가는 내용이었지만, "왜?"라는 부분에 대한 내용은 빠져있어 다소 아쉬운 점도 있었습니다.

그리고 비교의 부분에서 구글의 검색과 네이버 통합검색을 비교하였는데, 저는 그것보다 구글의 웹문서 검색과 네이버의 웹문서 검색을 서로 비교해야 공평하지 않을까 하는 생각이 듭니다. 물론 사용자입장에서 정보를 취득하는데 있어 그런 구분은 무의미하고 결국 그것에 대해서도 비교값에 대한 결과가 달라지는 것은 아니지만, 검색 기술력에 대한 차이를 간과한채 컨텐츠 질과 양에 대한 부분만으로 논의가 되고 있더라구요.

네이버는 왜 그랬을까?

그럼 일단 재미삼아 웹문서로 구글, 네이버을 한번 비교해볼까요? 검색어는 논란의 여지가 없도록, 논란이 되고 있는 Sungmoon's Blog의 해당 포스트 제목인 '한국 인터넷에서 잘못 끼워진 첫 단추, 그 이름은 네이버 (NAVER)'로 해보겠습니다.    

구글 검색결과

네이버 웹문서 검색결과

구글은 최상단에서 바로 정확한 결과값을 찾아냅니다. 반면 네이버는 최상단은 커녕 웹문서 모두를 찾아보아도 검색이 되지 않는군요. 그렇다면 다음과 네이트, 야후는 어떨까요? 파란의 경우 야후 웹문서를 사용하기 때문에 배제하겠습니다.

다음 웹문서 검색결과

네이트 웹문서 검색결과

야후 웹문서 검색결과

다음은 최상단의 첫번째와 세번째에서 정확한 그 결과값을 보여주고 있네요. 하지만 다음의 두번째 결과값 역시 동일한 제목을 사용한 결과값이라 잘못된 검색 결과라고 말하기는 무리가 있어 보입니다. 암튼 다음은 원하는 값을 잘 찾아내는 군요. 네이트는 1개를 찾아내는데 잘못된 검색 결과이구요. 야후는 많이 찾기는 하지만 정확한 값은 못 찾고 스크랩글(펌글) 등의 글이 주를 이룹니다.

이처럼 구글의 검색 기술은 상당히 뛰어납니다. 로봇이 상당히 부지런하죠. 수시로 찾아서 그 값을 저장하고 비교해서 구글의 알고리즘에 따라 각 검색어에 대한 결과값에 대한 순위를 정렬합니다. 반면 네이버의 로봇은 상당히 게으르거나 수집 후 필터링에서 걸러내는 것이겠죠. 검색 기술만으로는 다음이 이미 국내에서 네이버를 뛰어넘었다고 볼 수 있는 것 같습니다. 하지만 네이버가 계속해서 국내 검색 점유율을 유지할 수 있는 것은 사용자에 의한 컨텐츠를 많이 보유하고 있기 때문이죠.  

그렇다면 네이버는 왜 웹문서 검색 기술이 뒤쳐질까요? 이에 대한 해답을 얻기 위해서는 네이버가 어떻게 국내 검색 1위가 될 수 있었는지 그 과정을 살펴볼 필요가 있습니다.

결과적으로 네이버가 다음을 앞설 수 있었던 것은 바로 지식인 서비스 때문입니다. 첨에는 구글과 마찬가지로 네이버와 다음 역시 웹문서 검색이 주를 이루었죠. 거기에 부가서비스였던 카페와 메일에 의해 다음이 국내 검색의 1위 자리를 고수하고 있다가, 네이버의 지식인 서비스에 밀려 정보검색=네이버 공식이 만들어졌습니다. 여기에는 한가인, 전지현을 이용한 뛰어난 마케팅도 한 몫을 했죠.

그렇게 지식인 서비스를 통해서 원하는 정보를 묻기만 하면 이를 찾아 답변해주고, 비슷한 질문들이 검색이 되면서 원하는 정보를 찾는 것이 휠씬 편리해졌습니다. 그런데 문제는 이 지식인 서비스의 경우 네이버 DB에 쌓이는 정보들이라 내부 DB 검색만으로 사용자가 늘어감에 따라 원하는 정보를 잘 찾아줄 수 있더라는 것입니다. 또한 네이버는 그런 자신의 DB에 축적되는 퀼리티 있는 정보들이 웹문서를 통해서 노출이 되지 않도록 방어를 하면서 경쟁우위를 가지려하구요. 이 때부터 네이버의 폐쇄된 정책이 시작된 것이라 볼 수 있겠죠.

게다가 블로그 사용자가 늘어나고 활성화되고 있던 카페들 역시 수많은 정보들이 축적됨에 따라, 블로그 검색, 카페 검색 등으로 검색의 분류를 세분화시켰죠. 이 또한 포털에서 직접 자사의 DB 속에 축적된 정보들이라 내부 DB 검색으로 이루어지게 됩니다. 국내 포털이 블로그 검색을 구글보다 휠씬 빨리 서비스할 수 있었던 것도 이런 내부 DB를 통해 블로그를 통한 결과값을 추려내는 것이 수월했기 때문이죠. 그리고 뉴스, 사전 등 모든 세분화된 검색들 역시 이와 다르지 않습니다.

그러다보니 굳이 자사의 DB를 벗어나는 정보들을 찾아 다니는 검색 알고리즘의 개발에 대한 필요성을 느끼지 못한 것이죠. 그렇게 웹문서는 국내 포털 서비스에서는 도태되고 그저 통합검색의 한자리를 차지하는 생색내기 수준으로 전락하고 맙니다.

네이버가 간과한 점은?

그러다가 엠파스가 열린 검색 서비스를 시작하면서 난리가 나죠. 네이버는 소송까지 불사하며 자사의 DB가 노출되지 않도록 방어를 하게 됩니다. 하지만 이를 막지 못하면서 그것이 국내 인터넷 역사에 인식의 전환점이 되고, 네이버 등의 폐쇄적인 정책을 고수하던 포털 사이트들이 부분적으로 열린 검색 시스템을 도입하게 됩니다. 또한 블로그를 통한 RSS, 웹 2.0의 도입 등 시대적 흐름 또한 무시할 수 없었구요.

그럼 구글은 어떤 과정을 거쳐 1위 자리를 차지할 수 있었을까요? 구글의 초기 목표는 얼마나 빨리 많은 검색 결과를 찾아내느냐에 중점을 두었습니다. 그렇게 순식간에 해당 키워드에 대한 정보들을 뿌리면서 사용자가 그 많은 정보들 중에서 원하는 정보들을 골라낼 수 있게 한 것이지요. 그 다음으로 이어지는 것은 어떻게 그 많은 정보들 중에서 사용자가 원하는 정보들을 최상단으로 정렬할 수 있느냐 이었습니다. 이를 위해서 구글은 각 키워드별로 수많은 검색 결과에 이은 클릭과 각 페이지에 포함되어 있는 링크들을 분석하여 신뢰할 수 있는 검색결과를 도출하게 되지요. 물론 이것뿐만 아니라 구글의 정확도를 위한 수많은 노력들과 기술들이 있었습니다. 네이버가 사용자들이 만들어가는 검색이라면, 구글은 시스템이 필터링하는 검색이라고도 볼 수 있겠죠.

그렇게 출발점과 마인드가 서로 달랐습니다. 구글은 빨리, 그리고 많이에 의미를 두고 새로운 플랫폼의 개발없이 검색만으로 수많은 정보들을 찾아 보여주는데 주력을 하면서 로봇의 기술이 중요할 수 밖에 없었고, 네이버는 원하는 정보를 제공한다는 것에 의미를 두고 새로운 플랫폼을 통해서 사용자들이 정보를 만들도록 한 것이죠. 그러다보니 로봇의 수집기술보다는 자사의 DB에 쌓인 정보 중에서 어떻게 정확한 값을 골라내느냐가 중요하게 됩니다.

네이버 및 국내 포털 사이트들의 이런 방법론이 틀렸다고 말할 수는 없습니다. 하지만 간과한 것은 그렇게 많은 사용자들이 자사의 서비스를 이용하면, 원하는 정보를 찾는 사용자의 니즈가 충족될 것이라고 생각한 것이죠. 사용자들이 정보를 만들어내도록 환경을 조성하고 그 정보들 사이에서만 검색을 함에 따라, 사용자들의 수준에 의해 검색의 질이 결정되어버리게 됩니다. 그래서 전문적인 정보를 찾고자 하는 사람들은 네이버에서 원하는 정보를 찾기가 상당히 힘든 것이죠. 전문적인 정보를 올려주는 사용자들이 없으니깐요.

또한 서비스를 악용하는 사람들에 대한 제재 역시 미흡했습니다. 예를 들어 초기 블로그에서 스크랩 기능에 대해서 스크랩된 게시물을 동등하게 검색 데이터에 반영하면서 스크랩글이 검색에서 노출되어 블로그 방문자를 늘이기 위한 무분별한 스크랩이 이루어지기도 했었죠. 이에 대해서 스크랩에 대해서는 검색 비허용으로 강제되도록 막기는 했지만, 이미 맛을 본 사람들은 이제 내용을 긁어서 새글로 올리며 검색 노출을 노리게 됩니다. 그러다보니 퀼리티 있는 정보를 생산하던 사람들은 억울해하면서 네이버를 떠나 티스토리 등으로 옮기게 되죠.

지식인 역시 홍보로 악용하는 사람들이 생겨나면서 정보에 대한 신뢰도도 떨어지게 되는데요. 이를 막기 위해 수많은 모니터 요원을 배치하고, 각 카테고리별 에디터를 선정하여 네티즌이 자발적으로 걸러낼 수 있도록 유도하지만 하루에도 수없이 올라오는 엄청난 질의응답을 모두 분석하기엔 역부족이죠. 시스템적으로도 아이피, 아이디 등을 통해 막아보려하지만, 이를 악용하는 사람들의 방법 역시 나날히 발전하며 물고 물리는 뫼비우스의 띠처럼 끝없는 전쟁터가 되어버리고 맙니다.

그렇게 서비스를 통해 사용자가 정보를 만들수 있는 여건을 마련하고 그런 내부 DB로 사용자의 니즈를 충당하다가, 간과했던 점들이 드러나면서 한계에 도달하고 사람들은 그런 내부 DB에 좌우되지 않는 구글의 검색을 신뢰하게 됩니다. 구글 역시 '빨리 많이'에서 정확하고 신뢰도 높은 결과를 최상단에 올려주는 기술이 나날이 발전하면서 만족도도 높아졌구요.

중소기업이 성장 가능한 환경을 만들기 위해서는?

논란이 된 블로거는 중소기업이 성장 가능한 환경을 만들기 위해서는 네이버가 블로그, 카페, 지식인 등으로 네이버에서 시작하여 네이버에서 끝나는 폐쇄적인 시스템이 아니라, 다른 사이트들이 비집고 들어갈 틈을 열어주어야 한다고 말하고 있습니다. 네이버에서 모든 것을 제공하다보니 네이버보다 휠씬 뛰어난 정보를 제공하는 사이트가 생겨나더라도 사람들의 주목을 받기가 매우 힘들다는 것이죠. 결국 웹문서의 활용성을 강조하고 네이버에서 검색결과에 이런 웹문서의 비중을 높여주어야 한다고 결론을 내고 있습니다.

이 부분은 저도 상당히 동의하는 부분이고 네이버에서 정보가 한정되는 것이 아니라 검색엔진 본연의 의무에 충실하면서 외부 정보들도 잘 검색이 되도록 해야 한다고 생각을 합니다. 하지만 간과하는 부분이 있더군요. 네이버가 모든 서비스들을 제공하고 있는 것은 아닙니다. 네이버 사전은 두산백과사전의 데이터를 끌어쓰고 있고, 네이버 여행이나 부동산 역시 중소 유명 사이트를 네이버의 옷을 입혀 그대로 제공하고 있습니다. 혹은 여러 유명 사이트를 모아 결과값을 보여주기도 하구요. 블로그, 카페, 지식인을 제외하고는 제휴를 통해 네이버에서 제공하는 것처럼 보여주고 있는 것이죠.

물론 그런 네이버에서 카테고리로 제공하지 않거나, 후발 업체의 경우 소외될 여지가 있기 때문에 보다 개방적으로 검색을 통해서라도 정보가 노출될 수 있도록 웹문서의 활용성이 강조되어야 하겠지요. 하지만 현실적으로 이것은 네이버에서 해결책을 제시할 수는 없습니다. 검색엔진의 기술력을 높혀 웹문서를 통해 퀼리티 있는 정보들을 많이 찾아온다고 해도, 매번 통합검색에서 웹문서를 상단에 고정시키지 않는 이상 웬만한 수준의 정보는 블로그, 카페, 지식인 등으로 취득이 가능하거든요. 네이버 역시 무조건 자사 서비스만을 검색 상단에 올리는 것이 아니라 검색어에 따라 후클릭 등을 반영하여 선호도에 따라 재배열하니깐요.

제 생각에는 네이버와 동일한 방법으로 서비스의 질을 높이거나 혹은 구글과 같이 웹문서에 특화된 검색만을 제공하는 방법이 해결할 문제는 아니라고 봅니다. 검색에 대한 새로운 패러다임이 제시되어야 하지 않을까 하는 생각이 드네요.

앞으로 검색엔진이 추구해야할 방향은?

저도 예전에 검색에 대하여 많은 관심을 가지고 이런저런 방법들을 생각해보았는데요. 물론 기술적인 방법이 아니라 시스템적인 구상에 지나지 않습니다. 검색엔진을 만들 수 있는 프로그래머와 DB 전문가를 만나지 못해 사업화시키지는 못했지만, 이런저런 대회에서 상을 타기도 했었죠. 2000년에 생각하고 2005년 이후로 포기하고 지금은 다른 것을 시도하는 터라, 이미 다른 뛰어난 분들이 제가 생각했던 것 이상으로 멋진 것을 만들고 계실지 모르지만, 제가 구상했던 서비스를 간단하게 얘기해볼까요?

위에 예로 들었던 각 포털사이트별 검색 결과수를 한번 비교해보겠습니다. 구글은 1,710개, 네이버는 10개, 다음은 93개를 찾아내고 있습니다. 저는 그 제목의 글을 찾고 싶어서 제목을 검색창에 입력했는데 네이버를 제외하고 최상단에서 그것을 찾아주기는 하지만, 나머지 결과들이 과연 필요한 것일까요? 제가 원하는 한개를 제외하고 나머지 결과값들은 제가 입력한 문장의 단어들을 쪼개어 추가 검색이 이루어진 것에 지나지 않습니다. 구글에서 1,710개, 다음에서 93개를 찾아봐야 제가 원하는 것은 1개이더라는 것이죠. 물론 제가 원하는 것이 명확하지 않을 때는 다수의 결과값이 도움이 되기는 합니다. 하지만 쓸데없는 정보들이 너무 많이 검색이 되고 있는 것 또한 사실이죠.

그 점에서 착안하여 저는 내가 원하는 정보를 딱 하나로 찾아줄 수 있는 방법을 생각했습니다. 하지만 그것은 검색엔진이 제 생각을 읽지 않는 이상, 단순 검색어만으로 내가 원하는 정보를 딱 맞추어 찾아준다는 것은 불가능하죠. 그것이 가능한 방법은 역시 사람일 수 밖에 없다는 결론에 다다랐습니다. 내가 원하는 정보를 알고 있는 사람에게 물어보거나, 내가 원하는 정보를 만들어 줄 수 있는 사람이 그 정보를 제공해주는 것이죠. 지식인이 그런 점에 착안하여 서비스가 제공된 것이고, 그것이 네이버=정보라는 공식을 만들어 내기도 했죠.

저는 거기서 좀 더 발전하여 실시간의 개념을 추가하였습니다. 그래서 그 방법으로 개방형 메신저를 생각했습니다. 현재의 메신저는 친구를 맺지 않는 이상 소통이 되지 않는 반면, 제가 생각한 개방형 메신저는 친구가 아니라도 질문과 요청에 따라 얼마든지 소통이 가능할 수 있게 한 것이죠. 지식인의 경우 검색으로 원하는 정보를 취득할 수 없을 경우, 질문을 등록하고 답변이 달릴 때까지 무작정 기다려야 합니다. 그것이 몇 분, 몇 시간, 몇 일이 될지 아니면 아예 답변이 달리지도 않을지 알 수가 없습니다. 하지만 실시간으로 바로 물어보고 답을 얻는다면, 그것만큼 속시원하게 원하는 정보를 얻는 방법이 또 있을까요?

거기서 제가 또 추가한 개념이 '전국민의 프리랜서화' 였습니다. 그런 정보를 제공하고, 재가공하여 원하는 정보를 만들어 주는 것에 수익의 개념을 집어넣은 것이죠. 논란이 된 블로거가 설명했던 현재 구글에서 퀼리티 있는 정보를 제공하는 동기로 Google AdWords가 활용되는 것과 동일하다고 볼 수 있습니다. 사람들이 많이 방문하도록 정보를 잘 가공해서 올려놓으면 자연스럽게 구글에서 검색 결과 랭킹이 올라가고, 더 많은 사람이 방문하게 됨에 따라 광고의 노출로 광고 수입이 증가하는 선순환 고리가 그대로 적용 가능하죠. 구글이 검색 결과 랭킹이었다면 저는 그것을 각 개인별로 레벨화를 시켜 전문성을 띌 수 있게 유도하였습니다.

그 외에도 이런저런 잡다한 구상들을 많이 했었지만 아이템 설명을 하기 위한 포스팅이 아니기 때문에 여기까지만 설명해도 제가 얘기하고 싶은 부분이 충분히 설명이 되었으리라 봅니다. 그렇게 제가 하나의 예로 든 것처럼 이런 검색엔진을 대체할 패러다임이 제시되지 않는 이상 현재의 문제점들이 해결되기는 힘들 것 같습니다. 네이버 뿐만이 아니라 현재 국내 포털 사이트 모두가 가지고 있는 문제점이기도 하니깐요. 그것이 트위터 등을 통한 실시간 검색이 될지, 모바일 전환의 시기에 절묘하게 맞물려 새로운 서비스의 제공으로 가능하게 될지는 아직 알 수 없겠지만요.

블로거에게 추천과 댓글이 그 어떤 것보다도 값지고, 포스팅을 작성하는데 있어 보람을 느끼게 됩니다. 구독도 한번 해보세요. 지금 이 글이 맘에 들지 않아도 언젠가 한번 맘에 드는 글이 있지 않겠습니까? ㅎㅎ

공감하시면 아래 손가락을 눌러주세요. 구독+하는 센스도 잊지마시구요!