구글, 검색결과 크롤링 업체 상대 소송…AI 경쟁사 견제 의도

세계 최대 검색업체 구글이 자사 검색 결과를 긁어가는 크롤링 업체를 상대로 소송을 제기했습니다.

구글은 텍사스주 오스틴 소재 크롤링 스타트업 '서프Api'ㅇ(SerpApi)가 저작권을 침해하고 있다며 캘리포니아 북부 연방지법에 소송을 제기해 이를 중단시켜 달라고 요구했다고 밝혔습니다.

크롤링(Crawling)이란 수많은 인터넷 페이지의 내용을 대량 복제해 저장하는 것을 뜻하는데, 이렇게 저장된 페이지는 검색 결과 생성, AI 모델 훈련을 비롯한 여러 분석 작업에 사용됩니다.

구글은 서프Api가 개별 웹사이트가 지정한 크롤링 지침을 무시한 채 콘텐츠를 허락 없이 가져가고 있으며 이를 막는 보안 조치까지 무단 우회하고 있다고 지적했습니다.

이어 "이들은 자신을 숨기고 대규모 봇 네트워크를 통한 웹사이트 폭격을 벌이는가 하면 크롤러에 가짜 이름을 돌려 쓰는 등 뒷문(백도어)을 이용하고 있다"며 "이러한 불법 활동은 지난 1년간 급격히 증가했다"고 비판했습니다.

특히 자신들이 외부에서 라이선스를 취득해 표시하고 있는 콘텐츠를 이들이 가져가 유료로 재판매하고 있다면서 "서프Api의 사업모델은 기생충 같다(parasitic)"고 언급하기도 했습니다.

구글은 소장에서 서프Api의 개별 위반사항 각각에 대한 손해배상액을 200에서 2천5백 달러로 산정하면서 "이들이 배상금을 지급할 능력이 없으므로 구글에 회복 불가능한 피해를 초래하고 있다"고 주장했습니다.

이에 대해 서프Api의 채드 앤슨 법률 고문은 "구글의 소장을 아직 접수하지 않았으며 구글은 소송 제기 전에 우리에게 연락하지 않았다"면서 자신들의 사업은 표현 자유를 규정한 수정헌법 1조로 보호된다고 주장했습니다.

2017년 창업한 서프Api는 원래 고객들이 구글 검색에서 상위에 노출되도록 돕기 위해 정보를 수집하는 회사로 시작했습니다.

그러나 오픈AI를 필두로 생성 AI 개발사들이 등장하면서 서프Api는 그간 긁어모았던 웹페이지 데이터를 이들에게 판매하는 새로운 시장에 뛰어들게 됐습니다.

서프Api는 비슷한 사업을 하는 리투아니아 스타트업 옥시랩스, 러시아 기업 AQM프록시 등과 함께 웹페이지 데이터를 오픈AI와 메타 등에 판매한 것으로 알려졌습니다.

이에 따라 구글이 서프Api에 법적 조치를 취한 것은 이들 AI 분야 경쟁사들을 견제하려는 의도가 깔린 것으로 풀이됩니다.

미국 법원은 구글이 검색 데이터를 주요 경쟁사와 공유하라고 명령했으나 구글이 제공해야 하는 데이터는 이용자가 입력한 검색어와 원시 데이터 등으로 한정하고 검색 결과를 구성하는 알고리즘은 공유 대상에서 제외했습니다.

앞서 온라인 커뮤니티 레딧도 지난 10월 서프Api를 비롯한 크롤링 업체들을 상대로 소송을 제기했었습니다.