웹 크롤링(Web Crawling)이란 컴퓨터 프로그램을 통해 웹페이지로부터 자동으로 데이터를 수집하는 과정을 의미한다. 특정 웹페이지에 접근해 웹페이지의 내용물을 수집,분류,저장 후, 하이퍼링크 등을 분류 및 저장한다. 이후 같은 과정을 수없이 반복하는데, 모든 과정이 10초에서 30분 등의 일정 간격을 두고 자동으로 진행된다. 크롤링의 결과물은 엑셀 프로그램으로 읽을 수 있는 형태의 방대한 양을 자랑한다. 스파이더(spider) 등으로 불리기도 한다.

최근 여가 플랫폼 기업 '여기어때'가 경쟁업체 '야놀자'의 숙박업소 정보를 무단으로 빼돌렸다며 부정경쟁행위로 인한 10억원의 손해배상 책임이 있다는 법원의 1심 판단이 나왔다. '여기어때'는 2016년부터 크롤링 프로그램을 개발해 '야놀자' 전산 서버에 1,500만 여회 이상 접속해 대량의 정보를 무단 복제했고, 이를 영업전략 수립 등에 사용했다.