聚焦網(wǎng)絡爬蟲:  又稱為主題網(wǎng)絡爬蟲：是指選擇性地爬行那些與預先定義好的主題相關的頁面，和通用爬蟲相比，聚焦爬蟲只需要爬行與主題相關的頁面，極大地節(jié)省了硬件和網(wǎng)絡資源，保存的頁面也由于數(shù)量少而更新快，可以很好地滿足一些特定人群對特定領域信息的需求。

 

　　增量網(wǎng)絡爬蟲：對已下載網(wǎng)頁采取增量式更新和只爬行新產(chǎn)生的或者已經(jīng)發(fā)生變化網(wǎng)頁的爬蟲，它能夠在一定程度上保證所爬行的頁面是盡可能新的頁面，歷史已經(jīng)采集過的頁面不重復采集。增量網(wǎng)絡爬蟲避免了重復采集數(shù)據(jù)，可以減小時間和空間上的耗費。通常在設計網(wǎng)絡爬蟲時，需要在數(shù)據(jù)庫中，加入時間戳，基于時間戳上的先后，判斷程序是否繼續(xù)執(zhí)行。 常見的案例有：論壇帖子評論數(shù)據(jù)的采集（如論壇的帖子，它包含400多頁，每次啟動爬蟲時，只需爬取最近幾天用戶所發(fā)的帖子)；天氣數(shù)據(jù)的采集；新聞數(shù)據(jù)的采集；股票數(shù)據(jù)的采集等。

 

　　Deep Web 爬蟲：指大部分內(nèi)容不能通過靜態(tài)鏈接獲取，只有用戶提交一些表單信息才能獲取的 Web 頁面。例如，需要模擬登陸的網(wǎng)絡爬蟲便屬于這類網(wǎng)絡爬蟲。另外，還有一些需要用戶提交關鍵詞才能獲取的內(nèi)容，如京東淘寶提交關鍵字、價格區(qū)間獲取產(chǎn)品的相關信息。