顧明思議，歷史參考策略是指根據頁面以往的歷史更新資料，**該頁面未來何時會發生變化。。一般來說，是通過泊松過程進行建模來**的。
儘管搜尋引擎針對某個查詢條件能夠返回數量巨大的結果，但是使用者往往只關注前幾頁結果。因此，抓取系統可以優先更新那些在查詢結果中排名靠前的網頁，然後再更新排名靠後的網頁。這種更新策略也需要用到歷史資訊。使用者體驗策略保留網頁的多個歷史版本，並且根據過去每次的內容變化對搜尋質量的影響得出乙個平均值，將該值作為決定何時重新抓取的依據。
前面提到的兩種更新策略都有乙個前提：需要網頁的歷史資訊。這樣就會存在兩個問題：第一，系統如果為每個網頁儲存多個歷史版本資訊，則無疑增加了系統負擔；第二，如果新的網頁完全沒有歷史資訊，則無法確定更新策略。
聚類抽樣策略認為，網頁具有很多屬性，類似屬性的網頁可以認為其更新頻率也是類似的。要計算某個類別網頁的更新策略，只需對這類網頁抽樣，以他們的更新週期作為整個類別的更新週期。
網頁爬蟲php,php網頁爬蟲
網頁爬蟲 最簡單的使用,屬性都採用預設值 curl curl init output curl exec curl curl close curl echo output 稍微複雜一點的，對頁面進行操作 curl curl init curl setopt curl,curlopt url,可以動態...
網頁爬蟲 靜態網頁《一》
一 通過jsoup請求獲取 網頁審查元素。eg request path document doc jsoup.connect request path get 二 檢視需要扣取資料的標籤，通過日誌輸出 doc的body。eg log.v tag,body doc.body 三 檢視列印的日誌，找到...
android ios 網頁爬蟲
最近專案中需要用到公積金相關的資料，但是公積金那邊又沒有提供相關的開放介面供呼叫，因此動手把公積金的網頁抓下來對資料進行解析，拿到資料。廢話不多說，以昆明公積金為例進行分析下。準備 1.昆明公積金官網 2.抓包工具 httpwatch fiddler 4.html解析jar包 一般 抓資料流程分析 ...