google蜘蛛的等級分類

2021-04-26 17:34:48 字數 1721 閱讀 3265

一、google

搜尋引擎蜘蛛的等級

首先先談下google

蜘蛛起源。

的運算速率是超前的快。

其內部分為10個pr各等級的小資料庫,雖說小資料庫,但也是大的可怕。10個等級的資料庫 其週期也不同,基本上以乙個pr=4的**來講 1號蜘蛛爬行的概率也在7天一次。所以基本你也會發現收錄有大的幅度也是在7天內的某一天 。

細心的站長會發現其實有時候7天還是蠻準的,但只針對pr=4。越是pr高其週期越是短,越是pr低週期越長,當然說到這很多站長有這樣的疑惑。會 覺得蜘蛛有時天天收錄他的站這裡對其收錄的也就是接下來要說的2號蜘蛛,2號蜘蛛往往是在1號蜘蛛爬行過程中放出去的,主要針對於被1號蜘蛛爬過的**的 外部鏈結。ps既然都說是2號蜘蛛 肯定其抓取力度要比1號小很多。

二、當然不只是有2號,還有3號蜘蛛

所謂3號也就 a站1號蜘蛛爬行到b站,b站的2號蜘蛛爬行到c站。

目前google

為了限制其無限的迴圈對於蜘蛛只分為這三個等級。並對其等級的抓取率有個很明確的標準,而且2號與3號蜘蛛有個抓取特點 基本以時間的先後順序進行抓取。

三、 比方講

a**被1號蜘蛛爬行後的一篇文章最後時間為 2008-12-12,那當a**被從別的**過來的2號蜘蛛給爬行,首先有可能會對其收錄的是,最近發表的幾篇文章如: 2008-5-31等 2008-5-30等文章將會進行第2次,第3次的訪問,之後再爬行2008-12-12以後的資訊。如果你**沒有任何更新,它將對其近乙個月內的更改 內容進行2次爬行。

如果外部來的2號與3號蜘蛛越多,同一篇文章有可能會被爬上好幾次。

以下為google

提供的官方資料。

四、1號蜘蛛

基本抓取率在5%~10%

基於pr=0 沒有任何匯入鏈結與提交時 有可能被抓取的週期在6個月~12個月不等

基於pr=1 沒有任何匯入鏈結與提交時 有可能每次被抓取的週期在4個月~8個月不等

基於pr=2 沒有任何匯入鏈結與提交時 有可能被抓取的週期在2個月~4個月不等

基於pr=3 沒有任何匯入鏈結與提交時 有可能被抓取的週期在1個月~2個月不等

基於pr=4 沒有任何匯入鏈結與提交時 有可能被抓區的週期在1周~1個月不等

最高也只有pr=3

上述此資料只是google

五、2號蜘蛛

基本抓取率是2。5%~5%《基於1號蜘蛛爬行後的資料記錄進行再次採集,對於最後次被採集日期的前後進行再次訪問。

六、3號蜘蛛

基本抓取率為1。25%~2。5%《基於1號蜘蛛與2號蜘蛛爬行後的資料記錄進行再次採集,對於最後次被採集日期的前後進行再次訪問。

google

目前蜘蛛的等級分為三種,當然蜘蛛有不同的蜘蛛,這裡單單只的是網頁蜘蛛,因為我只對這個感興趣。

intel AMD平台主機板等級分類

intel平台的主板晶元組 市面上常見的有x z b h 4個等級 不同等級搭配的cpu也有所不同 x 級定位發燒級 一般搭配的cpu效能十分強悍,例如目前在售的x299主機板有2066個針腳,可搭配i9 7920x i9 7980xe等處理器使用,昂貴。z 級定位高階級別 是民用級別裡面最高的,支...

api質量等級 潤滑油的API等級分類

柴油機油質量等級分類 一 柴油機油的分類 api 美國石油學會 將汽車發動機油分為 s汽油機油,c柴油機油。c的 含義是commercial 服務 compression 壓燃。柴油機油規格從最初的ca發 展到現在最高檔的 ci 4 分別是 cacb cccd cd ce cfcf cf 4 cg ...

SSL證書等級分類 朱貝貝啊的部落格

ssl證書有保護 的資料傳輸安全和實現伺服器身份驗證的作用,一些企業組織希望使用ssl證書來保護機密性,比如 加密傳輸。還有一些企業組織希望使用ssl 證書來增強其安全認證的可信性,那麼ssl證書等級分類有哪些?1 dv網域名稱驗證型ssl證書 該證書僅審核證書申請人對網域名稱的所有權,電子證書認證...