教你正確識別百度蜘蛛中的偽蜘蛛

2022-09-25 20:06:14 字數 825 閱讀 5625

檢視**log日誌來分程式設計客棧析蜘蛛的抓取情況是我程式設計客棧們seo工作者必須要掌握的,但是特別要注意一些百度蜘蛛,這些蜘蛛在我們看來是沒有哪些不尋常的,但是它們的有些卻是一些偽蜘蛛,那麼該要如何去識別這些偽蜘蛛呢?

何為「偽蜘蛛」,顧名思義就是假蜘蛛,所以我們稱非正常抓取網頁的百度蜘蛛都是一些偽蜘蛛。

大家都知道的是站長工具在檢視**資訊後,就會出現「偽蜘蛛」的ip。現在的站長工具ip位址為「117.28.255.42」,通常我們看到以"117"開頭的ip位址的百度蜘蛛都是偽蜘蛛,所以大家可以直接忽視了。想要識別時,直接使用命令列工具輸入指令「tracert ip位址」,出現的結果如下圖示:程式設計客棧

而程式設計客棧今天還要介紹一種「偽蜘蛛」,這種蜘蛛同樣也是百度官方的,但是卻是以不建立網頁索引為目的的蜘蛛。這類蜘蛛只是為了匹配網頁內容才來抓取我們的網頁的,是不建立任何的索引的。所以這些百度蜘蛛我們也說它們是偽蜘蛛。

這些蜘蛛在cmd命令列工具tracert ip位址時,是看不出任何奇怪的現象的,和普通的百度蜘蛛沒有什麼兩樣。如下圖:

其實我們再回頭看一下這個百度蜘蛛的ip位址,會發現這些ip和正常的ip是一樣www.cppcns.com的,同樣都是以「123」開頭的,筆者的**就曾出現過很多類似蜘蛛,所以就是說通過tracert命令也是不能完全的說明這個ip就是真的百度蜘蛛的。

這樣一來,除了聯盟蜘蛛大家要注意以外,也要注意百度廣告蜘蛛等偽蜘蛛的ip。

綜上所述,通過tracert命令查詢出來的蜘蛛只能檢視非百度官方的蜘蛛,而對於百度內部的一些蜘蛛(譬如百度聯盟)還得我們手工去認識它並識別它到底是不是真正的能夠建立索引的百度蜘蛛。 

本文標題: 教你正確識別百度蜘蛛中的偽蜘蛛

本文位址:

教你正確識別百度蜘蛛的IP段

新增渲染ua 2 反查ip 1 在linux平台下,您可以使用hostip命令反解ip來判斷是否來自baiduspider的抓取。baiduspider的hostname以 baidu.com或 baidu.jp的格式命名,非 baidu.com或 baidu.jp即為冒充。2 在windows平台...

百度蜘蛛工作表

大家都知道整潔簡單明瞭的 有利於蜘蛛來抓取,但是大家知道蜘蛛的工資表嗎 星期一 8 10 星期二 加油吧 星期三 1 00 4 00 這天也是整個星期最動盪的一天,是讓人又喜又惱的日子,可能你的 快照回退得很遠,可能你的排名公升的很高,不過這天不能決定整個星期,主要在星期四。週三會有一次小更新,無論...

常見的百度蜘蛛IP

123.125.68.這個蜘蛛經常來,別的來的少,表示 可能要進入沙盒了,或被者降權。220.181.68.每天這個ip 段只增不減很有可能進沙盒或k站。121.14.89.這個ip段作為度過新站考察期。203.208.60.這個ip段出現在新站及站點有不正常現象後。210.72.225.這個ip段...