在做seo的過程中，你是否遇到這樣一種問題：伺服器訪問cpu使用率幾乎100%，而且頁面載入速度特別慢，貌似被ddos攻擊一樣。
因此，我們在做**優化的時候，就需要針對特定蜘蛛有選擇的引導。
那麼，如何與惡意「蜘蛛」暗度陳倉？
根據以往seo經驗分享，蝙蝠俠it，將通過如下內容闡述：
1、搜尋引擎爬蟲
①360spider、sogouspider、bytespider
②googlebot、bingbot、slurp、teoma、ia_archiver、twiceler、msnbot
③其他爬蟲
如何你沒有刻意的配置你的robots.txt檔案的話，理論上，你的目標頁面是都可以抓取與爬行的，但對於一些中小**，它偶爾會嚴重浪費自己的伺服器資源。
①控制更新頻率的列表
②反饋大量重複性，內容農場的頁面
③善意的「蜘蛛陷阱」比如：flash
雖然，這樣的策略，很可能造成頁面信譽度受損，但這是我能想到，針對這些不希望經常爬行，而又需要保持爬行的蜘蛛，合理控制抓取的乙個相對「有效」的方法。
2、鏈結分析爬蟲
針對一些資源密集型的站點，每天可能爬行成千上萬次，這樣的爬蟲屢見不鮮。
如果你不想自身的**參與其中，最簡單的策略就是在robots協議中，全封閉這樣的爬蟲。
3、內容採集爬蟲
但當我們面對一些惡意的內容採集爬蟲而言，就相對的尷尬，對方往往是採用「隱身」的狀態，比如：模擬知名搜尋引擎蜘蛛的名稱。
針對這樣的問題，我們只能手動的判斷去審查一下對方的廬山真面，比如：利用ip泛解析命令，去判斷一下，它到底是不是真的。
①linux平台：hostip
②widows平台：nslookupip
從而去判斷對方的解析位址，是否為對應的搜尋引擎網域名稱。
4、蜘蛛池爬蟲
沒有做到合理的針對不同蜘蛛的爬行與限定，往往導致伺服器資源被大量占用，很容易被服務商關停伺服器。
如果你試圖利用這個策略，提公升自己頁面收錄，那麼，你可能需要多加注意。(但我們並不推薦)
站長們如何逃脫非惡意的「蜘蛛陷阱」
非惡意蜘蛛陷阱是 的一種隱患，屬於慢熱型的病狀，也許起初搜尋引擎不會對其懲罰，但是長時間陷進蜘蛛陷阱對 來說非常的不利。我們都知道得病了要進醫院，但是往往好多病程式設計客棧狀起初不注意最後才發現已經是絕症晚期，那個時候身心疲憊疼痛難忍，同樣 處於蜘蛛陷阱就像得病www.cppcns.com不及時醫治...
蜘蛛日誌分析工具 如何分析蜘蛛日誌？
什麼是蜘蛛日誌？所謂的蜘蛛日誌就是當搜尋引擎向伺服器傳送請求時產生的訪問記錄檔案。每個 都會有日誌檔案，但是很多時候，日誌檔案只有在 出現問題的時候才會被查閱。在seo方面，日誌檔案是更容易被忽略的一塊，但是日誌檔案對於seo來說事非常重要的，我們可以在日誌檔案中獲取各種資訊並發現 存在的一些問題。...
如何有效遮蔽「惡意點選」
對於semer來說，不管你是新手還是老手，你的賬戶結構有多完美，關鍵詞和創意的質量度有多高，只要有同行的惡意點選，原本千辛萬苦省下來的推廣成本一下被拉高，儘管有過濾無效點選功能，但 狡猾 的同行總能想出辦法www.cppcns.com來。嚴重者到中午預算就用完，本人就親身經歷過，當時非常的無語和憤程...