的抓取頻度非常高，導致伺服器的速度有些慢，如何才能讓slurp降低抓取頻度呢？
我首先想到的建議是在**的robots.txt中增加crawl-delay: 設定
，這個設定是目前slurp獨有的，用來告訴slurp蜘蛛2次訪問之間的間隔，單位是秒。
user-agent: *
crawl-delay: 10
我推薦使用 user-agent: * 萬一有其他引擎逐步也支援這個配置呢，而不支援這個配置的引擎也會跳過這句。
1.1.1.1 30/jun/2006:00:00:03 yahoo! slurp china
2.2.2.2 30/jun/2006:00:00:04 yahoo! slurp
1.1.1.1 30/jun/2006:00:00:13 yahoo! slurp china
每個蜘蛛都是遵循crawl-delay間隔的，因此為了進一步降低slurp壓力，希望達到10秒一次請求的頻道 實際的crawl-delay配置就要*2。
1.1.1.1 30/jun/2006:00:00:03 yahoo! slurp china
2.2.2.2 30/jun/2006:00:00:04 yahoo! slurp
1.1.1.1 30/jun/2006:00:00:13 yahoo! slurp china
1.1.1.2 30/jun/2006:00:00:13 yahoo! slurp china
1.1.1.1 30/jun/2006:00:00:23 yahoo! slurp china
1.1.1.2 30/jun/2006:00:00:27 yahoo! slurp china
給豆瓣推薦的crawl-delay: 100 平均2.5秒訪問一次，應該沒有問題了。
另外，雅虎搜尋的幫助中心
剛剛改版，專門增加了站長專區
，可以去看看。
注：我查了一下slurp的意思，就是咂吧嘴的聲音，發音聽著很像在吃麵條吧？
如何控制手動inline
purpose 通過巨集 inline on來控制函式是否inline,非inline函式有利於在vtune等profiling工具中分析。1.macros.h ifdef win32 define inline on endif ifdef inline on define inline inli...
如何控制自己
當人的生活有了目標，有了希望後，人們就會自覺或不自覺的訂乙個計畫去實現這個目標。然而，在實行計畫中經常會被情緒所阻礙，比如，想要控制飲食，結果到了第三天就忍不住想去吃炸雞啦，冰淇淋啦，等回過神的時候發現自己已經在吃雞腿了，然後開始內疚自責，結果搞的自己十分不愉快。於是再也不想控制飲食了，最後又過上了...
php如何控制使用者數,PHP 如何控制併發使用者數
1.在 設定？伺服器的為freebsd 6.2 apache 2.24，使用預設配置 freebsd 預設不載入自定義mpm配置 預設最大連線數是250 在 usr local etc apache22 httpd.conf中載入mpm配置 去掉前面的注釋 可見的mpm配置在 usr local e...