編者按：站長朋友們，今後定期都將在這裡跟大家分享一些有關搜尋引擎工作原理及**運營相關的內容，今天先簡單介紹一下關於搜尋引擎抓取系統中有關抓取系統基本框架、抓取中涉及的網路協議、抓取的基本過程三部分。
網際網路資訊爆發式增長，如何有效的獲取並利用這些資訊是搜尋引擎工作中的首要環節。資料抓取系統作為整個搜尋系統中的上游，主要負責網際網路資訊的蒐集、儲存、更新環節，它像蜘蛛一樣在網路間爬來爬去，因此通常會被叫做「spider」。例如我們常用的幾家通用搜尋引擎蜘蛛被叫做：baiduspdier、googlebot、sogou web spider等。
spider抓取系統是搜尋引擎資料**的重要保證，如果把web理解為乙個有向圖，那麼spider的工作過程可以認為是對這個有向圖的遍歷。從一些重要的種子 url開始，通過頁面上的超連結關係，不斷的發現程式設計客棧新url並抓取，盡最大可能抓取到更多的有價值網頁。對於類似百度這樣的大型spider系統，因為每時 每刻都存在網頁被修改、刪除或出現新的超連結的可能，因此，還要對spider過去抓取過的頁面保持更新，維護乙個url庫和頁面庫。
1、spider抓取系統的基本框架
如下為spider抓取系統的基本框架圖，其中包括鏈結儲存系統、鏈結選取系統、dns解析服務系統、抓取排程系統、網頁分析系統、鏈結提取系統、鏈結分析系統、網頁儲存系統。
2、spider抓取過程中涉及的網路協議
搜尋引擎與資源提供者之間存在相互依賴的關係，其中搜尋引擎需要站長為其提供資源，否則搜尋引擎就無法滿足使用者檢索需求;而站長需要通過搜尋引擎將自己的 內容推廣出去獲取更多的受眾。spider抓取系統直接涉及網際網路資源提供者的利益，為了使搜素引擎與站長能夠達到雙贏，在抓取過程中雙方必須遵守一定的 規範，以便於雙方的資料處理及對接。這種過程中遵守的規範也就是日常中我們所說的一些網路協議。以下簡單列舉：
http協議：超文字傳輸協議，是網際網路上應用最為廣泛的一種網路協議，客戶端和伺服器端請求和應答的標準。客戶端一般情況是指終端使用者，伺服器端即指網 站。終端使用者通過瀏覽器、蜘蛛等向伺服器指定埠傳送http請求。傳送http請求會返回對應的httpheader資訊，可以看到包括是否成功、服務 器型別、網頁最近更新時間等內容。
https協議：實際是加密版http，一種更加安全的資料傳輸www.cppcns.com協議。
ua屬性：ua即user-agent，是http協議中的乙個屬性，代表了終端的身份，向伺服器端表明我是誰來幹嘛，進而伺服器端可以根據不同的身份來做出不同的反饋結果。
robots協議：robots.txt是搜尋引擎訪問乙個**時要訪問的第乙個檔案，用以來確定哪些是被允許抓取的哪些是被禁止抓取的。 robots.txt必須放在**根目錄下，且檔名要小寫。詳細的robots.txt寫法可參考 程式設計客棧xt.org 。百度嚴格按照robots協議執行，另外，同樣支程式設計客棧持網頁內容中新增的名為robots的meta標 籤，index、follow、nofollow等指令。
3、spider抓取的基本過程
spider的基本抓取過程可以理解為如下的流程圖：
本文位址: /news/seo/75434.html
百度搜尋引擎工作原理
根據上 釋的搜尋引擎工作原理，筆者要一步一步為大家解釋，講解。進行完整的seo培訓服務。1 www 我們的網際網路，乙個巨大的 複雜的體系 5 網頁分析模板 這一塊非常重要，seo優化的垃圾網頁 映象網頁的過濾，網頁的權重計算全部都集中在這一塊。稱之為網頁權重演算法，幾百個都不止 8 檢索器 將使用...
解讀百度《搜尋引擎優化指南》
一 的前期準備 二 良好的面向搜尋引擎的 建設 如果必須使用flash製作網頁，建議同時製作乙個供搜尋引擎收錄的文本版，並在首頁使用文字鏈結指向文本版 ajax等搜尋引擎不能識別的技術，只用在需要使用者互動的地方，不把希望搜尋引擎 看 到的導航及正文內容放到ajax中 4 頻道應該使用子網域名稱還是...
百度搜尋引擎蜘蛛ip分析
123.125.68.這個蜘蛛經常來,別的來的少,表示 可能要進入沙盒了，或被者降權。220.181.68.每天這個ip 段只增不減很有可能進沙盒或k站。121.14.89.這個ip段作為度過新站考察期。203.208.60.這個ip段出現在新站及站點有不正常現象後。210.72.225.這個ip段...