第一，網頁過濾：自動抓取網頁，提取網頁中含有標籤的url，這些html標籤包含url資訊，方便惡意使用者進行更深入的網頁訪問或提交操作。
其次，漏洞試探：根據動態查詢url或提交url，在引數部分自動進行引數轉換，插入引號、分號(sql注入對它敏感)和script標籤(xss對它敏感)等操作，根據web伺服器返回的結果自動判斷是否有漏洞。
第三，url匹配：自動匹配web頁面中的url，提取動態查詢url或提交url，這些url是由引數組合而成，以便進行下一步的漏洞檢測。url用於將web使用者的輸入提交到伺服器進行處理，它的引數多為使用者輸入，同樣可以進行引數轉換。
總而言之，想要做好網路爬蟲，有很多地方需要注意，尤其是網路ip這一塊。
文章部分內容源於網路，聯絡侵刪*
MySQL 資料庫中資料型別的合理運用
基本語法 bit m 位欄位型別。m表示每個值的位數，範圍從1到64。如果m被忽略，預設為1。插入乙個數字試一試 插入 10，10 我們發現，插入的bit型別的10變成了空的。例 float float m,d unsigned m指定顯示長度，d指定小數字數，占用空間4個位元組。首先插入資料 3，...
Linux中IP 網路的基礎
ip配置 1.網路 用來做裝置和裝置之間的鏈結工具 目的就是為了資料共享 在網路傳輸資料據時 需要使用一些介質 和一些協議 介質 光纖 網線 2.協議 約定俗成的 tcp ip協議簇 是網際網路協議總稱 3.iso七層模型 物理層 物理層 硬體 資料鏈路層 網路層 網路層 ip 定址 傳輸層 傳輸層...
IP網路中的socks技術
如果想要試用一下socks 是如何工作的。需要有乙個公網ip的伺服器作為proxy。目前嘗試成功的是在centos7上安裝ss5。ss5的config裡面的選項是比較專業的，可以參照別人的建議配法。注意，雲主機上的防火牆的配置也需要配合起來。搭建完之後，如果是windows客戶端，可以使用 prox...