方法一
使用多ip**：
1.ip必須需要。
2.在有外網ip的機器上，部署**伺服器。
3.你的程式，使用輪訓替換**伺服器來訪問想要採集的**。
好處：1.程式邏輯變化小，只需要**功能。
2.根據對方**遮蔽規則不同，你只需要新增更多的**就行了。
3.就算具體ip被遮蔽了，你可以直接把**伺服器下線就ok，程式邏輯不需要變化。
方法二
1 user agent 偽裝和輪換
2 使用** ip 和輪換
3 cookies 的處理，有的**對登陸使用者政策寬鬆些
方法三
盡可能的模擬使用者行為：
1、useragent經常換一換；
2、訪問時間間隔設長一點，訪問時間設定為隨機數；
3、訪問頁面的順序也可以隨機著來 。
方法四
有小部分**的防範措施比較弱，可以偽裝下ip，修改x-forwarded-for，即可繞過。
大部分**麼，如果要頻繁抓取，一般還是要多ip。
方法五
對爬蟲抓取進行壓力控制；可以考慮使用**的方式訪問目標站點。
降低抓取頻率，時間設定長一些，訪問時間採用隨機數
頻繁切換useragent（模擬瀏覽器訪問）
多頁面資料，隨機訪問然後抓取資料 -更換使用者ip。
方法六
**封的依據一般是單位時間內特定ip的訪問次數.
我是將採集的任務按 目標站點的ip進行分組
通過控制每個ip 在單位時間內發出任務的個數,來避免被封.
當然,這個前題是你採集很多**.如果只是採集乙個**,那麼只能通過多外部ip的方式來實現了。
方法七
adsl + 指令碼，監測是否被封，然後不斷切換 ip 設定查詢頻率限制
正統的做法是呼叫該**提供的服務介面。
方法八
如何解決爬蟲ip被封的問題
在這個網路高速發展的時代，各種網路技術層出不窮，網路爬蟲就是其中的一種，而且越來越火,大到各種大型 小到微博,汽車,身邊所有能在網路上留下資訊都都能做為爬蟲的目標。但是隨著爬蟲越來越強,各種 的反爬蟲的技術也越來越先進.出現了各種各樣的驗證碼,以前還只是數字類,後來類,最 是12306的,人工都只有...
如何解決爬蟲ip被封的問題
在這個網路高速發展的時代，各種網路技術層出不窮，網路爬蟲就是其中的一種，而且越來越火,大到各種大型 小到微博,汽車,身邊所有能在網路上留下資訊都都能做為爬蟲的目標。但是隨著爬蟲越來越強,各種 的反爬蟲的技術也越來越先進.出現了各種各樣的驗證碼,以前還只是數字類,後來類,最 是12306的,人工都只有...
如何解決爬蟲ip被封的問題
在這個網路高速發展的時代，各種網路技術層出不窮，網路爬蟲就是其中的一種，而且越來越火,大到各種大型 小到微博,汽車,身邊所有能在網路上留下資訊都都能做為爬蟲的目標。但是隨著爬蟲越來越強,各種 的反爬蟲的技術也越來越先進.出現了各種各樣的驗證碼,以前還只是數字類,後來類,最 是12306的,人工都只有...