web伺服器預設接收人類訪問
受限於編寫水平和目的，網路爬蟲將會為web伺服器帶來巨大的資源開銷
伺服器上的資料有產權歸屬
網路爬蟲獲取資料後牟利將帶來法律風險
網路爬蟲可能具備突破簡單訪問控制的能力，獲得被保護資料從而洩露個人隱私
發布公告：robots協議
robots exclusion standard，網路爬蟲排除標準
作用：**告知網路爬蟲哪些頁面可以抓取，哪些不行
robots協議基本語法
# 注釋，*代表所有，/代表根目錄
user‐agent: *
disallow: /
user‐agent: *
disallow: /?*
disallow: /pop/*.html
disallow: /pinpai/*.html?*
user‐agent: etaospider
disallow: /
user‐agent: huihuispider
disallow: /
user‐agent: gwdangspider
disallow: /
user‐agent: wochachaspider
disallow: /
約束性：robots協議是建議但非約束性，網路爬蟲可以不遵守，但存在法律風險
python網路爬蟲（二）
在第一篇中，我們介紹了如何進行發起乙個http請求，並接受響應。在這一部分中，我們介紹一下如何解析網頁並提取我們需要的資料。我們採用requests這個庫進行乙個網頁請求。r requests.get headers,kwargs 通過這一句 我們即可獲得伺服器傳給我們的響應內容 不考慮連線錯誤等情...
Python網路爬蟲學習（二）
十五.京東商品頁面的爬取 import requests r requests.get r.status code r.encoding r.text 1000 十六.亞馬遜商品頁面的爬取 import requests def main url try kv r requests.get url,...
python網路爬蟲入門（二）
一 python爬取10頁250條資料中的所有 書單 模組案例方法一 encoding utf 8 import requests from bs4 import beautifulsoup i 25 while i 225 i i 25 c str i resp requests.get c so...