請求**並提取資料的自動化程式
發起請求：通過http庫向目標站點發起請求，即傳送乙個request，請求可以包含額外的header等資訊，等待伺服器響應。
解析內容：得到的內容可能是html，可以用正規表示式、網頁解析庫進行解析。可能是二進位制資料，可以做儲存或者進一步的處理。
儲存資料：儲存形式多樣，可以儲存為文字，也可以儲存至資料庫，或者儲存特定格式的檔案。
請求方式：主要有get、post兩種型別，另外還有head、put、delete、options等。
請求頭：包含請求時的頭部資訊，如user-agent、host、cookies等資訊。
請求體：請求時額外攜帶的資料，如提交表單資料。
響應狀態：有多種狀態，如200代表成功、301代表跳轉、404找不到網頁、502伺服器錯誤。
響應頭：如服務型別、內容長度、伺服器資訊、設定cookies等等。
1. 網頁文字
2. （二進位制）
4. 其他 只要是能請求到的，都能獲取
在使用requests包時，我們這樣只能顯示原本的html**：
import requests
#請求微博
response = requests.get("")
response.text
from selenium import webdriver
driver = webdriver.chrome()
driver.get("")
driver.page_source
爬蟲基本原理
一 爬蟲是什麼?爬蟲要做的是什麼？使用者獲取網路資料的方式是 爬蟲程式要做的就是 區別在於 我們的爬蟲程式只提取網頁 中對我們有用的資料 為什麼要做爬蟲 爬蟲的價值 網際網路中最有價值的便是資料，比如天貓 的商品資訊，鏈家網的租房資訊，雪球網的 投資資訊等等，這些資料都代表了各個行業的真金 可以說，...
爬蟲基本原理
三種爬蟲方式 通用爬蟲 抓取系統重要組成部分，獲取的是整張頁面資料 聚焦爬蟲 建立在通用爬蟲之上，抓取頁面指定的區域性內容 增量式爬蟲 檢測 資料更新的情況，只抓取更新出來的資料 https協議 安全的超文字傳輸協議 證書秘鑰加密 請求頭 響應頭 加密方式 傳送請求 獲取響應內容 解析內容 儲存資料...
爬蟲基本原理
一 爬蟲介紹 本質，就是想 傳送http請求，拿回一些頁面 json格式資料 request 處理資料，解析出有用的東西 re，bs4 儲存 mysql，檔案，cvs，redis，mongodb，es 分析 cookie池和 池 正向 和反向 正向 自己，反向 伺服器 爬蟲運用模組 requests...