python爬蟲知識（二） requests模組

1.1 作用：模擬瀏覽器傳送請求。官網：

1.2 使用：

import requests

if __name__ == "__main__":
url = ""
kw=input("輸入搜尋內容：")
params = 
headers = 
filepath=kw+".html"
res = requests.get(url=url, params=params,headers=headers) 
page_html = res.text 
with open(filepath, "w", encoding="utf-8") as fp:
fp.write(page_html) 
print("get爬取成功")
// res = requests.post(url=url, data=params,headers=headers)
// fp=open(filepath,"w", encoding="utf-8")
// json.dump(page_json,fp=fp,ensure_ascii=false)
// print("post爬取成功")

// 反爬蟲機制之：ua檢查，即user-agent檢查校驗。

爬蟲二 Python爬蟲入門二

1.認識爬蟲 1.1 什麼是爬蟲 爬蟲 一段自動抓取網際網路資訊的程式，從網際網路上抓取對於我們有價值的資訊。1.2 python的爬蟲架構 網頁解析器 將乙個網頁字串進行解析，可以按照我們的要求來提取出我們有用的資訊，也可以根據dom樹的解析方式來解析。網頁解析器有正規表示式 直觀，將網頁轉成字串...

python學習筆記 flask之request

from flask import request coding utf 8 from flask import flask,request def index 訪問上面定義的路徑就是訪問此方法 請求行 print request.method request.method 獲取請求方法 print...

Python爬蟲 二 爬蟲原理

爬蟲就是請求 並提取資料的自動化程式。其中請求，提取，自動化是爬蟲的關鍵！下面我們分析爬蟲的基本流程 發起請求 通過http庫向目標站點發起請求，也就是傳送乙個request，請求可以包含額外的header等資訊，等待伺服器響應 獲取響應內容解析內容 得到的內容可能是html,可以用正規表示式，頁面...