python爬蟲 兩個簡單的小例子

2021-10-19 02:46:26 字數 1175 閱讀 6356

import requests

url =

''value =

input

('search:'

)headers =

param =

response = requests.get(url=url, params=param, headers=headers)

response.encoding =

'utf-8'

# **亂碼

page_content = response.text

print

(page_content)

with

open

('three.html'

,'w'

, encoding=

'utf8'

)as fp:

fp.write(page_content)

上面的**有幾個需要注意的點:

(1)ua偽裝

(2)引數param怎麼得來的,需要檢查源網頁

(3)注意encoding,不然會發生亂碼,在原網頁的控制台中輸入document.charset可以查詢網頁的編碼方式

import requests

import json

url =

''headers =

param =

response = requests.post(url=url, data=param, headers=headers)

dic_obj = response.json(

)fp =

open

('dog.json'

,'w'

, encoding=

'utf8'

)json.dump(dic_obj, fp=fp, ensure_ascii=

false

)print

('over'

)

以上**有幾個需要注意的點:

(1)request.post()格式

(2)對於json返回格式的處理

(3)url本來是但是_o得刪去,不刪的話之會返回乙個錯誤

(4)param中除了要有i還要有doctype,這些引數怎麼來的:「檢查->network->xhr(ajax請求)」

爬蟲兩個問題

乙個python的爬蟲,爬取,出現以下報錯 requests.exceptions.connectionerror connection aborted.error 54,connection reset by peer 不是大問題,可能因為訪問過於頻繁,通過忽略可以解決,參考此 有說原因 mac ...

Python爬蟲基礎 兩個實用庫

用python學爬蟲最大的好處就是python有很多實用庫,免去了我們自己造輪子的環節,那麼找哪些輪子呢?python爬蟲有兩個比較實用的庫,requests和beautiful soup。我認為學好這兩個庫,python爬蟲也就學的差不多了。beautiful soup 是乙個可以從html或xm...

兩個小電路

第乙個是cmos與非門振盪電路 這個電路的原理其實是負反饋,b點反饋給a,因為a,b兩點的電壓相反所以是負反饋。又因為在a與e之間加了電容,所以是慢反饋,b和a如蹺蹺板兩端,在0與1之間來回跳變,那麼就會形成振盪,振盪頻率計算公式如下 第二個電路是電容降壓型穩壓電路 將交流市電轉換為低壓直流的常規方...