python 學習筆記 requests

2021-08-21 10:16:21 字數 733 閱讀 5763

開始學習python 語言,從網上爬取資料並儲存,發現直接下邊**不行

importrequests

r = requests.get(

'')

print

(r.status_code)

print

(r.headers)

print

(r.encoding)

r.encoding=

'utf-8'print

#print(r.text)

#print(r.cookie)

print

(r.url)

#d = requests.delete('')

file = open('samplelist.txt', 'w')

file.write(r.text)

file.close()

在windows下面,新檔案的預設編碼是gbk,這樣的話,python直譯器會用gbk編碼去解析我們的網路資料流txt,然而txt此時已經是decode過的unicode編碼,這樣的話就會導致解析不了,出現上述問題。 解決的辦法就是,改變目標檔案的編碼:

更改命令如下,新增編碼方式utf-8

file = open('samplelist.txt','w',encoding=utf-8)

Python爬蟲 模擬瀏覽器訪問 Requests

有時候爬蟲需要加入請求頭來偽裝成瀏覽器,以便更好的抓取資料.開啟瀏覽器chrome找到user agent進行複製 headers headers get方法新增請求頭 print res.text 執行結果 requests庫不僅有get 方法,還有post 等方法.post 方法用於提交表單來爬...

python教學筆記 python學習筆記(一)

1.eval 函式 eval是單詞evaluate的縮寫,就是 求.的值的意思。eval 函式的作用是把str轉換成list,dict,tuple.li 1 1,2,3 print eval li 1 di 1 print eval di 1 tu 1 2,4,6 print eval tu 1 執...

python學習筆記

coding utf 8 coding utf 8 應該像八股文一樣在每個指令碼的頭部宣告,這是個忠告 為了解決中文相容問題,同時你應該選擇支援 unicode 編碼的編輯器環境,保證在執行指令碼中的每個漢字都是使用 utf 8 編碼過的。cdays 5 exercise 3.py 求0 100之間...