利用requests模組爬取百度翻譯

import requests

import json
if __name__ == '__main__':
#1. 指定url
post_url = ''
#2. ua偽裝
headers = 
#3. 傳送請求
word = input('enter a word:')
data = 
response = requests.post(url=post_url,data=data,headers=headers)
#4. 獲取資料:json返回的是obj（如果確認響應資料是json型別的，才可以使用json()）
dic_obj = response.json()
#5. 永久化儲存
filename = word + '.json'
a= open(filename,'w',encoding='utf-8')
json.dump(dic_obj,fp=a,ensure_ascii=false)#中文，所以json不能使用ascii
print('儲存成功')

執行之後得到的檔案是json檔案，是因為接收的資料型別是json型別，可以在網頁上查詢

開啟檔案內容如下，比如說爬取love的結果

requests模組爬取資料操作流程

anaconda環境變數 path環境裡面的這些值，就是為了在cmd終端你可以找到一些可執行檔案。python 在path變數去找每個值，就相當於每乙個目錄，在裡面找python.exe 配置環境變數 我們有兩個需要配置的地方 1,配置python.exe 根目錄c anaconda3 為了讓系統找...

requests爬取小說

1.url解析 2.傳送請求 3.接收返回 4.進行解析 5.儲存 將國風中文網制定頁的 的題目 作者 最近更新章節和時間抓取下來儲存到本地 小夥伴們，今天我們用的利劍是requests xpath 第一步 匯入模組 import requests from lxml import etree im...

利用requests爬取重定向內容

coding utf 8 import requests def post data django s,url,data s.get url post使用者名稱和密碼的時候要post這個csrf表單，同時帶著cookies 下面這個csrftoken是cookies裡面的乙個隨機值 params p...