爬取搜狗搜尋頁面

功能，爬取搜狗搜尋的頁面，儲存到本地

import requests

from tkinter import
*def
func_search()
: word=entry_key_word.get(
)print
(word)
param=
param[
"query"
]=word
# ua偽裝
headers=
url =
""# get方法
response = requests.get(url,params=param,headers=headers)
page_text = response.text
with
open
(word+
'.html'
,'w'
,encoding=
'utf-8'
)as fp:
fp.write(page_text)
print
(page_text)
print
(param)
pass
if __name__==
"__main__"
: master = tk(
) master.title(
"我的第乙個視窗"
) master.geometry(
"500x300+100+200"
) w = label(master, text=
"hello world!"
) w.pack(
) entry_key_word=entry(master)
entry_key_word.pack(
) search_button=button(master,command=func_search,text=
"search"
) search_button.pack(
) mainloop(
)

方法效果

response.text

字串資料

response.content

二進位制資料，儲存用

response.json（）

獲取json物件

python爬取指定的搜尋頁面

功能 進行爬蟲專案編寫 import requests if name main useragent 請求載體身份標識 ua檢測 當使用者訪問乙個門戶 的時候，會自動的檢測對應的訪問載體的身份標識，如果檢測到載體的身份 標識為某一款瀏覽器，則表明當前的請求時乙個正常的請求，是普通使用者通過瀏覽器物件...

搜狗 疫情資料爬取（Python）

上週已經分享過搜狗 疫情資料爬取 r語言 這次分享一下搜狗 疫情資料爬取 python from urllib import request from lxml import etree import re import pandas as pd import json url response r...

python爬取天貓搜尋頁面產品標題

為了方便演示，這裡只爬取搜尋結果的第一頁，且無儲存 據說用lxml解析網頁更快 titles soup.select j itemlist div div p.producttitle a 在elements介面點網頁定位到 右鍵選copy copy selector，複製css途徑，若要篩選全部型...