爬蟲Spider遇到的問題彙總篇

2021-10-06 16:38:35 字數 1027 閱讀 6614

先列印html或soup看一下 是不是和f12展示的一樣的結構

有明顯id的可能有record /record 標籤

eg.天/津/市/衛/健/委健/康知識

看看是不是post請求

eg.天/津/市/衛/健/委健/康知識

可能返回的是json檔案(如下圖)直接解析json

會有iframe 找到它的src屬性 用這個url值

.encode(「iso_8859_1」).decode(「utf-8」)

from urllib.request import urlretrieve

file=os.path.splitext(a[『href』])

filename,type=file

file_name = a.text + type

urlretrieve(new_url, file_name)

a.text裡面不能有特殊字元

不然報錯:

tfp = open(filename, 『wb』)

filenotfounderror: [errno 2] no such file or directory: 『飲用水水源保護區標誌技術要求(hj/t 433-2008).pdf』

self.driver = webdriver.chrome()

self.driver.get(self.url)

time.sleep(random.uniform(3, 5))

self.list_parase()

timestamp = li[「date」]

timearray = time.localtime(timestamp)

date = time.strftime("%y-%m-%d", timearray)

print(date)

爬蟲遇到的問題

特殊字串處理的問題 第一佳大雞排 新街口店 黃燜雞公尺飯 被識別成資料夾名 處理特殊字元 dex0 line 6 find if dex0 1 line 6 line 6 0 dex0 約翰大叔 比薩 龍躍店 輸出時,有特殊字元,無法輸出。處理特殊字元 dex1 line 6 find if dex...

個人遇到的問題彙總

try catch只對丟擲的異常 有異常丟擲或異常的子類丟擲 有用,在php中你無法使用這個函式捕捉 fatal error。如果你的db變數無法建立資料庫鏈結,我會認為這是fatal error,因為你在這頁面上做任何有意義的事情都離不開db變數。假如不能建立鏈結,pdo會丟擲乙個異常。不過假如你...

MUI遇到的問題彙總

mui是h5跨平台的開發框架,入手學習可以先進入官網瀏覽一下 官網 問題一 ajax請求不到資料 真機除錯 在瀏覽中輸入請求 可以獲取到資料,但是真機除錯console.log type 列印為abort error function xhr,type,errorthrown 解決 1.請求位址不要...