python fastapi自建HTTP爬蟲IP池

2021-10-10 22:07:19 字數 581 閱讀 7111

網路上搜尋一下有很多提供http**的**,直接使用beautifulsoup將ip爬下來。

html =requests.get(url).text

bs =beautifulsoup(html,'html.perser')

#findall()

#select()

res = requests.get(url,headers=headers,proxies=proxies)

#判斷res.status_code是否等於200

#db.insert_one()

如果驗證成功寫入資料庫。

使用fastapi

def api():

data = 查詢資料庫隨機返回一條

python Fastapi 響應模型和狀態碼

簡單絮叨一下 前面聊cookie和header一些事情,今天主要聊聊關於響應的一些事情 響應就是介面的返回值,及狀態碼等,這個是必須要有的。其返回的資料主要是用於前端除錯頁面和測試進行測試的參考。響應模型 注意點 response model是 裝飾器 方法 get,post等 的乙個引數。不像之前...

自建專案記錄

1 kindeditor 使用注意點 1 將jsp包中的lib下的三個jar檔案放到web inf lib下面 2 若js出現報錯,右鍵報錯檔案 myeclispe exclude from validation 即可 3 在欲顯示編輯框的頁面的之間插入如下 注意,是假設kindeditor檔案放入...

MYCAT 自建主鍵

全域性序列號是mycat提供的乙個新功能,為了實現分庫分表情況下,表的主鍵是全域性唯一,而預設的mysql的自增長主鍵無法滿足這個要求。全域性序列號的語法符合標準sql規範,其格式為 next value for mycatseq global 其中mycatseq global是序列號的名字,my...