詳談python http長連線客戶端

2022-09-28 19:09:16 字數 786 閱讀 8852

背景:

線上機器,需要過濾awww.cppcns.comccess日誌,傳送給另外乙個api

期初是單程序,效率太低,改為多程序傳送後,檢視日誌中偶爾會出現異常錯誤(忘記截圖了。。。)

總之就是埠不夠用了報錯

原因:每一條日誌都是一次請求傳送給api,短連線產生大量time_wait狀態,占用了大量埠

這種高併發導致的大量time_wait狀態核心調優基本是沒用的,後來改為長連線解決問題

第一版短連線版本關鍵**如下

因涉及具體業務資訊,只貼出了關鍵部分**

修改後長連線版本如下:

採用requests庫

import reques

client=req程式設計客棧uests.session()

headers =

where true:

url=myqueue.get()

r=client.get(url,headers=headers)

print r.status_code

本文標題: 詳談python http長連線客戶端

本文位址:

python http長連線客戶端

線上機器,需要過濾access日誌,傳送給另外乙個api 期初是單程序,效率太低,改為多程序傳送後,檢視日誌中偶爾會出現異常錯誤 忘記截圖了。總之就是埠不夠用了報錯 每一條日誌都是一次請求傳送給api,短連線產生大量time wait狀態,占用了大量埠 這種高併發導致的大量time wait狀態核心...

Python http非同步與連線池

假如你有手上有4個任務需要分配給甲 乙 丙 丁去完成,你有兩種方式,第一種 將第乙個任務分配給甲後等他處理完之後告訴你處理後的結果,此時再將第二個任務分配給乙,以此類推下去,如果甲做事的結果對你交代給乙的任務有關聯,就必須選擇這種方式 但是如果甲乙丙丁的任務沒有任何關聯,那麼你可以考慮以一種更加快捷...

HTTP長連線和WebSocket長連線的區別

要理解http長連線和websocket長連線的區別,首先要理解一下什麼是http的長連線和短連線。首先需要消除乙個誤解 http協議是基於請求 響應模式的,因此客戶端請求後只要服務端給了響應,本次http請求就結束了,沒有長連線這一說。那麼自然也就沒有短連線這一說了。所謂的http分為長連線和短連...