scrapy中介軟體自定義

2021-10-07 12:59:19 字數 1629 閱讀 9299

二、定義動態proxy中介軟體

在middlewares.py檔案中，編寫useragentmiddlerware中介軟體，可以隨機動態設定user-agent

from fake_useragent import useragent


# 自定義動態user-agent中介軟體


class


useragentmiddlerware


: def process_request


(self, request, spider)


: request.headers.


setdefault


(b'user-agent'


,useragent()


.random)
在settings.py檔案中，開啟**********_middlewares，裡面可以配置多個中介軟體，數值表示優先執行順序，值越小越優先執行

**********_middlewares


=



,"headers":,


"origin"


:"27.38.242.248"


,"url"


:""}
在middlewares.py檔案中，編寫proxymiddlerware中介軟體，並定義乙個獲取**ip的函式proxyip（ip可以從資料庫或者從**服務商那邊隨機獲取）

# 自定義動態proxy中介軟體


# 定義獲取**ip函式


class


proxyip


: def get_proxy_ip


(self)


: ip =


'223.241.2.139:4216'


return ip
在settings.py檔案**********_middlewares中，新增proxymiddlerware中介軟體，並設定執行順序優先順序

**********_middlewares


=


,"headers":,


"origin"


:"223.241.2.139"


,"url"


:""}

自定義中介軟體

建立乙個mymiddleware.pydef middleware get response 中介軟體工廠,生成乙個中介軟體 get response 此處編寫的 僅在django第一次配置和初始化的時候執行一次。print 1,初始化中介軟體了.def middleware request 此處編...

laravel 自定義中介軟體

關於中介軟體的理解 最好將中介軟體想象為一系列的 層 http 請求必須經過它們才會觸發您的應用程式。每一層都可以檢測接收的請求，甚至可以完全拒絕請求訪問您的應用。1.建立中介軟體php artisan make middleware checkage 3.為路由指定中介軟體 route get f...

Django自定義中介軟體

自定義中介軟體類 到達檢視函式前 返回值none，繼續 返回值為response，倒序執行中介軟體 return none defprocess view self,request,view func,view args,view kwargs 返回none，繼續 返回response，倒序執行中介...