scrapyd部署爬蟲遇到的問題

2021-08-10 19:23:34 字數 1702 閱讀 6992

1.windows下 scrapyd-deploy無字尾檔案不能啟動:

執行命令pip install scrapy-client,安裝完成後,在虛擬環境的scripts中會出現scrapyd-deploy無字尾檔案,這個scrapyd-deploy無字尾檔案是啟動檔案,在linux系統下可以執行,在windows下是不能執行的,所以我們需要編輯一下使其在windows可以執行。

新建乙個scrapyd-deploy.bat檔案,右鍵選擇編輯,輸入以下配置,注意:兩個路徑之間是空格

@echo off

「e:\envs\py2scrapy\scripts\python.exe」 「e:\envs\py2scrapy\scripts\scrapyd-deploy」 %*

2.執行 scrapy list 命令的時候出現錯誤

執行 scrapy list 命令的時候很有可能出現錯誤,如果是python無法找到scrapy專案,需要在scrapy專案裡的settings.py配置檔案裡設定成python可識別路徑

將當前專案的一級目錄totalspider目錄新增到python可以識別目錄中

3.遠端計算機拒絕

如果錯誤提示,什麼遠端計算機拒絕,說明你的scrapy專案有鏈結遠端計算機,如鏈結資料庫或者elasticsearch(搜尋引擎)之類的,需要先將鏈結伺服器啟動

4.windows下打包失敗

不用管,多提交幾次,直到你的egg資料夾中有專案即可。然後重啟服務,就可以去開啟爬蟲。

5.啟動爬蟲後出現typeerror『_job』錯誤

這是因為在用scrapyd啟動爬蟲是,會向爬蟲類中傳入乙個關鍵字引數

在啟動的時候生成有乙個jobid的,而傳進去的就是這個

爬蟲類新增

def

__init__

(self,**kwargs):

super(productspider, self).__init__(self, **kwargs)

另外,需新增str函式,否則也會報錯

def

__str__

(self):

return 「productspider」

Scrapyd部署爬蟲

修改scrapy專案目錄下的scrapy.cfg檔案,修改如下 deploy jd spider 加上target name url http localhost 6800 將前面的 刪除 project jd project的名字,可以使用預設的,當然也可以改變 在任意目錄下的開啟終端,輸入scr...

Scrapyd部署爬蟲

修改scrapy專案目錄下的scrapy.cfg檔案,修改如下 deploy jd spider 加上target name url http localhost 6800 將前面的 刪除 project jd project的名字,可以使用預設的,當然也可以改變 在任意目錄下的開啟終端,輸入scr...

Scrapyd部署爬蟲

修改scrapy專案目錄下的scrapy.cfg檔案,修改如下 deploy jd spider 加上target name url http localhost 6800 將前面的 刪除 project jd project的名字,可以使用預設的,當然也可以改變 在任意目錄下的開啟終端,輸入scr...