scrapyd部署小坑

2021-10-05 15:21:18 字數 674 閱讀 5565

圖中1表示,你部署專案的乙個標識,沒什麼太大作用,名字隨意,自己好記就行。

圖中2表示,你要部署到伺服器的位址和埠,其他伺服器也行,前提是那個伺服器有scrapyd相關環境。

圖中3表示,你的爬蟲專案名稱,要跟上面default部分一致。

小結:當要部署多個爬蟲時,spiders目錄裡面每增加乙個爬蟲都要執行一次scrapyd-deploy命令,

當使用scrapyd-deploy部署專案時,如果你的爬蟲目錄裡面有其他非爬蟲檔案,就有可能導致輸入命令後一致卡在那,沒有相應,而且你再重新整理你的web介面時也會沒反應,一直載入不出來。例如 ,上圖所示,我在pycharm上在spiders資料夾裡面建立乙個start.py用於啟動除錯用的檔案,就出現這種情況。

以上如有錯誤,一起改正!

Scrapyd部署爬蟲

修改scrapy專案目錄下的scrapy.cfg檔案,修改如下 deploy jd spider 加上target name url http localhost 6800 將前面的 刪除 project jd project的名字,可以使用預設的,當然也可以改變 在任意目錄下的開啟終端,輸入scr...

Scrapyd部署爬蟲

修改scrapy專案目錄下的scrapy.cfg檔案,修改如下 deploy jd spider 加上target name url http localhost 6800 將前面的 刪除 project jd project的名字,可以使用預設的,當然也可以改變 在任意目錄下的開啟終端,輸入scr...

Scrapyd部署爬蟲

修改scrapy專案目錄下的scrapy.cfg檔案,修改如下 deploy jd spider 加上target name url http localhost 6800 將前面的 刪除 project jd project的名字,可以使用預設的,當然也可以改變 在任意目錄下的開啟終端,輸入scr...