Scrapyd部署爬蟲專案

2021-09-17 04:46:42 字數 2238 閱讀 2665

1、安裝scrapyd模組

命令列工具開啟輸入:

pip install scrapyd
安裝完成後,在虛擬環境的scripts中會出現scrapyd-deploy無字尾檔案,這個scrapyd-deploy無字尾檔案是啟動檔案,在linux系統下可以遠行,在windows下是不能執行的,所以我們需要編輯一下使其在windows可以執行。

新建乙個scrapyd-deploy.bat檔案,右鍵選擇編輯,輸入以下配置,注意:兩個路徑之間是空格,一定要使用雙引號。單引號的話會錯誤。

@echo off
4、進入爬蟲專案中,此目錄中有scrapy.cfg這個檔案的目錄中,開啟cmd命令列輸入scrapy-deploy,測試能否正常執行,如果出現以下介面,表示可以正常執行

5、開啟scrapy.cfg檔案,對其進行修改,將url這行**解除注釋,並且設定部署名稱。

6、再次執行啟動服務,可以看到設定的名稱

7、開始打包前,執行乙個命令:scrapy list ,這個命令執行成功說明可以打包了,如果沒執行成功說明還有工作沒完成。命令返回了爬蟲名稱說明一切ok了

8、到此我們就可以開始打包scrapy專案到scrapyd了,用命令結合scrapy專案中的scrapy.cfg檔案設定來打包。

執行打包命令: scrapyd-deploy 部署名稱 -p 專案名稱

如:scrapyd-deploy sky -p ivskyspider

表示配置成功。

如果出現:

表示版本不對,建議安裝pip install scrapyd==1.1.1,直到你的egg資料夾中有專案即可

8、curl http://localhost:6800/schedule.json -d project=專案名稱 -d spider=爬蟲名稱

如:curl http://localhost:6800/schedule.json -d project=ivskyspider -d spider=sky

則爬蟲執行成功

可以去網頁中127.0.0.1::6800檢視爬蟲執行狀態

其他:停止爬蟲

curl http://localhost:6800/cancel.json -d project=scrapy專案名稱 -d job=執行id

刪除scrapy專案

注意:一般刪除scrapy專案,需要先執行命令停止專案下在遠行的爬蟲

curl http://localhost:6800/delproject.json -d project=scrapy專案名稱

檢視有多少個scrapy專案在api中

檢視指定的scrapy專案中有多少個爬蟲

curl http://localhost:6800/listspiders.json?project=scrapy專案名稱

總結幾個請求url

1、獲取狀態

2、獲取專案列表

3、獲取專案下已發布的爬蟲列表

4、獲取專案下已發布的爬蟲版本列表

5、獲取爬蟲執行狀態

6、啟動伺服器上某一爬蟲(必須是已發布到伺服器的爬蟲)

(post方式,data=)

7、刪除某一版本爬蟲

(post方式,data=)

8、刪除某一工程,包括該工程下的各版本爬蟲

方式,data=)

乙個基於flask後台框架寫的scrapy爬蟲監控小專案,有興趣的同學看看

scrapyd 部署爬蟲專案

在瀏覽器輸入127.0.0.1 6800 即可檢視 2.如果連線成功先關閉服務,自己在非c盤下新建乙個資料夾,名稱自定義如 scrapydtest然後進入該資料夾,cmd開啟命令列工具,輸入scrapyd執行,執行完成後會新建乙個dbs空資料夾,用來存放爬蟲專案的資料檔案 3.安裝scrapyd c...

Scrapyd部署爬蟲

修改scrapy專案目錄下的scrapy.cfg檔案,修改如下 deploy jd spider 加上target name url http localhost 6800 將前面的 刪除 project jd project的名字,可以使用預設的,當然也可以改變 在任意目錄下的開啟終端,輸入scr...

Scrapyd部署爬蟲

修改scrapy專案目錄下的scrapy.cfg檔案,修改如下 deploy jd spider 加上target name url http localhost 6800 將前面的 刪除 project jd project的名字,可以使用預設的,當然也可以改變 在任意目錄下的開啟終端,輸入scr...