Scrapyd部署爬蟲

2021-07-31 02:21:52 字數 2617 閱讀 7100

修改scrapy專案目錄下的scrapy.cfg檔案,修改如下

[deploy:jd_spider]    #加上target   :name

url = http://localhost:6800/ #將前面的#刪除

project = jd #project的名字,可以使用預設的,當然也可以改變

在任意目錄下的開啟終端,輸入scrapyd,觀察是否執行成功,執行成功的話,就可以開啟http://localhost:6800看是否正常顯示,如果正常顯示則看到下面的這張圖,這裡的jd是部署之後才能看到的,現在是看不到的,所以沒出現也不要擔心:

在專案的根目錄下執行如下的命令:python e:\python2.7\scripts\scrapyd-deploy target -p project,這裡的e:\python2.7\scripts\是你的python安裝目錄,scripts是安裝目錄下的乙個資料夾,注意前面一定要加上python,target是在前面scrapy.cfg中設定的deploy:jd_spider,jd_spider就是target,project 是jd,因此這個完整的命令是python e:\python2.7\scripts\scrapyd-deploy jd_spider -p jd,現在專案就部署到上面了,這下網頁上就有jd了,詳情請見上圖

驗證是否成功,你可以在網頁上看有沒有顯示你的工程名字,另外在根目錄下輸入python e:\python2.7\scripts\scrapyd-deploy -l就能列出你所有部署過的專案了

啟動爬蟲:curl http://localhost:6800/schedule.json -d project=myproject -d spider=spider_name,這裡的project填入的是專案名,spider_name填入的是你的爬蟲中定義的name,執行我的例項完整的**為:curl http://localhost:6800/schedule.json -d project=jd -d spider=spider,這裡將會顯示如下資訊:

#這裡的jobid比較重要,下面會用到這個取消爬蟲

取消爬蟲:curl http://localhost:6800/cancel.json -d project=myproject -d job=jobid,jobid就是上面的提到過的,如果取消我的這個例項**如:curl http://localhost:6800/cancel.json -d project=jd -d job=3013f9d1283611e79a63acb57dec5d04,那麼它的狀態就會變成如下:

列出專案:curl http://localhost:6800/listprojects.json,下面將會出現你已經部署的專案刪除專案:curl http://localhost:6800/delproject.json -d project=myproject

列出版本:curl http://localhost:6800/listversions.json?project=myproject,這裡的project是專案的名字,是在scrapy.cfg設定的

列出爬蟲:curl http://localhost:6800/listspiders.json?project=myproject這裡的project是專案的名字,是在scrapy.cfg設定的

列出job:curl http://localhost:6800/listjobs.json?project=myproject這裡的project是專案的名字,是在scrapy.cfg設定的

刪除版本:curl http://localhost:6800/delversion.json -d project=myproject -d version=r99,這裡的version是自己的專案版本號,在刪除之前需要檢視版本號

Scrapyd部署爬蟲

修改scrapy專案目錄下的scrapy.cfg檔案,修改如下 deploy jd spider 加上target name url http localhost 6800 將前面的 刪除 project jd project的名字,可以使用預設的,當然也可以改變 在任意目錄下的開啟終端,輸入scr...

Scrapyd部署爬蟲

修改scrapy專案目錄下的scrapy.cfg檔案,修改如下 deploy jd spider 加上target name url http localhost 6800 將前面的 刪除 project jd project的名字,可以使用預設的,當然也可以改變 在任意目錄下的開啟終端,輸入scr...

Scrapyd部署爬蟲

修改scrapy專案目錄下的scrapy.cfg檔案,修改如下 deploy jd spider 加上target name url http localhost 6800 將前面的 刪除 project jd project的名字,可以使用預設的,當然也可以改變 在任意目錄下的開啟終端,輸入scr...