如何部署Scrapy 到Scrapyd上?

2021-07-22 21:10:52 字數 1802 閱讀 8954

安裝上傳工具

1、上傳工具

scrapyd-client

2、安裝方法:

pip install scrapyd-client

3、上傳方法:

python d:\python27\scripts\scrapyd-deploy target -p project 注:

target -- 主機位址,如

localhost;

project -- 工程名,如

stock_uc;

4、前提:

①假設python

安裝位置

d:\python27\

;②需進入工程目錄下執行上傳命令;

③可選引數:

--version r03,即:

python d:\python27\scripts\scrapyd-deploy target -p project --version r03

安裝排程工具curl1、

linux

系統一般情況下linux系統自帶

curl 2、

windows系統

密碼:4lqh

2、安裝方法:

e:\bin-curl

2)新增解壓後的資料夾路徑到環境變數

path

中,比如:   

d:\python27\;d:\python27\scripts\;e:\bin-curl\;***

3)重啟電腦是環境變數生效;

4)測試,執行:

curl --help

檢視幫助資訊;

排程爬蟲

1、新增版本資訊

2、排程

spider

執行curl http://localhost:6800/schedule.json -d project=myproject -d    spider=somespider

3、取消

spider

的執行curl http://localhost:6800/cancel.json -d project=myproject -d      job=6487ec79947edab326d6db28a2d8651

4、列出工程

5、如何啟動

scrapyd

,以及如何把乙個現有的工程部署到

scrapyd

上面:第一步:輸入scrapyd,敲擊

enter

,等待:

第二步:在這個伺服器上部署工程,具體方法前面已經提到過

第三步:排程spider:

第四步:取消

第五步:列出工程

總結 1,能正確安裝

scrapyd-client;

2,能夠正確安裝

curl

;3,學會

project

的上傳和

spider

的排程;

如何部署Scrapy 到Scrapyd上?

安裝上傳工具 1 上傳工具 scrapyd client 2 安裝方法 pip install scrapyd client 3 上傳方法 python d python27 scripts scrapyd deploy target p project 注 target 主機位址,如 localh...

scrapy部署 與 發布到scrapyd

scrapyd 安裝 發布 到 scrapyd pip install scrapyd 安裝完畢後,檢視scrapyd的配置檔案,scrapyd會在如下位置依次查詢配置檔案,並以最後乙個找到的配置檔案為準進行配置 etc scrapyd scrapyd.conf unix c scrapyd scr...

部署Scrapy專案

爬蟲執行緒 pip install scrapyd 安裝依賴 自動生成egg檔案 pip install scrapyd client pip install apscheduler pip install requests 檢視所有爬蟲 檢視爬蟲狀態 開啟爬蟲 格式舉例 每次更新後需要重新部署 s...