使用scrapyd部署scrapy redis爬蟲

pip install scrapy

pip install scrapyd_client

project = webfont在settings中加入

import  sys

import os))
sys.path.insert(
0,os.path.join(base_dir,
"專案名"
))

找到scrapyd-deploy檔案，相同路徑下新建乙個scrapyd-deploy.bat檔案

寫入第乙個路徑是python.exe的路徑，第二個路徑是scrapy-deploy路徑

@echo off

scrapyd-deploy -l

sapyd-deploy myspider -p myproject

Scrapyd部署爬蟲

修改scrapy專案目錄下的scrapy.cfg檔案，修改如下 deploy jd spider 加上target name url http localhost 6800 將前面的 刪除 project jd project的名字，可以使用預設的，當然也可以改變 在任意目錄下的開啟終端，輸入scr...

Scrapyd部署爬蟲

修改scrapy專案目錄下的scrapy.cfg檔案，修改如下 deploy jd spider 加上target name url http localhost 6800 將前面的 刪除 project jd project的名字，可以使用預設的，當然也可以改變 在任意目錄下的開啟終端，輸入scr...

Scrapyd部署爬蟲

修改scrapy專案目錄下的scrapy.cfg檔案，修改如下 deploy jd spider 加上target name url http localhost 6800 將前面的 刪除 project jd project的名字，可以使用預設的，當然也可以改變 在任意目錄下的開啟終端，輸入scr...