scrapydweb 安裝部署

2022-05-09 10:21:09 字數 670 閱讀 1562

官網1.pip install scrapydweb

2.scrapydweb

會在 執行 指令的資料夾 下 新建 配置檔案

3.vim 

scrapydweb配置檔案在第一次執行`scrapydweb`命令的當前目錄生成,檔名scrapydweb_settings_v8.py

1.啟用http基本認證(可選):

enable_auth = true

username = 'username'

password = 'password'

nohup scrapydweb >> log_scweb.out &

pip install logparser 

按 裝 後 用命令 logparser 啟動

如果 scrapyd 的 log 目錄 修改了  用 logparser -dir /scrapyd/logs/    啟動

啟動 nohup logparser -dir /scrapyd/logs/ >> log_logparser.out &

scrapyd和scrapydweb使用詳細教程

安裝scrapyd和scrapyd client和配置 1 安裝 pip install scrapyd pip install scrapy client 安裝完成後,在cmd中啟動命令 scrapyd在瀏覽器中輸入 http localhost 6800 如果出現下面介面則表示啟動成功 不要關閉...

安裝部署redis redis 安裝部署

wget redis 3.2.12.tar.gz 第二步 上傳軟體並解壓 解壓tar xzf redis 3.2.12.tar.gz改名稱 mv redis 3.2.12 redis第三步 安裝依賴軟體 yum y install gcc automake autoconf libtool make...

安裝部署fastdfs

port 22122 服務埠 connect timeout 30 連線超時時間 network timeout 60 tracker server的網路超時,單位為秒。base path jack fastdfs tracker 目錄位址,裡面會建立data 存放儲存伺服器資訊 logs,日誌檔案...