Scrapy視覺化管理軟體SpiderKeeper

通常開發好的scrapy爬蟲部署到伺服器上，要不使用nohup命令，要不使用scrapyd。如果使用nohup命令的話，爬蟲掛掉了，你可能還不知道，你還得上伺服器上查或者做額外的郵件通知操作。如果使用scrapyd，就是部署爬蟲的時候有點複雜，功能少了點，其他還好。

1、supervisorpip install supervisor

2、scrapydpip3 install scrapyd

3、spiderkeeperpip3 install spiderkeeper

1、新建scrapyd的配置檔案：

daemonstatus.json = scrapyd.webservice.daemonstatus1、建立配置的資料夾和配置檔案

mkdir /etc/supervisor

echo_supervisord_conf > /etc/supervisor/supervisord.conf

;[include]

;files = relative/directory/*.ini

[include]

files = conf.d/*.conf

4、新增scrapyd的配置檔案vim /etc/supervisor/conf.d/scrapyd.conf

[program:scrapyd]

command=/usr/local/python3.5/bin/scrapyd
directory=/opt/spiderkeeper
user=root
stderr_logfile=/var/log/scrapyd.err.log
stdout_logfile=/var/log/scrapyd.out.log

stdout_logfile=/var/log/spiderkeeper.out.log6、啟動supervisor，supervisord -c /etc/supervisor/supervisord.conf

1、登入http://localhost:5000

2、新建project

3、打包爬蟲檔案

pip3 install scrapyd-client

scrapyd-deploy --build-egg output.egg

4、上傳打包好的爬蟲egg檔案

spiderkeeper可以識別多台伺服器的scrapyd，具體多加--server就好。

Scrapy視覺化管理管理工具總結

文件 scrapyd 是乙個執行 scrapy 爬蟲程式的服務 pip install scrapyd scrapyd 啟動服務 環境測試 http localhost 6800 乙個 scrapyd api 的python封裝 scrapydart在scrapyd基礎上新增了許可權驗證 篩選過濾 ...

視覺化管理 施工專案進度的視覺化管理

工程專案建設參與方多，進度整體控制難 施工現場實際進度把控不準確，實際與計畫偏差大 進度滯後，趕工造成質量 安全問題多。進度失控的專案就像失控的車，如何避免工程專案翻車?如何用工程專案進度管理軟體做好重大專案施工進度計畫管理?我們來看看1m築造的進度管理計畫是怎麼做的 專案整體進度實時掌握 通常，工...

視覺化管理 視覺化管理核心工具Andon系統

andon系統 也稱 安燈 暗燈 原為日語的音譯，日語的意思為 燈光 燈籠 最早起源於日本豐田汽車公司，用來實現 立即暫停制度 以即時解決質量問題 而不是下線返修 達到持續高品質地生產汽車。andon 安燈 系統，作為精益製造執行中的乙個核心工具，是加強工廠車間生產過程的管理，相關資訊做到目視化，資...