Scrapy視覺化管理管理工具總結

文件：

scrapyd 是乙個執行 scrapy 爬蟲程式的服務

pip install scrapyd

scrapyd # 啟動服務

乙個 scrapyd api 的python封裝

)scrapydart在scrapyd基礎上新增了許可權驗證、篩選過濾、排序、資料統計以及排行榜等功能，並且有了更強大的api

pip install scrapydart 

$ scrapydart # 啟動

功能特性：

scrapyd 集群管理

scrapy 日誌分析

支援所有 scrapyd api

web ui 支援 basic auth

pip install scrapydweb

$ scrapydweb -h # 初始化
$ scrapydweb # 啟動

參考：

如何通過 scrapyd + scrapydweb 簡單高效地部署和監控分布式爬蟲專案

控制爬蟲執行,

檢視爬蟲狀態,

檢視爬取結果,

專案部署,

主機管理,

編寫爬蟲**

pip3 install gerapy

$ gerapy init
$ cd gerapy
$ gerapy migrate
$ gerapy runserver

參考：

scrapyd部署、使用gerapy 分布式爬蟲管理框架

pip install spiderkeeper

$ spiderkeeper # 啟動
功能介紹
1、對scrapyd 介面進行視覺化封裝，對scrapy爬蟲專案進行刪除 和 檢視
2、對爬蟲設定定時任務，支援apscheduler 的3中方式和隨機延時，共計4中方式
單次執行 date
週期執行 corn
間隔執行 interval
隨機執行 random
3、基於flask-basicauth 做了簡單的許可權校驗
啟動執行
$ pip3 install spideradmin

$ spideradmin # 啟動服務
訪問：

分類名稱
簡介爬蟲框架
scrapy
爬蟲程式
服務端scrapyd
scrapy爬蟲管理程式
服務端scrapydart
增強版的 scrapyd
客戶端scrapydapi
對scrapyd api的封裝
客戶端scrapydweb
管理排程 scrapyd
客戶端gerapy
管理排程 scrapyd
客戶端spiderkeeper
管理排程 scrapyd
客戶端spideradmin
管理排程 scrapyd
 
Linux視覺化管理工具
cockpit是centos 8內建的一款基於web的視覺化管理工具，對一些常見的命令列管理操作都有介面支援，比如使用者管理 防火牆管理 伺服器資源監控等，使用非常方便，號稱人人可用的linux管理工具。centos 8預設已安裝cockpit，直接啟動服務即可 配置cockpit服務開機自啟 sy...
視覺化docker管理工具portainer
docker pull portainer portainer啟動portainer容器，並將容器內埠對映到宿主機上 docker run d p9000 9000 restart always v var run docker.sock var run docker.sock name prtai...
MongoDB 生態 視覺化管理工具
十一月 30,2016 張友東的部落格 mongodb 雲資料庫 zydcom 工欲善其事，必先利其器，我們在使用資料庫時，通常需要各種工具的支援來提高效率 很多新使用者在剛接觸 mongodb 時，遇到的問題是 不知道有哪些現成的工具可以使用 本系列文章將主要介紹 mongodb 生態在工具 dr...