1.安裝
安裝scrapy_redis包,開啟cmd工具,執行命令pip install scrapy_redis
準備好要部署的爬蟲專案
準備好redis伺服器還有跟程式相關的mysql資料庫
開啟redis 連線上伺服器
2. 部署
修改爬蟲專案的settings檔案
修改spiders爬蟲檔案
一般的步驟
1） 先把專案配置為分布式
2） 把專案拷貝到多台伺服器中
3） 把所有爬蟲專案都跑起來
4） 在主redis-cli中lpush你的**即可
5） 效果：所有爬蟲都開始執行，並且資料還都不一樣
scrapy redis的安裝部署
先說下自己的環境，redis是部署在centos上的，爬蟲執行在windows上，1.安裝redis yum install y redis2.修改配置檔案 vi etc redis.conf將 protected mode no解注釋，否則的話，在不設定密碼情況下遠端無法連線redis 3.重啟r...
基於scrapy redis部署分布式爬蟲
基於scrapy redis部署分布式爬蟲 準備工作，主機需要開啟redis服務，進入redis目錄，在命令列工具中輸入 redis server redis windows.conf 3.使用pycharm開啟專案,找到settings檔案,配置scrapy專案使用的排程器及過濾器 4.修改spi...
scrapy redis分布式爬蟲總結
1.背景 2.環境scrapy redis 架構 專案型別 value 專案名 items 儲存爬蟲獲取到的資料item 內容是 json 字串 專案名 dupefilter 用於爬蟲訪問的url去重 內容是 40個字元的 url 的hash字串 專案名 start urls 用於獲取spider啟...