scrapy redis的安裝部署

先說下自己的環境，redis是部署在centos上的，爬蟲執行在windows上，

1. 安裝redis

yum install -y redis

vi /etc/redis.conf

3. 重啟redis

systemctl restart redis

systemctl stop firewalld.service

redis_url = 'redis:'

# -*- coding: utf-8 -*-

from scrapy_redis.spiders import redisspider
class examplespider(redisspider):
name = 'myspider'
redis_key = 'test_key'
allowed_domains = ['www.example.com']
def parse(self, response):
print(1111)
pass

scrapy runspider example.py

redis-cli -h 127.0.0.1 -p

rpush test_key

Scrapy 和 scrapy redis的區別

scrapy 是乙個通用的爬蟲框架，但是不支援分布式，scrapy redis是為了更方便地實現scrapy分布式爬取，而提供了一些以redis為基礎的元件 僅有元件 pip install scrapy redis scrapy redis提供了下面四種元件 components 四種元件意味著這...

Nginx Keepalived的安裝與部署

將壓縮包上傳到linux中，home software 解壓tar zxvf keepalived 2.0.18.tar.gz解壓後進入到解壓出來的目錄，看到會有configure，那麼就可以做配置了 配置安裝和nginx一模一樣 使用configure命令配置安裝目錄與核心配置檔案所在位置 con...

使用scrapy redis構建簡單的分布式爬蟲

既然這麼好能實現分布式爬取，那都需要準備什麼呢？需要準備的東西比較多，都有 scrapy scrapy redis redis mysql python的mysqldb模組 python的redis模組 為什麼要有mysql呢？是因為我們打算把收集來的資料存放到mysql中 pip install ...