1 如果python3沒有安裝scrapy，先通過命令pip install scrapy安裝
2 建立專案 命令scrapy startproject ***（*** 為專案名）
3 用pycharm開啟後
1） scrapy.cfg 為配置檔案資訊
2） items.py 為定義資料結構的地方
3） settings.py 為設定專案資訊的檔案
e.g：
configure maximum concurrent requests performed by scrapy (default: 16) // 併發量 預設16
cookies_enabled = false // 一般用於登陸後抓取資料改為true
spider_middlewares、**********_middlewares //中介軟體的使用
使用命令進入到專案目錄下到spiders資料夾下使用命令：
scrapy genspider 檔名 需要抓取到網域名稱 注：網域名稱不需要新增雙引號
Python3 爬蟲 05 安裝Scrapy
scrapy是用純python實現乙個為了爬取 資料 提取結構性資料而編寫的應用框架，用途非常廣泛。框架的力量，使用者只需要定製開發幾個模組就可以輕鬆的實現乙個爬蟲，用來抓取網頁內容以及各種，非常之方便。系統配置 win10 64位 企業版 直接使用命令安裝scrapy pip install sc...
python3 切片 python3 切片
取乙個list或tuple的部分元素是非常常見的操作。比如，乙個list如下 l michael sarah tracy bob jack 取前3個元素，應該怎麼做？笨辦法 l 0 l 1 l 2 michael sarah tracy 之所以是笨辦法是因為擴充套件一下，取前n個元素就沒轍了。取前n...
python3安裝 Python3的安裝
1.anaconda安裝 2.安裝包安裝 3.linux下的命令列安裝 centos red hat 1 sudo yum install y sudo yum update3 sudo yum install y python35u python35u libs python35u devel p...