Scrapy學習筆記（一）

tar -zxvf python-3.7.0.tgz -c ../software

yum -y install zlib zlib-devel

yum -y install bzip2 bzip2-devel
yum -y install ncurses ncurses-devel
yum -y install readline readline-devel
yum -y install openssl openssl-devel
yum -y install openssl-static
yum -y install xz lzma xz-devel
yum -y install sqlite sqlite-devel
yum -y install gdbm gdbm-devel
yum -y install tk tk-devel
yum -y install libffi libffi-devel

配置編譯，因為上面依賴包是用yum安裝而不是自己編譯的，所以都是安裝在系統預設目錄下，因此各種選項不用加預設即可生效：

./configure

make

make install

備份python命令

mv /usr/bin/python /usr/bin/python.bak

/usr/local/bin/python3指向 /usr/bin/python
ln -s /usr/local/bin/python3 /usr/bin/python
mv /usr/bin/pip /usr/bin/pip.bak
ln -s /usr/local/bin/pip3 /usr/bin/pip

Scrapy 學習筆記（一）

安裝scrapy 框架 1.安裝 scrapy 通過 pip install scrapy 即可安裝。2.如果在windows安裝，則還需要安裝 pypiwin32 安裝方式為 pip install pypiwin32 3.如果在ubuntu安裝，則需要安裝一些第三方庫 sudo apt get ...

Scrapy學習筆記

於網路 上圖就是整個scrapy的架構圖了，主要包括部分作用如下 scrapy執行流程 scrapy engine從spiders獲取初始的url，並將這些request交給scheduler進行排列。scrapy engine從scheduler獲取處理好的request。scrapy engin...

Scrapy學習筆記（三）

抓取 資訊 class youdailispider crawlspider name youdaili allowed domains youdaili.net start urls rules rule linkextractor allow r d d html callback parse ...