Scrapy在Ubuntu中的配置

2021-08-09 12:28:57 字數 756 閱讀 2785

首先python、lxml、openssl這些工具ubuntu是自帶的，不用管它們。

其次安裝pip，在命令列中執行以下命令：

sudo apt-get install python-pip
然後安裝兩個安裝scrapy需要的依賴庫，在命令列中分別執行以下三條命令：

sudo apt-get install python-dev


sudo apt-get install libevent-dev


sudo apt-get install libssl-dev #在阿里雲上配置的時候發現還要安這個
最後安裝scrapy，在命令列中執行以下命令：

sudo pip install scrapy
然後我們的最新版scrapy就安裝好了，可以執行下列命令檢視版本號：

scrapy version


attributeerror: 'module' object has no attribute 'op_no_tlsv1_1'
將twisted降為較低的版本使用命令安裝即可
sudo pip install twisted==13.1.0
再次驗證時，可顯示安裝的scrapy的版本，即為成功了！

 
BaseSpider在scrapy中的使用
scrapy中繼承自basespider的爬蟲是不被推薦的，如下所示 python view plain copy from scrapy.spider import basespider class negativecommentscrapy basespider 檢視scrapy的原始碼，在sc...


ubuntu中 在Ubuntu中安裝CMake
前言 具體安裝步驟 注意安裝包解壓後的位置 home book cmake 3.12.4 linux x86 64 安裝包解壓位置 2.1 開啟.bashrc檔案進行配置 gedit bashrc2.2 在末尾新增如下的內容 export path home book cmake 3.12.4 li...


九 在Scrapy中模擬登陸
使用formrequest.from response 方法模擬使用者登入 官方參考文件 1 說明 通過 會實現對某些表單字段 如資料或是登入介面中的認證令牌等 的預填充。使用scrapy抓取網頁時，如果想要預填充或重寫像使用者名稱 使用者密碼這些表單字段，可以使用 formrequest.from...