Scrapy安裝過程問題總結

2021-07-09 16:19:29 字數 1029 閱讀 2020

要扒資料,肯定得先寫爬蟲,打算嘗試一下用python的scrapy框架,結果剛開始就遇到一些問題。總結一下,做備案。

環境:ubuntu15.04 麒麟版

問題1.pip安裝scrapy中遇到unicodedecodeerror,0xe6這個字元解析不成功.

分析:編碼問題一直是python2.x各個版本的痛點,python3截止16年初還未有scrapy的庫.

很多文章,包括stackoverflow上面的大多解釋,都是讓對出錯頁面或者python乙個lib庫中的檔案進行編譯碼轉換,這些方法可以參照stackoverflow或者下面兩個鏈結內容

但是具體問題具體分析,我這裡說一下另乙個錯誤可能,那就是系統環境的編碼問題.

我的ubuntu語言環境選的中文,切換為英文,則解決了編碼問題unicodedecodeerror.還有一種方法就是暫時將環境變數,lang設定為中文gbk.

問題2.pip 安裝scrapy出現 x86_64-linux-gnu-gcc 異常

分析:這個問題比較好解,都是缺少一些c/c++庫的依賴,看一下報錯上方幾行的地方,是缺失什麼標頭檔案,然後去搜尋安裝,我遇到的主要是缺少libxml2以及libffi.

wget
解壓tar.gz檔案
cd libxml2-2.9.2/

./configure

make

make install

wget

解壓tar.gz

cd libffi-3.2.1

./config

make

make install

問題3.fatal error: openssl/aes.h: no such file or directory

分析:這個問題跟問題2一樣,都是缺少庫.

ubuntu下:

sudo apt-get install libssl-dev

另外記錄一些看到的帖子,做個記錄,之後遇到可查:

tripwire安裝過程

在as4上測試通過。找到twinstall.sh檔案所在的位置 我安裝的時候找到http download1.csdn.net down3 20070523 23220246809.rpm的是twinstall.sh.in 拷貝到 etc tripwire目錄下,並修改檔案,設定好twadmin檔案...

XAMPP安裝過程

方法 a 使用安裝包進行安裝 使用安裝包來安裝 xampp 是最簡單的方法。xampp win32 的安裝嚮導 安裝過程結束後,您會在 開始 程式 xampp 選單下找到 xampp。您可以使用 xampp 控制面板來啟動 停止所有服務或安裝 解除安裝所有服務。xampp 控制面板能啟動 停止 ap...

pylibmc 安裝過程

pylibmc安裝過程就像個遞迴呼叫,要安裝pylibmc需要先安裝libmemcached,安裝libmemcached又需要先安裝memcached,安裝memcached又要先安裝libevent。以下是安裝過程 1。安裝libevent configure make make install...