python爬蟲 環境搭建

2021-10-01 03:57:47 字數 1843 閱讀 6608

技術交流 qq群599020441

紀年科技aming

linux 環境配置

安裝系統依賴包

sudo apt-get install libssl1.0.0 libssl-dev tcl tk sqlite sqlite3 libbz2-1.0 libbz2-dev libexpat1 libexpat1-dev libgdbm3 libgdbm-dev libreadline5 libreadline6 libreadline-dev libreadline6-dev libsqlite0 libsqlite0-dev libsqlite3-0 libsqlite3-dev openssl

上面的依賴包是ubuntu的安裝源的包名,不同版本的linux包名可能不一樣

wget 

tar -xzvf python-3.6.8.tgz -c /tmp

cd /tmp/python-3.6.8/

把python3.6安裝到 /usr/local 目錄

./configure --prefix=/usr/local

make

make altinstall

上面操作執行完成以後就可以執行:

python3.6

就可以進入python的互動環境了

注:很多linux作業系統會預設安裝python和python3,大家可以在終端中輸入python或者python3就能檢視是否預設安裝了py2和py3的版本,如果沒有安裝可以使用

ln -s /usr/local/bin/python3.6 /usr/bin/python
或者

ln -s /usr/local/bin/python3.6 /usr/bin/python3

生成python或者python3直接執行的python3.6的軟連線

安裝pip

python3對應的pip很多linux作業系統沒有預設安裝, 可以通過

sudo apt-get install python3-pip
安裝python3的pip

安裝完成以後可以終端中輸入: pip3 檢視是否安裝成功

後續的所有的關於pip中安裝的命令,這裡都使用 pip3 install ***

Python爬蟲環境搭建大全

在 python3網路爬蟲開發實戰 中,第一章主要是配置爬蟲的各種環境,這裡來記載一下簡單的安裝過程 python3 requests 請求庫 pip install requests selenium 自動化測試工具 pip install selenium chromedriver 配合瀏覽器,...

Python爬蟲的環境搭建

1 環境搭建 anaconda visual studio code pycharm 2 需要後續安裝的包 3 會出現的問題 3.2 bloom filter 網頁去重 使用pip install bloom filter命令 後,在pycharm中不能匯入,解決方式如下 pip install p...

selenium python爬蟲環境搭建

前言 準備使用selenium爬取 資料,先搭建selenium python爬蟲環境搭建 系統環境 64位win10系統,同時裝python2.7和python3.6兩個版本,ide為pycharm 安裝selenium 進入cmd命令列視窗,敲入以下 pip install selenium接著...