Python爬蟲環境配置設定

2021-09-24 17:00:36 字數 1094 閱讀 7599

1.原本安裝了python,還有必要安裝anaconda嗎?

有必要anaconda,其包含了conda、python等180多個科學包及其依賴項,是乙個開源的包、環境管理器,能夠在不同的環境之間切換.

2.什麼是mongodb?

mongodb 是由c++語言編寫的,是乙個基於分布式檔案儲存的開源資料庫系統。在高負載的情況下,新增更多的節點,可以保證伺服器效能。

3.什麼是robomogo?

4.什麼是redis?

其遵守bsd協議,是乙個高效能的key-value資料庫。

5.什麼是redisdesktopmanager?

redis的視覺化介面

6.python爬蟲常用庫有哪些?

urllib

提供了一系列用於操作url的功能。urllib的request模組可以非常方便地抓取url內容,也就是傳送乙個get請求到指定的頁面,然後返回http的響應。

re

執行正規表示式需要使用的模組

selenium

此庫驅動瀏覽器獲取渲染後的網頁資訊。

頁面渲染:載入-解析-渲染(構建渲染樹,對各個元素進行位置計算、樣式計算等等,然後根據渲染樹對頁面進行渲染(可以理解為「畫」元素))

注意:因為最新版本的selenium已經拋棄了舊版本的chromedriver ,所以,用2.幾版本的可以保證程式正常通過。

phantomjs

無介面瀏覽器,無需彈出瀏覽器進行爬蟲

lxml, beautifulsour4

可對網頁進行解析

pyquery 

pymysql 

pymongo

分別對應最開始介紹的安裝軟體

flask

**設定

django

web伺服器框架

jupyter

環境配置 Python爬蟲框架Scrapy 安裝

這篇部落格主要用於個人記錄吧。老生常談了,所謂學習的過程,就是越學越覺得自己知道的東西太少太少。環境配置,庫的安裝什麼的,很多時候還是蠻 玄學 的 時而秒裝,時而 1 pip install scrapy 運氣好的話,在interminal介面 終端介面,就是 cmd 進入的介面,我個人喜歡這麼叫,...

Ubuntu 環境下Python爬蟲的配置

可直接用包管理器安裝 pip sudo apt get install python pip顯示版本和路徑 pip version獲取幫助 pip help公升級pip pip install u pip如果這個公升級命令出現問題,可以使用以下命令 sudo easy install upgrade...

Python 爬蟲2 環境配置

關於環境配置的操作,其實非常簡單,假如不使用第三方的框架的話,只需要安裝python即可完成後續的操作。一 python的安裝和配置 python web 1 python和mongodb安裝 當前的python版本分為2.7和3.5,兩者有明顯的區別而且不相容,這裡我使用的是python 2.7版...