python爬蟲入門

初學者要學會基本的爬蟲

先要安裝包requests

requests的安裝

開啟這個**， 

在這個**上面有很多 python 的第三方庫檔案，我們按 ctrl+f 搜尋很容易找到 requests 。如下圖，

我們將第乙個資料夾，也就是 requests 資料夾複製到 python 的安裝目錄下的 lib 目錄下

3. 到這裡，requests 已經安裝完畢，我們可以輸入 import requests 命令來試試是否安裝成功，

如上圖所示，import requests 沒有報錯，說明 requests 已經成功安裝了。

下面開始第乙個網頁爬蟲：

1獲取該頁面的源**

2 有些網頁禁止使用爬蟲訪問源** 所以要加個頭的**讓伺服器誤以為瀏覽器訪問

修改http頭繞過簡單的反爬蟲機制

#-*—coding:utf8-*-

import requests
import re
#下面三行是編碼轉換的功能，大家現在不用關心。
import sys
reload(sys)
sys.setdefaultencoding("utf-8")
#hea是我們自己構造的乙個字典，裡面儲存了user-agent
# html = requests.get('')
html = requests.get('',headers = hea)
html.encoding = 'utf-8' #這一行是將編碼轉為utf-8否則中文會顯示亂碼。
print html.text

下面是乙個實戰的文字爬蟲：

Python爬蟲入門

今天看了菜鳥教程的python教程，準備做個小作業寫個爬蟲程式。其中主要涉及到基本語法 正規表示式 urllib和re兩個模組。import urllib 載入模組 import re defgethtml url page urllib.urlopen url html page.read ret...

python爬蟲入門

這幾天閒的無聊想做乙個爬蟲來爬取一些 正經 首先選擇用python作為爬蟲的語言。但是沒有接觸過python怎麼辦呢，只能從頭開始學了。python學習位址這個是廖大神寫的乙個python入門，個人感覺寫的非常不錯，在粗略的學習了一遍之後感覺可以開始我的爬蟲之旅了。目標 抓取中妹子的儲存在本地 接下...

python爬蟲入門

首先注意，學習新東西，需要迅速的成就感，所以有其他程式語言基礎或者略懂的同志們，可以直接上手寫 不會學 先搞個基本例子，有結果的 之後在繼續深入研究 這是乙個可以直接看到列印結果的菜鳥級爬蟲 開啟連線的基本 可以獲取網頁編碼 其實天下文章一大抄，也能先抄抄 先爽了再說 from urllib imp...