對網頁結構和 html 有了一些基本認識之後, 咱們就能用 python 來爬取這個網頁的一些基本資訊. 首先要作的, 是使用 python 來登陸這個網頁, 並列印出這個網頁 html 的 source code. 注意, 由於網頁中存在中文, 為了正常顯示中文, read() 完之後, 咱們要對讀出來的文字進行轉換, decode() 成能夠正常顯示中文的形式.we
rom urllib.request import urlopen
html = urlopen(
"").read().decode('utf-8')
print(html)
這是乙個在 莫煩python
爬蟲教程 中的簡單測試.
咱們總結一下爬網頁的流程, 讓你對 beautifulsoup 有乙個更好的定位.
選著要爬的** (url)
使用 python 登陸上這個** (urlopen等)
讀取網頁資訊 (read() 出來)
將讀取的資訊放入 beautifulsoup
使用 beautifulsoup 選取 tag 資訊等 (代替正規表示式)
初學的時候老是搞不懂這些包是幹什麼的, 如今你就能理解這個 beautifulsoup 究竟是幹什麼的了.
等什麼, 知道 beautifulsoup 這麼方便, 咱們就趕忙裝乙個吧. 安裝的步驟很簡單, 用 pip 就能輕鬆安裝.
# python 2+
pip install beautifulsoup4
# python 3+
pip3 install beautifulsoup4
此次咱們仍是爬一爬上次爬的那個基本網頁. beautifulsoup 使用起來很是簡單, 咱們先按常規讀取網頁.
from bs4 import beautifulsoup
from urllib.request import urlopen
html = urlopen("").read().decode('utf-8')
print(html)
和全部連線 .
這是乙個在 莫煩python
爬蟲教程 中的簡單測試.
soup = beautifulsoup(html, features='lxml')
print(soup.h1)
""""""
print('\n', soup.p)
"""這是乙個在 莫煩python
爬蟲教程 中的簡單測試.
"""
"""
爬蟲教程
"""all_href = soup.find_all('a')
all_href = [l['href'] for l in all_href]
print('\n', all_href)
# ['', 'tutorials/scraping']
網頁爬蟲php,php網頁爬蟲
網頁爬蟲 最簡單的使用,屬性都採用預設值 curl curl init output curl exec curl curl close curl echo output 稍微複雜一點的，對頁面進行操作 curl curl init curl setopt curl,curlopt url,可以動態...
網頁爬蟲 靜態網頁《一》
一 通過jsoup請求獲取 網頁審查元素。eg request path document doc jsoup.connect request path get 二 檢視需要扣取資料的標籤，通過日誌輸出 doc的body。eg log.v tag,body doc.body 三 檢視列印的日誌，找到...
android ios 網頁爬蟲
最近專案中需要用到公積金相關的資料，但是公積金那邊又沒有提供相關的開放介面供呼叫，因此動手把公積金的網頁抓下來對資料進行解析，拿到資料。廢話不多說，以昆明公積金為例進行分析下。準備 1.昆明公積金官網 2.抓包工具 httpwatch fiddler 4.html解析jar包 一般 抓資料流程分析 ...