使用BeautifulSoup解析html頁面

2021-08-27 15:27:26 字數 514 閱讀 7187

1、有很多開源庫以及python自動的htmlparser庫都可以解析html,簡單的功能,用哪個都一樣,看個人習慣,此處簡單介紹一下beautifulsoup的用法,詳細的用法可以參考官方文件[url]

3、**示例

from beautifulsoup import beautifulsoup

import urllib2

content = urllib2.urlopen(url).read()

soup = beautifulsoup(content)

構造soup物件之後,就可以按照soup的語法搜尋標籤了

sub_soup = soup.find(attrs=)

sub_soup = soup.find(attrs=)

sub_content = sub_soup.gettext()

這個gettext返回的是sub_soup標籤之內的所有內容以及子標籤的內容,不包括標籤

BeautifulSoup 安裝使用

linux環境 1.安裝 方法一 解壓 tar xzvf beautifulsoup4 4.2.0.tar.gz 安裝 進入解壓後的目錄 python setup.py build sudo python setup.py install 方法二 快速安裝 ubuntu sudo apt get i...

BeautifulSoup使用相關知識

1基礎使用,獲取某一 內容的h1標籤 2複雜html解析 print name.get text get text 清除標籤,只保留內容 4通過網際網路採集 外鏈 from urllib.request import urlopen from bs4 import beautifulsoup imp...

使用BeautifulSoup解析HTML

通過css屬性來獲取對應的標籤,如下面兩個標籤 可以通過class屬性抓取網頁上所有的紅色文字,具體 如下 from urllib.request import urlopen from bs4 import beautifulsoup html urlopen bsobj beautifulsou...