1、安裝beautifulsoup4庫
python -m pip install beautifulsoup4 或者使用原始碼安裝
c:\users\administrator\desktop\test_python>python -c 「import bs4」
2、檢視要爬取網頁結構
可以發現裡面有href屬性的標籤名有link或者a，那麼在抓取位址的時候這兩種情況都要考慮到…
3、編寫爬起指令碼
from urllib.request import urlopen
from bs4 import beautifulsoup
#獲取乙個html物件
html = urlopen(
"")#獲取乙個beautifulsoup物件
bsobj = beautifulsoup(html,features=
"html.parser"
)#分兩步爬取，分別爬取標籤為a和link，並儲存到不同步的結果集中
linksl = bsobj.findall(
"link"
)linksa = bsobj.findall(
"a")
#建立乙個列表用於儲存href屬性值
hrefs =
#將字典中href屬性的都追加到hrefs列表中
#列印出結果
for href in hrefs:
print
(href)
**爬取結果如下：**..
python爬蟲 第乙個爬蟲
1.本地安裝了nginx,在預設的html目錄下建立測試html 如圖，即index.html導向a,b,c 3個html,a.html又可以導向aa,bb兩個html,c.html可以導向cc.html。2.修改nignx配置使得本地可以訪問寫的kmtest裡的index.html。參考文件 ng...
Python 第乙個爬蟲
1 import urllib.request 2importre3 4class downpic 56 def init self,url,re str 7 self.url url 8 self.re str re str910 defgethtml self,url 11 page urlli...
第乙個爬蟲
很多人學習python的目的就是為了學習能夠實現爬蟲的功能，這裡，我使用了scrapy框架來實現了乙個簡單的爬蟲功能,這裡我簡單的介紹一下scrapy專案的建立，和執行。1，第一步是安裝scrapy，我相信到了這一步，大多數人都已經會安裝第三方庫檔案了，這裡主要是使用命令pip install sc...