Python爬蟲 爬取CSDN訪問量

2021-10-09 14:45:08 字數 861 閱讀 1819

import requests


from bs4 import beautifulsoup


# 構造請求頭


headers=


# 傳送get請求


r=requests.get(


"",headers=headers)


# 處理


soup=beautifulsoup(r.text,


'html.parser'


)# 查詢class


t=soup.findall(attrs=)[


3]#方式一


print


(t.parent.string)


#2618


#方式二


soup2=beautifulsoup(


str(t)


,'html.parser'


)print


(soup2.span.string)


#2618


#方式三


# 再次查詢 span標籤的class


ans=soup2.find(


'span'


,class_=


"count"


).contents[0]


print


(ans)


#2618
參考：

1.bs4(beautifulsoup4)獲取div部分文字內容（標籤下的文字及子標籤文字問題）

2.python爬取csdn，獲取個人部落格資訊

3.python中beautifulsoup庫的用法

4.beautifulsoup的find()和findall()

5.beautifulsoup中的find，find_all

node爬蟲爬取csdn資料

必須安裝node，我裝的是8.11.2版本，mac開發 發出http請求 superagent控制併發請求 async eventproxy分析網頁內容 cheerio 直接配置一下package.json dependencies 配置好後 nom install 安裝所需依賴 接下來開始寫爬蟲。...

Python 爬取CSDN部落格文章

新建乙個module，用於根據使用者名稱來獲取文章的url coding utf 8 from bs4 import beautifulsoup import requests 獲取部落格文章數量 def get page size user name article list url user n...

Python 爬蟲爬取網頁

工具 python 2.7 import urllib import urllib2 defgetpage url 爬去網頁的方法 request urllib.request url 訪問網頁 reponse urllib2.urlopen request 返回網頁 return response...