Python爬蟲如何獲取動態內容 下

2021-07-26 15:18:18 字數 743 閱讀 4635

上節我們是說了如何獲取到動態的資料,那麼現在就來說說如何獲取到你想要的資料。

目前我所遇到的有兩種情況。

第一種:

這種的json形式我任務是比較正常的格式,乙個{}裡面有乙個,裡面則是資料資訊

對於這種,可採用以下方式來獲取資料,比如aid,author等資訊

d_hot = d_json['recommend']['list']
這樣一行**就找到了json裡兩個標籤名裡面的內容,獲取的是許多資訊所組成的陣列,根據迭代即可獲得每一條資料

第二種:

首先這裡乍一看和第一種沒有什麼區別。我當時也是沒仔細看直接用第一種方法來得資料,結果一直獲取的是0~7無序的數字。

再仔細看這種情況後,可以發現這裡list下一層是{},不同於。因此,還得再進一步深入。

id = ['0'

, '1'

, '2'

, '3'

, '4'

, '5'

, '6'

, '7']

data =

foriinid:

之後和第一種情況就一樣咯。

Python 爬蟲(獲取小說)

以 筆趣閣 為例 需求 python3版本以上 安裝方法如下 先安裝python3 pip,然後檢查下版本,如果版本可以公升級,就 upgrade pip 一下,然後再安裝beautifulsoup4 sudo apt get install python3 pip pip3 version pip...

python動態爬蟲 Python動態網頁爬蟲技術

這一講,我將會為大家講解稍微複雜一點的爬蟲,即動態網頁的爬蟲。動態網頁技術介紹 動態網頁爬蟲技術一之api請求法 動態網頁爬蟲技術二之模擬瀏覽器法 google chrome driver安裝 課後作業 關於作者 動態網頁技術介紹 所謂的動態網頁,是指跟靜態網頁相對的一種網頁程式設計技術。靜態網頁,...

python爬蟲隨機獲取User Agent

剛剛學習python爬蟲的小夥伴們應該面臨反爬問題,那麼初步解決辦法除了 ip還有就是隨機生成ua 今天給大家推薦兩種隨機生成ua的方法,廢話不多說了,直接上 第一種 1.匯入random模組 importrandom list 3.使用random.choice list 隨機獲取列表中的乙個ua...