歡迎使用CSDN markdown編輯器

2021-07-24 19:36:39 字數 793 閱讀 3571

add_num = 0

current_url = upload_url + str(add_num)

request = requests.get(current_url, headers=head)

python的requests模組有乙個內建的json解碼器,獲取json響應內容:

home_page_json = request.json()
觀察得知:只要載入內容未完,響應裡的count內容就必定大於0,由此為控制條件,且獲取的json響應內容已經轉化為python的字典型資料了,直接通過鍵值對獲取:

if home_page_json['count'] > 0:

for item in home_page_json['obj']:

soup = beautifulsoup(detail_request.text,"html.parser")

for item2 in info.children:

while item2.next != none:

if item2.name == none:

item2 = item2.next

else:

break

最後將資料儲存進指定csv檔案中。

兩種思路的比較:在效率方面第二種方法應該會快一點,因為第一種方法在獲取軟體詳細資訊時還是要經過beautifulsoup這個步驟的,但第一種方法簡單,一目了然,且爬取的資料量不大,效率對比的差距不會很大。

歡迎使用CSDN markdow

本markdown編輯器使用stackedit修改而來,用它寫部落格,將會帶來全新的體驗哦 markdown 是一種輕量級標記語言,它允許人們使用易讀易寫的純文字格式編寫文件,然後轉換成格式豐富的html頁面。維基百科 使用簡單的符號標識不同的標題,將某些文字標記為粗體或者斜體,建立乙個鏈結等,詳細...

歡迎毛毛與妞妞使用CSDN markdown編輯器

建立乙個自定義列表 如何建立乙個註腳 注釋也是必不可少的 katex數學公式 新的甘特圖功能,豐富你的文章 uml 圖表 flowchart流程圖 匯出與匯入 你好!這是你第一次使用markdown編輯器所展示的歡迎頁。如果你想學習如何使用markdown編輯器,可以仔細閱讀這篇文章,了解一下mar...

歡迎使用CSDN markdow1n編輯器

本markdown編輯器使用stackedit修改而來,用它寫部落格,將會帶來全新的體驗哦 markdown 是一種輕量級標記語言,它允許人們使用易讀易寫的純文字格式編寫文件,然後轉換成格式豐富的html頁面。維基百科 使用簡單的符號標識不同的標題,將某些文字標記為粗體或者斜體,建立乙個鏈結等,詳細...