個人收藏夾 3 藥監局爬取

2021-10-19 08:00:08 字數 894 閱讀 2985

#!/usr/bin/env python

#-*- coding:utf-8 -*-

import requests

import json

id_list=

detail_all=

if __name__==

"__main__"

:#準備post方法的url,data,headers引數

url=

""for page in range(1,6):

page=str(page)

data=

headers=

#呼叫requests模組的post請求並轉換為json格式

response=requests.post(url=url,data=data,headers=headers).json(

)#將response中的"id"所對應的值賦給列表id_list

for dic in response[

'list'

]:'id'])

post_url=

''#獲得企業詳細資料

forid

in id_list:

data=

detail_message_json=requests.post(data=data,headers=headers,url=post_url).json(

)#持久化儲存資訊

fp=open(

"./藥監局化妝品公司資訊.json","w",encoding=

"utf-8"

)json.dump(obj=detail_all,fp=fp,ensure_ascii=false)

print(

"over!!!"

)

京東收藏夾

木書架網,有需要多讀書筆記,還不錯。知乎 怎麼使用github。ubuntu wiki makefile的編寫規則 豆瓣書單之機器學習 機器學習的乙個入門 外文的。菜鳥教程 83款開源爬蟲框架介紹 七月演算法,有一些教程。youngzh的scrapy教程 july的csdn部落格 linux快速教程...

資源收藏夾

coursera 涉及藝術與人文 商務 電腦科學 資料科學 生命科學 數學與邏輯 個人發展 物理科學與工程 社會科學 語言學習等方面。推薦吳恩達的machine learning 阿里雲大學 edx 需翻牆 網易公開課 國內外名校公開課,推薦看ted 可汗學院公開課 史丹福大學公開課 機器學習 麻省...

我的收藏夾

2ndspace betaplace 首頁.區 驅動開發網 驅動程式開發,系統核心,硬體設計 pci,isa,usb 嵌入式裝置,掌上電腦開發,積體電路設計 嵌入式研究網 emb.windowsce,wince,mobile,artphone,palmos,rtos,linux,arm,vxwork...