爬取藥監總局中相關企業的詳情資訊

2022-06-23 04:57:14 字數 1006 閱讀 5551

通過抓包工具全域性搜尋定位到動態載入資料的資料報,提取到相關的url和請求引數

通過對比幾家企業詳情頁的url,發現只有請求引數id值不同

請求到的json串就是我們最終想要的詳情資訊!

# 爬取藥監總局中相關企業的詳情資訊 

# 其中一頁的ajax請求url,翻頁: itownet/portalaction.do?method=getxkzslist

# 詳情頁url: itownet/portal/dzpz.jsp?id=ff83aff95c5541cdab5ca6e847514f88(沒用上)

# 企業ajax詳情資料url: itownet/portalaction.do?method=getxkzsbyid

# 爬取一頁

import requests

num = int(input('請輸入要採集的頁面數:'))

headers =

url = 'itownet/portalaction.do?method=getxkzslist'

for i in range(1,num+1):

print('正在爬取第{}頁的資料......'.format(i))

# 進入介面

data =

companies_data = requests.post(url=url,headers=headers,data=data).json()

# 爬取具體企業的詳情資訊

msg_url = 'itownet/portalaction.do?method=getxkzsbyid'

for company in companies_data['list']:

data =

msg_dic = requests.post(url=msg_url,headers=headers,data=data).json()

print(msg_dic['epsname'] + ':' + msg_dic['legalperson'])

爬蟲筆記(二) 爬取藥監局所有詳情頁資料

藥監局 藥監局首頁 詳情頁 目的 爬取藥監局所有詳情頁資訊,儲存在本地,以csv檔案格式儲存。分析主頁 主頁的response返回內容中,包含了這一頁中的所有企業的id 修改網頁引數page可以實現翻頁 所以首先要通過訪問主頁,獲取所有企業id,放到乙個list中。if name main url ...

linux中關閉oracle相關服務和監聽

由於遇到資產檢測,需要把應用系統服務和資料庫服務都停止一段時間,所以需要把oracle服務停了。步驟如下 1.登陸伺服器,然後切換使用者到oracle使用者 su oracle 2.檢視oracle例項和監聽的狀態,ps ef grep oracle 3.如果服務監聽在執行,則關閉。先關監聽,lsn...

Android中判斷網路連線是否可用及監控網路狀態

android中判斷網路連線是否可用及監控網路狀態 獲取網路資訊需要在androidmanifest.xml檔案中加入相應的許可權。1 判斷是否有網路連線 public boolean isnetworkconnected context context return false 2 判斷wifi網...