國內外新冠肺炎實時資料爬蟲

2021-10-17 16:13:50 字數 3731 閱讀 8086

本文獲取的是歷史資料和當日詳細資料,返回的資料型別是json資料,其中的provincecompare欄位是各省的總體情況,如果想做國外爬蟲可沒問題,可以參看我提供的url

注意,中國當天的資料在chinadaylist欄位的最後

import pymysql

import time

import json

import traceback #追蹤異常

import requests

import utils

defget_tencent_data()

:"""

:return: 返回歷史資料和當日詳細資料

"""# 乙個國內資料介面

# url = ''

# 獲取國外疫情資料是這個介面

# url = ''

url =

''headers =

r = requests.get(url, headers)

res = json.loads(r.text)

# json字串轉字典

data_all = res[

'data'

] data_all = json.loads(data_all)

history =

# 全國歷史資料

for i in data_all[

"chinadaylist"]:

ds =

"2020."

+ i[

"date"

] tup = time.strptime(ds,

"%y.%m.%d"

) ds = time.strftime(

"%y-%m-%d"

, tup)

# 改變時間格式,不然插入資料庫會報錯,資料庫是datetime型別

i['date'

]= ds

del i[

'y']

history_add =

# 全國歷史新增型別的資料

for i in data_all[

"chinadayaddlist"]:

ds =

"2020."

+ i[

"date"

] tup = time.strptime(ds,

"%y.%m.%d"

) ds = time.strftime(

"%y-%m-%d"

, tup)

# 改變時間格式,不然插入資料庫會報錯,資料庫是datetime型別

i['date'

]= ds

del i[

'y']

city =

# 各城市當日詳細資料

data_province = data_all[

"statisgradecitydetail"

]# 中國各省今天情況,provincecompare是各省的總體情況

for city_infos in data_province:

province = city_infos[

"province"

] name = city_infos[

"city"

] confirm = city_infos[

"confirm"

]# 累計確診

confirm_add = city_infos[

"confirmadd"

]# 新增

heal = city_infos[

"heal"

]# **

dead = city_infos[

"dead"

]# 死亡

ds =

str(city_infos[

'syear'])

+'/'

+ city_infos[

"date"

] tup = time.strptime(ds,

"%y/%m/%d"

) ds = time.strftime(

"%y-%m-%d"

, tup)

) pro =

# 各省的資料

for pro_name,pro_info in data_all[

'provincecompare'

].items():

name = pro_name

nowconfirm = pro_info[

'nowconfirm'

] confirmadd = pro_info[

'confirmadd'

] dead = pro_info[

'dead'

] heal = pro_info[

'heal'

] zero = pro_info[

'zero'])

return history,history_add,city,pro

print

('執行spyder.py檔案'

)if __name__ ==

'__main__'

: data = get_tencent_data()[

print

(i)for i in data]

以前還寫過乙個低階版本的,也放上來吧,能獲取到的資訊也是很多的,只不過我只提取了各省份的資訊

import requests

import json

# url=''

# url=''

# 還有乙個

# url=

''response=requests.get(url)

.text

first_index=response.find(

'(')

response=response[first_index+1:

-1]# re.findall('id="captain-config">',response)

data=json.loads(response)

['data'

]data=json.loads(data)

['areatree'][

0]['children'

]# 得到乙個列表,裡面是我們想要的資訊

for i in data:

print

(i) name=i[

'name'

]# 疫情地區

today_add=i[

'today'][

'confirm'

]# 新增

nowconfirm=i[

'total'][

'nowconfirm'

]# 現有

confirm = i[

'total'][

'confirm'

]# 累計

heal = i[

'total'][

'heal'

]# **

dead = i[

'total'][

'dead'

]# 死亡

# print((name,today_add,nowconfirm,confirm,heal,dead))

# print(i,data[i])

國內外監控服務

一 dot com 監控網 美國 1 監控原理 他的 監控,是以乙個模擬 請求,發到被監控站點,從返回的狀態碼 500,404,301,200等判斷站點是否可用,同時,可以檢查網頁上的特定文字內容。2 報表 有基本的狀態報表,顯示 是 down 還是ok 3 報 式 有 和簡訊等,不過基本針對美國。...

DB Audit國內外產品

其實這種入侵威脅存在已久,資料庫及其相關的安全問題一直是目前研究的弱項,其主要原因是對db操作協議的解析能力不足。目前比較常用的防護和措施是系統補救,如 嚴格設定系統許可權,dba在db安裝時不得使用admin使用者安裝 嚴格限制db擴充套件呼叫,用系統級的shell或wrape技術對db程序進行監...

國內外OJ簡介

主流的幾個像poj zoj hduoj hoj 哈工大 hust 華中科大 的幾個就不介紹了!下面介紹幾個很不錯但是很少人知道的oj!希望對讀者有些許幫助!以下的介紹順序不是按任何順序排列的,為看到想到才寫的!若有不妥之處,請讀者見諒!介紹 vijos是vivian snow是湖南師大附中的劉康 個...