簡易輕量級http介面採集器

2021-09-29 08:10:43 字數 2055 閱讀 5688

#配置路徑,key為具體的類別,value為具體的路徑

__pathconfig__ =

#獲取當日

defget_today()

:import time

return time.strftime(

'%y%m%d'

,time.localtime(time.time())

)#例項bottle

)#路由/hell//

#例如:訪問127.0.0.1:9001/hell/network/cisco

#例如:訪問127.0.0.1:9001/hell/network/hw

'/hell/:classone/:classtwo'

)def

hell

(classone,classtwo)

:#獲取常用請求資訊列印

req_info =

logging.debug(

'receive one req:{}'

.format

(str

(req_info)))

try:

if classone in __pathconfig__.keys():

#拼接目標檔案路徑

locale_file = __pathconfig__[classone]

+'/'

+'metric_'

+ classone +

'_'+ classtwo +

'_'+ get_today(

)#轉換字典,如果請求非json,此處會直接raise異常,建議該介面全部送json串,

post_data = request.json

#轉換字串

str_data = json.dumps(post_data)

#判斷檔案

ifnot os.path.exists(locale_file)

: os.mkdir(os.path.dirname(locale_file)

)#落地檔案

with

open

(locale_file,

'a')

as f:

f.write(str_data +

'\n'

) logging.debug(

"file has been writen succeed in the {} :{}"

.format

(locale_file,str_data)

)return

'succeed'

else

: logging.warning(

'receive one error path:{}'

.format

(request.url)

)return

'path error!'

except exception as e:

#返回異常

logging.error(e)

return

'exception error'

finally

:pass

#啟動server

'127.0.0.1'

,port=

'1234'

)#測試

python爬蟲(簡易網頁採集器)

爬蟲基本流程 1 指定url 2 基於requests模組發起請求 3 獲取響應物件中的資料值 4 持久化儲存 關於爬蟲的君子協議 robots.txt 在 名後加 robots.txt檢視可以爬取的資訊 如 user agent 請求載體的身份標識 開啟瀏覽器,按f12出現抓包工具 如圖 可以使用...

輕量級HTTP伺服器Nginx(安裝篇)

root localhost home tar zxvf pcre 8.02.tar.gz root localhost home cd pcre 8.02 root localhost pcre 8.02 configure root localhost pcre 8.02 make root l...

輕量級HTTP伺服器Nginx(入門篇)

一 什麼是nginx 相信很多讀者都對apache非常熟悉,與apache類似,nginx是一款高效能的http和反向 伺服器軟體,也是乙個 imap pop3 smtp 伺服器。nginx 發音是 engine x 由俄羅斯的程式設計師igor sysoev所開發 igor將源 以類bsd許可證的...