Log Parser匯入日誌到到MSSQL資料庫中

2022-02-23 23:35:26 字數 2184 閱讀 2039

log parser是一款很不錯的iis日誌分析工具,之前也一直使用,主要對iis 日誌(log)彙總和報表。但是卻從沒有利用它將iis日誌完整的匯入到資料庫這一功能。

這兩天,公司需要對乙個站點某一天的iis日誌(log)進行詳細分析,出一些詳細pv、ip 還有許多自定義的報表,最後想了想,也只能將這些日誌匯入到資料庫(sql server 2005)中彙總了。由於這一天站點的pv是500w左右,iis 日誌記錄有 600w左右,最後整理了下思路,決定採用 log parser 將iis 日誌匯入到資料庫中.

開啟 log parser 的幫助,在 log  parser - > reference - > output formats - > sql - > examples 找到了相應的操作,如下:

logparser "

select

path, keyname, valulename

into

mytable

from

\hklm"

-i:reg

-o:sql

-server:myserver

-database

:mydatabase

-driver:"sql server"

-username:testsqluser

-password:testsqlpassword

-createtable:

on

可是按照幫助上的例子,匯入了將近乙個小時也沒有成功,最後,沒辦法,google 半天,找到了正確的命令:

logparser "

select

*from

d:\1

.log

toiislog_table"

-o:sql

-server:

192.168

.1.88

-driver:"sql server"

-database

:test

-username:sa

-password:

111111

-createtable:

on

之後開始了匯入工作。利用 logparser 將 iis log(iis 日誌) 匯入到 sql server,總體來說非常不錯,十分簡單,就是速度不是十分的快,算了下,大概一秒只能匯入 1200 條 記錄左右,當然,這也和我的電腦配置有關係的。建議,匯入前,先進行排除下,比如,排除掉 .jpg 或者 其他格式結尾的頁面

如果不使用trusted_connection=yes連線方式,可指定:-username:uname -password:passwd-createtable:off

藍色的地方,利用to_timestamp函式將 date 與 time 合併成乙個 datatime 型態的字段。再利用to_localtime函式,將 iis log 內的 utc 時間,轉換成本地時間 (gmt +8)。

紅色的地方,依照自己的設定環境加以更換。

使用Log Parser分析日誌

我們可以對windows日誌進行分析 比如我們分析域控日誌的時候,想要查詢賬戶登陸過程中,使用者正確,密碼錯誤的情況,我們需要統計出源ip,時間,使用者名稱時,我們可以這麼寫 select timegenerated,extract token strings,0,as username,extra...

使用LogParser分析日誌

系統運維,少不了分析系統日誌,微軟有個工具log parser可以幫助你分析日誌。它功能強大,使用簡單,可以分析基於文字的日誌檔案 xml 檔案 csv 逗號分隔符 檔案,以及作業系統的事件日誌 登錄檔 檔案系統 active directory。它可以像使用 sql 語句一樣查詢分析這些資料,甚至...

log parser分析windows日誌

首先將windows安全日誌匯出,步驟如下 執行eventvwr.msc命令,開啟windows日誌,如下圖,將所有事件另存為 儲存完之後是乙個.evtx格式的檔案,將使用log parser分析這個匯出的日誌 分析命令如下 logparser.exe i evt select timegenera...