參考 《大資料之路 阿里巴巴大資料實踐》
日誌規模化採集方案的目標：
1、實現與終端技術特點無關
2、高度擴充套件性
3、高度適應性
海量日誌資料的 採集、傳輸、處理、應用的過程優化：
1、日誌的請求url盡可能的靠前的布置路由差異，今早的進行分流。降低日誌處理過程中分支判斷消耗，並作為後續資源調配的前提，提高資源利用率。
2、日誌伺服器進行分流。結合日誌的重要程度及各類日誌的大小，實現伺服器層面的分流。
3、由伺服器像客戶端推送配置，實現客戶端日誌採集方案的動態調整。高峰時期推送配置，對非重要日誌進行限流，錯峰後恢復。
配置首先包括作用範圍，可以針對應用、平台、事件、事件中的某個場景等進行限制
其次包括具體實施，包括延遲上報、部分取樣等。
4、針對於實時性要求比較高的日誌，從業務上進行改造，實現端上記錄，以及鏈路各環節進行優化，如採集伺服器直接呼叫業務api實現業務計算，減少傳輸過程和過多的處理。
備註：部分取樣：即滿足條件的日誌將被實施取樣。
延遲上報：即配置生效後，滿足條件的日誌將被暫時存在客戶端，待配置恢復後再上傳到伺服器
埋點日誌MySQL 資料採集之js埋點
worker processes 2 events if ngx.var.arg domain then ngx.location.capture i log?ngx.var.args utrace uid end add header expires fri,01 jan 1980 00 00 0...
Nginx 配置埋點js日誌採集
需要統計的頁面都匯入js統計 根據要統計的資訊訪問統計伺服器api位址 要統計的內容舉例 ip什麼的就不上報了，交給nginx 然而真實的統計 是要做容錯處理的，比如說乙個頁面套乙個頁面的時候會不會統計兩次，要不要加全域性鎖，防止呼叫一次以後再呼叫統計多次的問題.nginx併發效能很強勁，所以選用它...
日誌資料收集埋點事件
大資料操作第一步，就是收集使用者資料，在前端頁面編寫js 用於傳送日誌資料 這種操作稱為埋點 埋點分三種 埋點 資料視覺化埋點 全埋點埋點主要關注兩點 地點和資料 埋點事件 也就是自定義指令，在需要的地方給標籤屬性即可。減少 量 vue main.js檔案下處理 埋點處理 vue.directive...