資料儲存優化 (一)：儲存格式對比json、protocolbuffer
1、日誌由前端sdk收集，2、格式為json，json有多種型別，子節的各異
3、不同版本的sdk，json類別也不同
4、每天的資料量為1.5t(備份3份)
1、原始資料保留1乙個月（json）2、從原始資料中抽取可能用到的字端保留5個月（protocolbuffer）
1、由前端sdk組提供具體json格式2、討論構建資料倉儲需要的json的具體字段
3、依據已定的格式進行儲存格式轉換json->protocolbuffer
4、重跑歷史資料，儲存格式轉換protocolbuffer->json
1、相容歷史的程式2、減少資料的儲存空間
3、可以實現歷史資料的重跑
沒有達到預期的效果分析原因：
1、pro格式的轉換的只是節點、符號
2、資料來源中某個字端的資料量過大佔據每條資料的95%
1、優先分析日誌量大原因，分析方向：內容，結構2、內容過多可以通過改變壓縮格式來降低儲存
3、結構原因可以通過改變結構來實現優化
Android資料儲存優化
年前在公司做了從sharedpreferences到 mmkv 的遷移，所以借這次機會和大家討論一下android儲存優化。我們為什麼要去做儲存優化？歸根到底，還是sharedpreferences不太給力 增量更新導致檔案寫入的時間長。執行緒安全問題和潛在的anr。不能跨程序，不過跨程序的使用場景...
資料庫儲存優化
一 資料庫設計過程中的優化 資料庫設計過程中的優化，指的是索引優化及欄位設計的優化等。mysql的索引優化尤為重要，合理地進行索引優化，可以大大提高資料庫效能，避免資料庫瓶頸。在進行資料庫設計時，應該盡量把資料庫設計得佔磁碟空間更小。資料庫設計過程中的一些優化技巧如下 盡可能使用更小的整數型別 me...
優化Oracle的資料儲存
前幾天有幸和蓋國強老師做了乙個技術交流，從中學到了不少關於oracle的相關知識，其實感受最深的是優化儲存。傳統的儲存我們一般通過表空間規劃，表和索引的分離來提搞效能。但是隨著軟硬體的提高，現在可以更簡單的來優化資料儲存。眾所周知，ssd的i o效能指 標 iops 即每秒多少次io動作 上，可以達...