資料分割槽儲存
在topic內設定了多個分割槽，使kafka的消費者程序池能得到有序性保證和負載均衡，使得topic對應的消費組裡的消費者們各自可以獨享乙個分割槽。如此的話，每個消費者是其消費的分割槽的唯一reader，在單個reader下當然保證了有序這件事。而且多個分割槽也使得負載可以比較平衡。
具體流程：
1. producer根據指定的partition方法，將訊息發布到指定topic的partition裡面
2. kafka集群接收到producer發過來的訊息後，將其持久化到硬碟
3.consumer從kafka集**ull資料，並控制獲取訊息的offset
資料加密儲存
索引效率優化
索引是提高資料查詢最有效的方法，也是最難全面掌握的技術，因為正確的索引可能使效率提高10000倍，而無效的索引可能是浪費了資料庫空間，甚至大大降低查詢效能。索引的管理成本 1 儲存索引的磁碟空間 2 執行資料修改操作 insert update delete 產生的索引維護 3 在資料處理時回需額外...
索引效率優化
索引是提高資料查詢最有效的方法，也是最難全面掌握的技術，因為正確的索引可能使效率提高10000倍，而無效的索引可能是浪費了資料庫空間，甚至大大降低查詢效能。索引的管理成本 1 儲存索引的磁碟空間 2 執行資料修改操作 insert update delete 產生的索引維護 3 在資料處理時回需額外...
hivesql 效率優化
1.group by 資料傾斜問題 hive是根據group by 的key進行資料分發的，某個key相同的資料太多的會被分發到乙個reducer上，key的資料分布不均勻會導致大量資料被shuffle到某個或者某些reducer上，出現嚴重的資料傾斜，使得資料計算變慢 配置任務引數 set hiv...