接著前一篇文章所說，在hbase入庫效率上有較大作用的幾個因素
一、writebuffersize大小的設定，太大和太小都會使速度下降。原因是太大每次提交數量大，提交頻度下降；太小每次提交數量小，提交頻度高。按照目前的測試結果來看64mb是乙個理想值
二、硬碟配置，在底層的hadoop上不要對硬碟做raid，能夠充分利用每塊磁碟的使用效率
三、regionserver的flush大小，region最大size。這裡flushsize盡量配大，4g，region最大size可以配很大，使得region盡量不去**
四、關閉wal，在測試的時候居然發現速度下降，具體原因還不清楚。
Hbase中Rowkey設計對入庫效率的影響
rowkey是hbase每一行記錄的唯一標識，在設計rowkey時，不僅要考慮業務需求，也需要考慮hbase本身的特性。如果rowkey設計不合理，不僅不能充分發揮hbase集群並行處理的優勢，還會造成資料傾斜 region熱點等影響讀寫效率的問題。rowkey設計原則 rowkey設計一般遵循以下...
sqlite提公升效率
前言 sqlite資料庫由於其簡單 靈活 輕量 開源，已經被越來越多的被應用到中小型應用中。甚至有人說，sqlite完全可以用來取代c語言中的檔案讀寫操作。因此我最近編寫有關遙感資料處理的程式的時候，也將sqlite引入進來，以提高資料的結構化程度，並且提高大資料的處理能力 sqlite最高支援2p...
怎樣提公升效率
今年3月份我順利通過了 pmp 考試，接著參加了5月的軟考，報考的是資訊系統專案管理師 高階 也順利通過。半年時間，同時通過這兩個考試，確實不易。之前我乙個同事單軟考那個就考了三回，歷時兩年。公司領導和同事對此都很吃驚，紛紛問我是怎麼做到的？平時我工作也很努力，空閒時間不多，怎麼半年時間就完成了很多...