**：
大資料處理是雲計算中非常重要的領域，自google公司提出mapreduce分布式處理框架以來，以hadoop為代表的開源軟體受到越來越多公司的重視和青睞。本文將講述hadoop系統中的乙個新成員：impala。
impala架構分析
impala是cloudera公司主導開發的新型查詢系統，它提供sql 語義，能查詢儲存在hadoop的hdfs和hbase中的pb級大資料。已有的hive系統雖然也提供了sql語義，但由於hive底層執行使用的是 mapreduce引擎，仍然是乙個批處理過程，難以滿足查詢的互動性。相比之下，impala的最大特點也是最大賣點就是它的快速。那麼impala如 何實現大資料的快速查詢呢？在回答這個問題前，需要先介紹google的dremel系統，因為impala最開始是參照 dremel系統進行設計的。
大資料學習筆記 1 1 了解大資料
三 bigtable 大表 nosql資料庫 hbase 首先引入兩個個大資料應用場景 從以上兩個例子可以引出大資料的兩個核心問題 資料的儲存 分布式的檔案系統 hdfs hadoop distributed file system 資料的計算 資料的計算 不是演算法 分布式的計算 mapreduc...
大資料學習筆記1
文件分類 通常文件中最常出現的詞都是無意義的常用詞，而關於主題的詞語通常出現的並不多，但又不是所有少見的詞都有用。1.找出跟主題相關的重要詞彙 2.計算tf.idf，度量給定詞語在少數文件中反覆出現程度的形式化指標稱為tf.idf term frequency,inverse document fr...
大資料學習筆記（05）
大資料學習筆記 05 nginx配置 master processes 只有乙個 worker processes 1 工作程序數，預設為1，可以改為auto，即啟動與cpu核數相同的worker程序 tengine worker connections 單個worker processes最大的併...