hive 配置，hive是facebook開源的，用於解決海量結構化資料的統計,它提供了sql查詢功能
hive架構:
1. 底層的hdfs
2. yarn 的mapreduce 計算(sql語句執行)
3. meta store 可以是mysql，也可以是預設的
配置:1. 在hive-env.sh中配置:
hive_conf_dir
hadoop_home
2. hdfs檔案系統中建立檔案:
hadoop fs -mkdir /tmp
hadoop fs -chmod g+w /tmp
hadoop fs -mkdir -p /user/hive/warehouse
hadoop fs -chmod g+w /user/hive/warehouse
hive 的使用:
1. hive 中不提供update和delete 單條紀錄的語句
2. 它提供sql語句，建立表，插入資料(將一條資料覆寫，可能達到update的操作)等，另外他還提供 load local data
3. hive中有兩種表
內錶： 資料存放在 /user/hive/warehouse
外表: 資料存放在其它地方，(建立表的時候加external關鍵字) 可能是hbase，或hdfs其它地方
內外表的刪除是有區別的:
內錶: 由hive管理，刪除表時，元資料與資料都將被刪除
外表: 刪除表時，只刪除元資料
hive還有乙個分割槽操作,可以新增分割槽.
演算法 矩陣以及運用
定義 在數學中，矩陣是乙個按照長方陣列排列的複數或實數集合 這是乙個很簡單的定義。矩陣加減法 對於兩個相同大小的矩陣，直接把相同位置的元素相加即可，如下圖 這個好像並沒有什麼用 對於兩個矩陣，當且僅當其中乙個矩陣的行與另乙個矩陣的列時，兩個矩陣相乘才有意義。設 a 為 p m 的矩陣，b 為 m q...
hive 配置檔案以及join中null值的處理
一 hive的引數設定 1.三種設定方式 配置檔案 使用者自定義配置檔案 hive conf dir hive site.xml 預設配置檔案 hive conf dir hive default.xml 使用者自定義配置會覆蓋預設配置。另外，hive也會讀入hadoop的配置，因為hive是作為h...
HIVE架構以及HIVE常見問題
hive是執行在yarn上的，資料儲存在hdfs上。將sql語句轉換為mapreduce，當然hive本身做了一些優化，有些任務不會走mapreduce。hive其實就是把結構化的資料檔案對映到表中，hive表的元資料資訊儲存在關係型資料庫中，具體可以參見我的另一篇部落格，配置了mysql資料庫。s...