Hive 配置 牛刀小試

1）linux 6.4

2）jdk 1.8.0_201

3）hadoop 2.7.3

4）apache-hive-1.2.1-bin.tar.gz

5）mysql 5.x

hive是基於hadoop的乙個資料倉儲工具，可以將結構化的資料檔案對映為一張資料庫表，並提供簡單的sql查詢功能，可以將sql語句轉換為mapreduce任務進行執行。 其優點是學習成本低，可以通過類sql語句快速實現簡單的mapreduce統計，不必開發專門的mapreduce應用，十分適合資料倉儲的統計分析。

將sql語句轉換成mapreduce程式，並且提交到yarn上執行，讀取hdfs上的資料進行處理。

1）上傳、解壓、重新命名

2）修改配置檔案

hive-env.sh

重新命名

mv hive-env.sh.template hive-env.sh

3)建立資料倉儲

hive 的資料需要儲存到hdfs，hive會去讀預設路徑，但是這些目錄是空，需要去建立

4)基本使用

啟動互動式命令：bin/hive

1)準備資料上傳到linux中

tb_word.sql

zs	1

ls 1
zs 1
wu 2
zs 1
wu 8
ml 1
zs 1

使用default建立資料表

create table tb_word(

word string,
count int
)row format delimited fields terminated by '\t'
lines terminated by '\n';
drop table if exists tb_word

load data local inpath '/opt/datas/tb_word.sql' into table tb_word;

select

word,count(count) count
from tb_word
group by word

nodejs 牛刀小試

目前在做乙個使用者登入驗證的案例 真是彎路 彎路 再彎路啊 不多說上 用到的模板 express 資料庫mysql 使用者校驗 socket.on judgeuser function nickname function err1,rows if rows.length 0 else 使用者註冊 s...

查詢 牛刀小試

給定乙個值k，在含有n個記錄的表中找出關鍵字等於k的記錄。若找到則返回該記錄的的位置或資訊，否則查詢失敗，返回相關的指示資訊。一 順序查詢 思路 元素沒有順序，因此要掃瞄整個陣列中的所有元素，逐個與k比較 相等則查詢成功，返回該元素位置 如果掃瞄結束沒有發現和k相等的元素，返回0 int searc...

dynamic 牛刀小試

今天在網上看帖時看到了這樣乙個問題 現在我用反射 personmodel.dll 呼叫乙個型別方法 getallpersons 返回person,其中person為 personmodel.dll 在定義，請問，我要怎麼操作才能取回返回的陣列值呢？恰好手頭沒事做，就順手寫了乙個demo，但在獲取到結...