hive應用例項1

2021-06-21 23:02:35 字數 1088 閱讀 1127

我們沿用之前hadoop  wordcount的結果資料:

[hadoop@icity0 ~]$ hadoop fs -cat /wc/out/part-r-00000

warning: $hadoop_home is deprecated.

beautiful1

day1

dear2

hello2

hometown1

honey2

is2my2

one1

sunny1

this1

today1

world3

現在我們在hive上新建一張wordcount的資料表,然後將hdfs 中的/wc/out/part-r-00000資料匯入到hive中:

cd hive/bin

./hive

create table wordcount(name string,id int) row format delimited fields terminated by '\t';

load data inpath 'hdfs://icity0:9000/wc/out/part-r-00000' into table wordcount;

查詢wordcount資料表:

統計wordcount 資料表中的不同的單詞個數,及count

從這個結果中,其實可以看出,我們之前所說的結論:

查詢是通過mapreduce來完成的(並不是所有的查詢都需要mapreduce來完成,比如select * from ***就不需要;

Hive應用例項 WordCount

參照書籍 大資料技術原理與應用 準備工作 1.找到所在路徑,啟動hadoop,啟動hive cd usr local hadoop sbin start dfs.sh 啟動hadoop hive 啟動hive 2.準備兩個txt檔案,為詞頻統計準備資料 cd mkdir hivetest 建立hiv...

KLEE應用例項1

原文 這個例項用來引導你完成乙個最簡單的測試。1 下面是乙個待測試的函式,int get sign int x 這個函式就是根據輸入的x,返回 1 0 1表示x的符號。2 符號化輸入 為了利用klee測試這個函式,首先需要設定符號化輸入,也就是把輸入變數符號化。這裡用到 klee make symb...

awk sed 應用例項1

昨天,一位群友在群裡面問如何使用 sed 生成目標格式的問題。問題的詳細描述如下 乙個檔案中有多行資料,每一行資料的格式如下 a b c d x y輸出資料格式如下 a b b i c i d e v b g e 通過對輸入與輸出的分析,不難看出開頭的乙個欄位要新增 b 字尾,中間字段新增 i 字尾...