資料分析 Hive

2021-10-08 12:58:05 字數 528 閱讀 3415

hive可以自由擴充套件集群的規模,一般情況下不需要重啟服務。

hive支援使用者自定義函式,使用者可以根據自己的需求定義函式。

hive容錯性好,節點出現問題sql依舊可以執行。

shell執行資料庫語句:hive -v -e; v表示展示log 資訊e表示直接執行sqly語句

hive -f執行sql指令碼,-e執行shell指令碼更常用

刪除非空的庫drop databases 庫名 cascade;這個casecade慎用!!!

在建立表的時候和mysql不一樣的是後面新增stored as 儲存格式,比如textfile

檢視表結構:desc 表名;

load data local inpath 『路徑』 ;匯入資料,在匯入之前lines terminated by 『\n』就是以換行區分一條記錄,可以省略stored as textfile;預設檔案格式

hive視窗函式:

1.row_number()over();給資料分組編號,可以用來資料去重

2.sum()over()

hive簡單資料分析

select brand id from user log limit 10 檢視日誌前10資料好像也沒啥,和sql相同,limit取前多少條 as取別名 count 聚合函式 select count from user log 用聚合函式count 計算出表內有多少條行資料 distinct不重...

資料分析 資料分析概述

了解業務 了解資料 確認業務和資料 預期分析和管理 資料分析方式01.了解資料資料 1.測量標度型別 屬性本源並不是數字或者符號,通過測量標度將數值或者符號和物件的屬性建立關聯。屬性的型別 測量尺度 nominal 標稱 等於或者不等於 一對一的變換 ordinal 序數 大於或者小於 單調函式的變...

hive 建立臨時表,資料分析更方便

每天一點點,記錄工作中實操可行 過程中,不得不建立多個臨時表,以便於取數工作 公司如果給每個人設定建立臨時表的許可權,那麼,存在資料庫中的表,就會各種。好亂。所以,在日常工作中,怎麼方便的建立臨時用幾次的臨時表呢?hive 中寫法可以是這樣 with z1 as 這是你需要把第乙個表的各種各種各種內...