hive部落格學習

2021-08-28 23:51:44 字數 394 閱讀 1644

1,在hive 中如何實現高效的join查詢

學習部落格:

a,map端進行join

b,正常連線,表的大小接近,需要優化

c,先排序然後算hash放到bucket,再連線

2,hive資料傾斜產生和解決辦法

學習部落格:

3,hive常用內建函式及其使用

學習部落格:

show functions;

4,hive shell高階使用方式

學習部落格:

這個部落格範圍比較全

5,hive 常用引數優化

學習部落格:

6,hive 自定義函式和transform的使用

學習部落格:

7,hive udf/udaf開發例項

學習部落格:

Hive學習筆記 Hive 引數

第一部分 hive 引數 hive.exec.max.created.files 說明 所有hive執行的map與reduce任務可以產生的檔案的和 預設值 100000 hive.exec.dynamic.partition 說明 是否為自動分割槽 預設值 false hive.mapred.re...

Hive學習筆記 Hive概述

1.1 資料倉儲 可以利用資料倉儲來儲存我們的資料,但是資料倉儲有別於我們常見的一般資料庫。資料倉儲是乙個面向主題的 整合的 不可更新的 隨時間不變化的資料整合,它用於支援企業或組織的決策分析處理。物件導向的 倉庫中的資料是按照一定的主題進行組織的。主題即使用者使用資料倉儲進行決策時所關心的重點方面...

HIve學習 Hive分割槽修改

如何修改hive的分割槽 hive讀寫模式 hive分割槽的意義是避免全表掃瞄,從而提高查詢效率。預設使用全表掃瞄。partitioned by columnname columntype comment column comment 1 hive的分割槽名區分大小寫 2 hive的分割槽欄位是乙個...