整理一下HIVE概念

2021-07-23 19:25:17 字數 491 閱讀 5285

存資料的資料庫

hive不同於其他資料庫的地方就在於建立表這個地方。hive建立表並不是有固定的表的格式,而是它僅僅記錄了匯入的資料的格式,例如行分隔符、列分隔符等,它將這些存於元資料庫裡,這樣就建立了一張表,換而言之,hive支援不同格式的資料匯入,你只要告訴hive你的資料是什麼格式的,hive就能根據格式而建立一張表,並且它並不會去修改原資料格式。

另外,hive除了表還支援的資料模型有分割槽partition、分桶bucket。分割槽可以理解為按表裡某些列的值來分類目錄,比如可以將year=2016,month=10 的所有資料,放在同乙個分割槽裡,這樣,在hdfs預設目錄下,就會有/year=2016/month=10/這個目錄了,裡面存放就是對應的資料,這個功能可以用來將每天的日誌資訊分開存放。分桶的意思就是,按照每列值的hash值進行分類,將相同hash值的行,分到同乙個桶裡,這裡這樣做是為了方便平行計算。

元資料庫

整理一下Entity Framework的查詢

entity framework是個好東西,雖然沒有hibernate功能強大,但使用更簡便。今天整理一下常見sql如何用ef來表達,func形式和linq形式都會列出來 本人更喜歡func形式 1 簡單查詢 sql select from clients where type 1 and dele...

大一下C 整理

一 指標 指標在使用之前必須初始化 野指標的指向是無法控制的 指標變數所佔的空間大小相當於乙個整型變數的大小 隨著機器改變 32位機中佔4個位元組 二 引用 namespace 在使用變數前要確定其所在位置 影響變數的生存週期 字串是以陣列形式存放資料的 最後一位是空白結束符0 所以字陣列長度比字串...

整理一下Entity Framework的查詢

entity framework是個好東西,雖然沒有hibernate功能強大,但使用更簡便。今天整理一下常見sql如何用ef來表達,func形式和linq形式都會列出來 本人更喜歡func形式 1 簡單查詢 sql select from clients where type 1 and dele...