serde是serializer/deserializer的縮寫。序列化是物件轉換成位元組序列的過程。反序列化是位元組序列轉換成物件的過程。
物件的序列化主要有兩種用途：
hive使用serde介面完成io操作也就是資料的讀取和寫入，hive本身並不儲存資料，它用的是hdfs上儲存的檔案，在與hdfs的檔案互動讀取和寫入的時候需要用到序列化。
hive serde用來做序列化和反序列化，構建在資料儲存和執行引擎之間，對兩者實現解耦。 org.apache.hadoop.hive.serde 已經被淘汰了，現在主要使用 org.apache.hadoop.hive.serde2 ，serde允許hive從表中讀入資料，然後以任何自定義格式將資料寫回hdfs。任何人都可以為自己的資料格式編寫自己的serde。
所以序列化(serialize)是將匯入的資料轉成hadoop的writable格式，反序列化就是將hdfs 上的資料匯入到記憶體中形成row object
其實serde就是hive 的序列化和反序列化的元件，主要用在讀寫資料上，下面就是hive 讀寫的過程
讀取hdfs files --> inputfileformat --> --> deserializer --> row object
寫出row object --> serializer --> --> outputfilefo
數倉工具 Hive初識 1
那麼，到底什麼是hive，我們先看看hive官網wiki是如何介紹hive的 apache hive是基於hadoop的乙個資料倉儲工具，可以將結構化的資料檔案對映為一張表，並且提供了通過sql 對儲存在分布式中的大型資料集的查詢和管理，主要提供以下功能 它提供了一系列的通過sql 訪問資料的工具，...
數倉工具 Hive函式大全 12
很多時候，我們需要對錶中的資料進行處理或者是想要完成某一邏輯的時候，單純的借助關鍵字組合起來的sql語句可能不能完成我們的需求，這個時候我們就需要特定的函式來幫助我們完成這樣的邏輯，如果沒有的話，我們可以嘗試定義已有的函式進行組合或者自定義函式來完成我們的需求。hive內部提供了很多函式給開發者使用...
數倉工具 Hive關鍵字 11
關鍵字是任何一門語言中都要的一些字元，這些字元都有特殊的含義，一般情況下使用者不能直接使用的，因為編譯器對關鍵字是有特殊處理的。hive有一些保留的關鍵字，我們在執行一些語句時，不能將這些關鍵字作為識別符號 identifier 比如建表語句的表名或者欄位名 hive中有很多關鍵字，直接作為列名或者...