Sqoop遇到的坑

2021-10-04 05:37:41 字數 464 閱讀 7787

想必有些朋友剛開始接觸sqoop時,在從mysql(或者別的rdbms)匯入資料到hdfs後會發現原來在mysql中字段值明明是null, 為什麼到hive查詢後 where field is null 會沒有結果呢,然後通過檢查一看 居然null值都變成了字段串』null』。

其實你在匯入的時候加上以下兩個引數就可以解決了,

–null-string 『\n』

–null-non-string 『\n』

這裡要注意一點。 在hive裡面。null是用\n來表示的。你可以自己做個實驗 insert overwrite table tb select null from tb1 limit 1;

多提一點,如果在匯入後發現資料錯位了,或者有好多原來有值的字段都變成了null, 這是因為你原表varchar型別的字段中可能含有\n\r等一些特殊字元。

可以加上

–hive-drop-import-delims

joda time遇到的坑

system.out.println datetime.parse 2015092408 datetimeformat.forpattern yyyymmddhh getmillis system.out.println datetime.parse 2015092408 datetime form...

Spring Websocket 遇到的坑

1 跨域問題 經查閱官方文件springwebsocket 4.1.5版本前預設支援跨域訪問,之後的版本預設不支援跨域,需要設定 setallowedorigins override public void registerwebsockethandlers websockethandlerregi...

打包遇到的坑

android studio 錯誤 com.android.dex.dexindexoverflowexception method id not in 0,0xffff 65536 gradle中引用的包太多 android dex最大索引範圍為65536個方法 一旦超過酒會報這種錯誤 那麼此時就...