總結 Datax使用過程中遇到的問題

2021-10-04 04:37:10 字數 536 閱讀 5659

工作中使用到阿里的資料同步工具datax,發現除了不支援redis作為讀寫的資料來源之外,支援幾乎所有常見型別的資料來源

在使用過程中遇到了幾個問題,這裡記錄一下:

ps:datax的使用方法不做介紹。

1、資料從mysql同步到 hdfs ,最終用hive進行使用,發現字段值為時間的數值在同步過程中會出現八小時差值

解決方法:mysqlreader的jdbcurl引數指定時區,如:

jdbc:mysql:
2、資料從hdfs同步到mysql,有個timestamp型別字段顯示為『0000-00-00 00:00:00』

解決方法:因為這個欄位是mysql自動更新的(default current_timestamp on update currenr_timestamp),所以同步時忽略這個字段,讓mysql自動生成;

這裡我還踩了乙個坑,建的hive表把這個字段值處理了一下,cast(null as timestamp),這是錯誤做法

Spring data Jpa使用過程中遇到的坑

一定要注意如果我們在實體類中沒有配置資料表的預設值,那麼在存入和取出的時候應該設定。否則在取出的時候就會出現問題。如何通過一方獲取到多方實體 jsp中 jsp資料夾與上面servlet對映名最好不要一致,這樣會出問題 注意!乙個實體類的表id名字請設定為id,保證不出錯。問題分析 解決方法 其實一般...

Glide使用過程中遇到的坑

專案之前使用的載入庫是universal image loader,但是此庫已經好久不維護了,同時也發現了更加不錯的載入庫,也就是glide,用起來很方便並且記憶體佔用量還很令人滿意,所以決定大刀闊斧的將之前的載入庫換成glide。但是在換使用者頭像相關模組的時候發現問題了,就是載入網路時第一次載入...

mysql 使用過程中遇到的錯誤

修改hibernate.cfg.xml檔案 hibernate.connection.url jdbc mysql localhost 3306 hibernatedemo connection.useunicode true connection.characterencoding utf 8 參...