datax常見問題

2021-09-19 17:52:35 字數 1272 閱讀 2944

1、如何調整jvm的引數？

調整datax.py檔案中default_jvm的值即可

2、外掛程式對應的引數具體含義以及報錯之後該如何解決，以mysqlreader為例

"reader": ]}


}
引數說明：splitpk代表切分主鍵，對於單錶進行切分的時候使用 ，如對於表a，存在自增主鍵id，可以通過id < 1000,id>=1000 & id<2000 ,id>=2000切分成3個sql進行讀取，另外，根據connection中的table和jdbcurl配置項是list可知，這裡可以配置多個，多個之間會去笛卡爾積，也就是可以配置任意多的資料庫和表，這些庫的密碼必須保持一致，下面說明一下上述引數在**使用

根據前面**分析可以知道，整個datax的task會被切分多少個是由reader端的split函式決定的，檢視mysqlreader的的split函式

public listsplit(int advicenumber) 


繼續深入進去可以看到實際執行為


public static listdosplit(


configuration originalsliceconfig, int advicenumber) 


string column = originalsliceconfig.getstring(key.column);


string where = originalsliceconfig.getstring(key.where, null);


listconns = originalsliceconfig.getlist(constant.conn_mark, object.class);


listsplittedconfigs = new arraylist();


for (int i = 0, len = conns.size(); i < len; i++) 


// 嘗試對每個表，切分為eachtableshouldsplittednumber 份


for (string table : tables) 


} else 


}} else }}


return splittedconfigs;


}
在這裡可以看到整個reader端是如何切分task，針對個connection下的每個表都切分成乙個task（task的配置通過configuration儲存），即求笛卡爾積，同時，這裡也考慮了splitpk的情況，通過原始碼可以直接看到每個引數的作用，在遇到外掛程式的相關問題時，可以直接找到對應的外掛程式函式進行排查

常見問題 朗動常見問題

常見問題一 方向盤變沉 檢查胎壓是否正常，輪胎是否過度磨損。助力幫浦不工作，前輪氣壓低。冬天的話，冷車在冬天助力油比較稠，方向會重一點。檢查轉向助力油。1 應該是是助力系統有問題或則助力潤滑油有問題。2 如果你在駕車時感覺方向盤變緊，汽車偏向一側，需要檢查輪胎，或進行車輪平衡 定位。在這些問題剛剛發...

面試常見問題 1 this的常見問題

this 的含義 this關鍵字是乙個非常重要的語法點。毫不誇張地說，不理解它的含義，大部分開發任務都無法完成。前一章已經提到，this可以用在建構函式之中，表示例項物件。除此之外，this還可以用在別的場合。但不管是什麼場合，this都有乙個共同點 它總是返回乙個物件。簡單說，this就是屬性或方...

Spring常見問題

1 利用spring框架程式設計，console列印出log4j warn please initialize the log4j system properly？lupa開源社群 u i w.d t 說 明你的log4j.properties沒有配置。請把log4j.properties放到工程的...