阿里 DataX原始碼解讀彙總

2021-10-21 16:57:05 字數 988 閱讀 3619

將自己datax的系列文章進行彙總形成目錄

datax(1):編譯打包使用

datax(2): 通過idea搭建原始碼閱讀+除錯環境

datax(3): win環境cmd亂碼

datax(4): datax.py解讀

datax(5):改造公升級-自動識別py環境,執行datax任務

datax(6):啟動步驟解析

datax(7):jobcontainer原始碼解讀

datax(8):taskgroupcontainer原始碼解讀

datax(9):job和taskgroup的通訊機制

datax(10):原始碼解讀communication(datax通訊類)

datax(11):原始碼解讀 containercommunicator

datax(12):排程原始碼解讀abstractscheduler

datax(13):原始碼解讀column-datax中的資料型別

datax(14):原始碼解讀channel

datax(15):原始碼解讀abstractcollector

datax(16):原始碼解讀abstractreporter

datax(17):原始碼解讀abstractrunner

datax(18):原始碼解讀transformer

datax(19):原始碼解讀內建transformer

datax(20):內建transformer使用

datax(21):編寫自己的transformer

datax(22):任務分配規則

datax(23):datax調優

datax(24):遠端除錯datax

datax(25):外掛程式載入原理

datax(26):各個資料庫與datax欄位對映

datax(27):不太常見配置項querysql、presql、postsql、splitpk

DataX原始碼分析 2

接著上一節 做好了切分工作,下一步當然就是對對應的各個任務進行任務託管和監控 schedule,post,posthandle,invokehooks。schedule首先完成的工作是把上一步reader和writer split的結果整合到具體的taskgroupcontainer中。int ch...

openTLD 原始碼解讀

首先是run tld 在其次就是tldexample 最後到了初始化函式tldinit 第乙個比較關鍵的函式 bb scan 將影象網格化,將首先 scale 1.2.10 10 21 個規格 在每個規格上打網格 這個函式有乙個比較重要的方法 ntuples 就是重複 因為網格上的點很多點有相同的x...

thinkphp原始碼解讀

thinkphp原始碼解讀 thinkphp原始碼的根目錄下是 index.php,是系統預設的 主頁,index.php中首先檢測的是 php執行環境,如果php版本小於 5.3.0則退出執行,定義是否為除錯模式,定義應用目錄,引入入口檔案。thinkphp是整個框架的入口檔案,在thinkphp...