DataWorks V2 0中如何新增「排程資源」

2021-09-19 17:48:27 字數 1235 閱讀 7718

每乙個賬號在dataworks上都會分配到一批排程資源,但由於dataworks產品本身還在公測中,沒法做到無限制的對大家開放排程資源,那麼排程資源不足的話,可以嘗試如下方法。

在進行資料開發時,經常會遇到離線排程,凌晨的1-3點也是離線任務的執行高峰,那麼在任務執行的高峰期,dataworks上的排程資源也是很緊張的,大家如果不想出現任務堆積、等待的情況,可以將不重要的任務的起調時間設定的晚一點,讓任務的執行時間錯開集群任務執行的高峰期。

任務併發執行數已達上限,正在等待在雲端的gateway資源

在dataworks 中執行的任務如果遇到了任務併發執行數已達上限,正在等待在雲端的gateway資源...等報錯資訊,可以帶上專案名,專案所屬region,節點id等資訊,工單反饋給我們。

同步任務一直在wait....

若同步任務一直在wait,那麼需要看看任務執行的所在資源組(具體的識別方法,可參考下一節內容),是在自定義資源組上還是在預設資源組上,若在預設資源組上的話,可能是同步任務的執行資源不足導致的,這時候可以在資料整合介面,新增資源組。新增資源組的操作可參考《新增排程資源》文件。

新增完資源組後,可以選擇將任務執行在自定義資源組上。

注:dmu的配置,一般不要超過5,可根據任務需要傳輸的資料量大小,將dmu設定為1-5之間即可。

如何識別同步任務執行所屬的資源組

同步任務執行所在的資源組需要通過任務執行的日誌進行識別,大家可以參考這篇文件《同步任務日誌排查》中,任務是從**開始的 部分。

job queueing

若sql任務中執行時,出現了job queueing的日誌,可帶上日誌中的lo**iew,工單反饋。job queueing一般是maxcompute的計算資源不足導致的,通常情況下,可以去購買cu資源,來保障任務的執行資源。

期望這篇文章能讓您了解如何有效的解決資源不足的情況,我是彭敏,更多與dataworks有關的內容,可以加入我們的釘釘群:dataworks數加交流0群(群號:11718465)。

也可以釘釘掃碼**:

DataWorks V2 0 系列公開課

此次公開課已於12月6日圓滿結束!課程內容回放如下 公開課直播回放 datawork自2009年在阿里巴巴集團內部成立以來,已幫助阿里巴巴集團各個bu搭建了屬於自己的資料中臺,服務bu涉及阿里集團 天貓 螞蟻金服 菜鳥 lazada等。2016年,以dataworks為主體的數加平台正式向阿里集團外...

如何移除Three20中private API

那些非public的api如下 firstresponder uitouch.locationinwindow uitouch.phase uitouch.previouslocationinwindow uitouch.tapcount uitouch.timestamp uitouch.touc...

如何安裝OpenCV2 0

2.開啟cmd,先進入opencv2.0的安裝目錄,本人的opencv2.0安裝在d program files opencv2.0 因此,cd d program files opencv2.0 3.在cmd中輸入 cmake g visual studio 9 2008 注意 的左右兩邊都有空格...