解析DataWorks資料整合中測試連通性失敗問題

2021-08-16 19:20:16 字數 1851 閱讀 2533

原文:

此案例中,dataworks專案位於華東2,rds mysql資料來源位於華東1(vpc網路),使用dataworks進行資料同步之前,首先需要建立資料來源,但在建立資料來源rds mysql的配置頁面,「測試連通性」失敗,即資料來源並沒有連通。

(1)首先,應該判斷該資料來源是否支援「測試連通性」

遇到測試連通性問題,首先應該判斷該資料來源是否支援「測試連通性」,請大家參考《各資料來源測試連通性支援情況》。請注意,通過經典網路或vpc網路的跨區域訪問,是不保證連通性的,但rds產品除外,也就是說本案例中的資料來源是支援測試連通性的。(本案例中專案和資料來源的基本情況,已經在開篇位置介紹了)。

(2)資料來源是否配置了完整的白名單

接下來,我們看下是否在mysql資料庫配置了白名單。關於白名單,請參考《資料整合新增白名單》。該文件詳細介紹了每個region對應的白名單內容(請注意新增您的專案所在region的白名單,而非您的資料來源所在region的白名單)。經過核實,這個rds mysql資料來源的白名單如下:

這正是專案所在region華東2的白名單,所以白名單錯誤或不完整的原因也排除了。而且開篇第一張圖報錯中出現的100.104.205.10這個ip也在上述白名單中。

(3)資料來源配置頁面的資訊是否正確

接下來需要核實該資料來源配置頁面的資訊是否正確了。

經過核實,rds例項id、rds例項購買者id、資料庫名、使用者名稱、密碼,均沒有任何問題。而且,用此處填寫的資料庫名、使用者名稱、密碼可以成功登陸mysql資料庫。如下圖:

說明基本資訊填寫正確。

(4)通過公網連線,「測試連通性」是否能成功

上述資料來源配置頁面,在「資料來源型別」選擇的是「阿里雲資料庫(rds)」,即通過內網連線。接下來嘗試下在「資料來源型別」選擇「有公網ip」,即嘗試下通過公網連線,「測試連通性」是否能成功,但測試結果依然失敗,並且報錯依然是「access denied」,並且121.43.110.160這個ip也在配置的白名單中。如下圖:

(5)核查資料庫賬號的許可權

既然上述配置、白名單等都沒問題,那接下來看下該資料庫賬號(這裡假設是zhangsan)的許可權問題。

dataworks的資料整合功能,底層是通過開源工具datax來進行同步的,datax是通過select操作去資料來源中讀取資料的,下圖是乙個同步任務的日誌,從日誌中可以看到,同步任務是通過執行select語句去讀取資料的,如下圖所示:

也就是說,使用者必須能夠登入資料庫,並有select許可權,才能進行資料同步。那我們首先看下使用者』zhangsan』的許可權和屬性。

登入mysql資料庫後,執行:

執行結果如下:

經過上圖分析,該使用者'zhangsan'沒有show grants for zhangsan; 的許可權,同樣也沒有許可權查詢mysql資料庫user表中,使用者為'zhangsan'的賬號和允許登入的ip。而且,當前使用者'zhangsan'的連線情況是正常的。

host: 116.228.89.206

user: zhangsan

也就是說,使用者zhangsan是無法通過用於同步的阿里雲伺服器登入其資料庫的,測試連通性當然就失敗了!由此,我們終於找到了測試連通性失敗的原因!

接下來,用root賬戶新建使用者lisi,然後給lisi賦select許可權,命令如下:

grant select on 資料庫.* to lisi@'%' identified by 'user_password';

// 給lisi賦select許可權,並允許在任意ip登入

flush privileges;

//重新整理mysql的系統許可權相關表

由此,再進行rds mysql資料來源的測試連通性就成功了。

當使用dataworks資料整合功能,遇到資料來源測試連通性失敗的時候,可以依照上述排查思路,一步步排查,並請注意資料來源中配置賬號的許可權問題。

IBM資料整合分析平台 DataWorks真面目

文章講的是ibm資料整合分析平台 dataworks真面目,大資料在許多方面仍然屬於野蠻生長狀態,很多資料整合專家發現,載入資料和從 遷移到目標通常是耗時而又單調的任務,要想從各種位元組中找出有價值的洞見,依然需要敏捷的智慧型與堅持不懈的精神。本周二,ibm發布了新版資料平台dataworks,據稱...

柏林DataWorks峰會 大資料管理成為關注焦點

大資料儲存庫擁有全球的個人可識別資料。很多資料管理專業人士現在都將注意力集中在歐盟的 通用資料保護條例 gdpr 上,該條例將在乙個月內生效,將對任何在這些國家開展業務的企業實施嚴格的資料管理措施。自2011年成立以來,hortonworks公司已經從hadoop大資料軟體分銷商,發展成為針對跟人 ...

DataWorks 下一代智慧型資料工場

阿里巴巴從2009年開始從hadoop搭建資料平台體系,資料工場與以前體系一脈相承,有了資料工場後,大家不用再自建資料工場,資料平台會建立乙個雲服務。從自建水電煤廠 水電煤成為基礎設施服務 從自建it資料中心 使用雲計算服務,雲計算本質上解決了運維問題 從自建大資料平台 使用雲資料平台服務 資料工場...