大資料測試之ETL測試工具和面試常見的問題及答案

2022-05-09 04:03:06 字數 2143 閱讀 6564

**自: 

概述

商業資訊和資料對於任何乙個企業而言都是至關重要的。現在很多公司都投入了大量的人力、資金和時間對這些資訊、資料進行分析和整理。

資料的分析和整理已經獲得了巨大的潛在市場,因此為了使得這個過程更為簡單,越來越多的軟體**商引入了etl

測試工具。

所以我們需要根據企業的不同業務結構和模型,在選擇etl工具之前,對其進行分析。在這些開源的etl工具的幫助下,我們將有機會嘗試在不付需要投入鉅額資金的情況下對我們的資料進行分析和整理。

而當前幾乎所有的巨頭軟體**商都推出了自己的bi或etl工具。

一些常用的etl工具

· talend open stduio

· clover etl

· elixir

· pentaho

· informatica

· ibm - cognos data manager

· oracle - data integrator

· sas - data integration studio

· ab inito, sap - business objects data integrator

一旦選擇了etl工具,下一階段就是對該工具進行測試調研,以進一步了解該工具的特性。

這類工具有助於處理海量的資料和歷史資料,同時必須能執行etl測試,以確保資料的準確性,因此etl測試是非常的重要的。

etl有效的兩種測試型別

· 應用測試

· 資料測試

etl測試過程

雖然現在有很多的etl工具用於資料處理,但對於實際業務而言,etl測試是同樣的重要。

乙個良好的etl測試策略定義可以使得測試過程變得更容易,因此在選擇etl工具前應該遵循這個基本的測試過程。

etl測試過程:

· 分析需求:理解業務結構極其特殊要求

· 驗證和測試評估:對進行過程所需的時間和專業知識進行評估

· 測試計畫和設計測試環境:基於輸入進行估算,計畫並制定etl環境

· 測試資料的準備和執行:根據實際要求準備和執行測試資料

· 報告:出具實際的報告

其他資訊請參見《etl測試或資料倉儲測試入門》

常見面試題

未來隨著大資料和人工智慧的進一步發展,etl測試在國內的需要必然會從0到有的突破,下面我們就未來國內求職etl測試崗位可能碰到的面試題進行說明。

問:什麼是etl?

答:etl是extracting-transfroming-loading的縮寫,指從任何外部系統提取、轉換、載入資料到目標地。這是資料整合過程的三大基本步驟。 extracting:從源資料中提取目標資料集 transfroming:將目標資料集進行業務邏輯轉換 loading:以合適的格式將經過業務邏輯轉換的資料集載入到目標地

問:為什麼etl測試是必須的?

答:· 為了對從源到目的轉換過程中的資料進行檢查

· 跟蹤整個etl過程的效率和速度

· 熟悉etl過程,才能更好的服務於我們的企業實踐

問:etl測試工程師的主要職責是什麼?

答:· 深入理解etl工具和過程

· 為etl測試各階段設計測試場景

· 針對各階段的測試場景實施不同型別的測試

· 對資料質量進行檢查

問:在etl過程中,維度指什麼?

答:維度指彙總資料時進行的排序的組或類別

問:在etl過程中,什麼是staging area?

答:staging area至在etl過程中臨時儲存的地方,在這裡,我們通常會進行資料清理和重複檢查等處理

答:etl對映表包含了從源中提取的行和列的所有的資訊。該錶能幫助我們更好的完成整個etl過程和etl測試。

問:請列舉幾個etl測試常見的用例並解釋說明

答:· etl對映表驗證:驗證對映表中的各項資訊是否正確

· 資料檢查:驗證資料的準確性、數值、null檢查等等

· 正確性問題: 驗證資料的拼寫是否有錯、資料是否有錯和是否存在空資料等問題

問:請列舉你所知道的etl bug型別

答:計算錯誤、使用者介面bug、源資料錯誤、邊界錯誤等

大資料測試方法

一.功能性測試 大資料功能主要涉及系統實現面向大資料分析應用的posix api,包括檔案讀取與訪問控制,元資料操作,鎖操作等功能 大資料分析系統的posix語義不同,實現的檔案系統api也不同,功能測試要覆蓋到大資料系統涉及實現的api和功能點 功能測試工作量大,應該重點考慮應用自動化測試方法進行...

大資料測試小結

1.etl測試 etl,extract transform load 的縮寫,將資料從 端經過抽取 extract 轉換 transform 載入 load 至目的端的過程.etl工具較多,用過的是informatica.它從目標表抽取資料載入到結果表 hive 資料庫.測試思路 a.測試抽取的符合...

大資料測試大綱

收有測試方法,包括功能,效能,參見 1.大資料主要技術概述 特點,簡述 大資料的總體技術架構概述 大資料的儲存和處理技術概述 大資料的查詢與分析技術概述 銀行客戶大資料應用體系架構例項 2.大資料測試的要點與難點 大資料測試的特點 基本測試 分布式測試 高可用測試 擴充套件性測試 效能測試 大資料測...