測試自動化的三波浪潮

2021-08-14 17:46:01 字數 3260 閱讀 7071

測試自動化

三波浪潮接踵而來:

第一波第乙個浪潮中充滿了一些老式的**商工具,如winrunner,silk test和qtp。在我看來,這些解決方案開創了這一切,並為未來的測試自動化創新如selenium奠定了基礎。

第二波但是,真相被告知 - 在他們認為沒有人在傾聽的安靜時期 - 你可以聽到測試人員竊竊私語與他們對**商工具所做的相同的詛咒:片狀測試和維護使他們瘋狂。

目前的熱門話題圍繞著ai和機器學習。實際上,在最近的一次google會議上,ceo sundar pichai表示:「我們正在從移動優先轉向人工智慧優先的世界。 」

這裡有七個更新的「ai」工具,我認為這將帶我們進入下乙個測試自動化階段 - 第三波浪潮。(另外,請檢視 automation guild online會議, 了解我們在ai測試自動化方面的一些非常棒的會議,您還將有機會向本文提到的許多**商提問

第三波這裡只是我見過的第三波自動化工具中的一小部分。這個軟體的主要功能之一就是它們中的許多都是利用機器學習和ai輔助技術。

saucelabs

testim

sealights

test.ai

mabl

retest

當我第一次聽說視覺驗證測試,它使用乙個複雜的演算法來排除應用程式中的潛在錯誤,而沒有明確地呼叫所有的元素,我認為它必須是bs

該演算法是完全適應性的,我只能想象他們將把技術作為ai,機器學習進一步發展。

可能的ai型別特徵:

利用基於ml / ai的自動維護(能夠將來自不同頁面/瀏覽器/裝置的類似變化組合在一起)

修改他們的比較演算法,以便能夠辨別哪些變化是有意義的/顯著的

能夠自動理解哪些更改更可能是錯誤與期望的更改並優先考慮差異

很多這樣的事情在實踐中看起來還為時過早,但是看一下路線圖會給你乙個ai測試工具公司的發展藍圖。

sauce labs

當然, sauce labs 是基於雲計算測試自動化領域的第一批玩家之一,但是他們目前所擁有的所有資料都可以充分利用機器學習,並有一些很好並且獨特的見解。

在2023年的saucecon會議上,首席執行官查爾斯·拉姆齊(charles ramsey)展示了一張幻燈片,展示了我們如何從大型機一直到物聯網,以及人工智慧,機器學習和深度學習等。

查爾斯認為,在測試中,使用已知的模式匹配和不同的ai技術是非常有用的。

這讓我想到了sauce labs 每天執行超過一百五十次的測試,他們有乙個虛擬的寶庫資料,可以用來幫助他們的客戶成為更好的測試者。

我們絕對可以預見sauce會在分析中增加更多的智慧型,這將主動幫助客戶改進測試自動化。

testim

testim試圖利用機器學習來加快編寫,執行和最重要的是維護自動化測試。他們的目標是幫助你開始相信你的測試。

testim專注於減少您的flaky tests和測試維護,他們認為這是大多數組織面臨的最重大挑戰之一。

testim聯合創始人oren rubin在最近的一次testtalks採訪中提到,該公司的主要目標是幫助解放測試自動化與開發人員的專有領域,並使其足夠簡

單,讓團隊中的任何人都可以建立。在與oren交談之後,我了解到testim正在實現這一目標。

sealights

sealights是乙個基於雲的平台。我們都知道,開發人員和qa,無論是管理人員還是工程師,現在都非常忙於使用ci和cd的做法,他們頻繁發布,沒有足夠的時間多次測試整個應用程式。

這是sealights創立的主要原因之一。

用他們的機器學習技術分析你的**和對它的測試,它可以讓你確切地知道你的測試覆蓋了什麼,什麼不是。但是當sealights說「測試」時,它們不僅僅意味著單元測試; 他們的意思是任何一種測試,從功能,手冊,效能,你的名字。

「質量風險」甚至可以提供更令人興奮的見解,因為它將使用者的努力集中在重要的事情上,讓他或她知道上乙個版本中沒有經過測試的檔案/方法/乙個特定的測試型別(或任何測試型別)。一旦你知道了,你可以很容易地確保未經測試的**在進行之前不會達到生產,至少是最少的驗證。

當我們走向ci / cd時,儀表板變得至關重要。

如果您像大多數公司一樣,今天的一切都在您的ci / cd中,但是這些資料通常不可見或不可用於您的團隊使用。

sealights可以輕鬆建立每個人都能看到的高質量儀表板。因此,對於每乙個構建,你將能夠理解被測試的是什麼,狀態和覆蓋是什麼,以及是否正在改善,減少或有質量缺陷。

test.ai

ai在任何應用程式中動態地識別螢幕和元素,並自動驅動您的應用程式執行測試用例。

足夠聰明的知道,如果某個元素發生了變化,就可以隨時調整和識別,而不必進行任何手動更改。這個工具還處於測試階段,但是jason被我偷偷摸摸了一下。

我很高興能夠更多地了解它以及所有這些測試工具的潛力。

mabl

mabl與test.ai類似。mabl由一群前google雇員開始,針對您的應用程式或**進行功能測試。在mabl術語中,您可以「訓練」測試來與應用程式進行互動。錄製完成後,訓練有素的測試將在預定的時間內執行並提醒您。

消除flaky tests- 與其他基於ai的測試自動化工具一樣,mabl可自動檢測應用程式的元素是否已更改,並動態更新測試以補償這些更改。

mabl可以連續比較測試結果和測試歷史,以快速檢測變化和回歸,從而獲得更穩定的版本。

mabl可幫助快速識別和發現問題,在您影響客戶之前提醒您可能產生的影響。

使用人工智慧猴子來自動測試您的應用程式。retest就是這樣做的。

retest

retest聲稱與其他測試自動化工具不同,因為它是專門為測試人員設計的。

它也**於人工智慧研究專案,所以它試圖將人工智慧智慧型融入到他們的工具中,從而有效地消除了使用者擁有任何程式設計技能的需求。

它們像這個列表上的其他工具一樣,也避免了在建立指令碼時選擇元素id來處理。重新測試也會自動處理等待時間。

如果你想嘗試retest,他們提供了乙個很好的一步一步的演示文章。

addon

endtest

ghostinspector

testcraft

人工智慧/機器學習只是炒作?

顯然,人工智慧/機器學習是當前測試行業使用的最新流行詞。但是這是真的,還是只是炒作?

只有時間才能確定第三波是否會最終實現所有人都可靠,易於維護的測試自動化的承諾。

讓我知道你的經驗是什麼與這些或任何其他工具,你認為是ai測試自動化的第三波的一部分。

另外,請檢視automation guild online會議,了解ai測試自動化方面的一些非常棒的會議。您還將有機會向本文中提到的許多**商提問

測試自動化 自動化測試的定義

相關術語 automated testing test tool,automated testing test suite,automated testing test script等.具體參見 http en.wikipedia.org wiki test automation 推薦書籍 1 軟體...

自動化測試 web自動化測試

自動化 由機器裝置代替人為完成制定目標的過程 優點 提高工作效率 減少勞動力 產品規格同一標準 批量生產 自動化測試 讓程式代替人為去驗證程式功能的過程,即在預設條件下執行程式系統 流程確定 搭建自動化框架 編寫測試用例,將其轉化為soupui 介面 自動化測試指令碼 執行自動化測試指令碼 輸出執行...

測試自動化

自動化測試有兩種含義 開發過程的自動化單元測試和功能驗證階段的自動化黑盒測試。這兩者融合到daily build中,是daily build的最重要核心。daily build和自動化單元測試另文詳述,此處主要說說自動化功能測試。自動化測試的投入產出比以及實際應用效果其實不高 自動化測試作為提高測試...