什麼是合成資料?為什麼它需要主資料管理?

2021-10-13 11:26:10 字數 2653 閱讀 6573

by darren cooper

合成資料(synthetic data)是使您的業務運營平穩執行的測試資料;如果這些操作通過人工智慧實現自動化,那麼使用主資料管理(mdm)來確保您的決策是無偏見的,這一點非常重要。

資料生成的資料反過來又生成更多的資料。我們如何知道產生的資料是否符合業務需求策略?舉例,如果乙個機械人,旨在幫助我們做出明智的投資決策,或者是為我們的客戶服務問題提供最佳答案,但是在處理過程中卻出錯了呢?

顯然,從所有不同角落測試解集都很重要。隨著人工智慧在自動化決策過程中扮演著越來越重要的角色,確保由主資料管理(mdm)支援的機器學習操作(mlops)從良好的可解釋資料(xai)和無偏見的資料中工作變得至關重要。

在資料投入使用之前,通常需要將其組織成資料集,以支援不同型別的測試和建模需求,以便了解應用程式、分析模型和基於人工智慧的程序將如何針對這些真實世界/代表性/實驗資料集執行。這就是你需要合成資料的地方。

合成資料是通過演算法生成的,以補償真實世界的資料不夠豐富,數量不滿足測試需求的狀態。合成資料大部分來自於生產資料;合成資料通常會忠實於源資訊的統計性質,而不是精確的副本。除了具有代表性的真實世界資料外,合成資料還可能包括一些資料集,這些資料集驅動「路徑」來測試特定條件下系統行為的預期,並促進**分析。

當我們想到主資料時,我們主要想到的是操作型資料:

1.用於支援銷售和服務運營的客戶主資料

2.採購過程中從**商處收集的產品主資料

3.建模基本運營基礎設施所需的資產主資料

主資料管理(mdm)是提供業務關鍵資訊(如客戶資料)的單

一、可信檢視的關鍵驅動器。擁有可信賴的資料整合和可操作的應用程式整合可以幫助您降低成本。

使主資料既可信又有洞察力的關鍵在於對它有乙個透明的檢視。透明度源於定義資料的含義、目的和治理政策。

接受業務監督,並根據業務目標進行衡量。主資料管理(mdm)可以幫助您管理資料集,以確保在生成為合成資料集時,資料集更加可靠和完整。良好的合成資料集提高了資料科學專案的能力,推動**和機器學習產生更好的結果。

讓我們想象一下新產品的上市。銷售戰略布局對銷售有什麼影響?哪些客戶群體更有可能購買它?

主資料管理(mdm)支援並確保客戶資料策略的正確實施,包括資料完整性和高質量標準性。零售商不一定需要客戶的360°全方位檢視,而只需要適合特定目的的檢視:建立綜合資料集,以加強對新產品銷售潛力的**。

將主資料管理(mdm)中的資料規則與資料科學或機器學習(ml)專案的目標結合起來後,零售商現在能夠為後續的**分析開發適當的合成資料集。

在幫助消費者做出明智的選擇方面,ai/ml正在成為客戶體驗中無處不在的一部分。例如,如果消費者建立乙個已檢視產品的集合,那麼ml演算法可以檢視產品的屬性,根據消費者的行為模式提出推介產品和服務。

合成資料管理是人工智慧和機器學習的基本要求。機器學習(ml)模型需要訓練。要做到這一點,他們需要資料。合成資料可以為ml提供所需的數量和用例。主資料管理(mdm)通過為可解釋的ai驗證提供良好的資料支援。

金融部門擁有大量的合成資料管理案例。例如,銀行或保險資料可能包含一些非常敏感的個人可識別屬性。但與此同時,金融服務公司需要與商業夥伴和監管機構共享資訊。生成合成資料集可以幫助刪除個人資訊(也稱為資料遮蔽),同時保留內部複雜資料關係的本質。在訓練乙個欺詐演算法時,你不需要知道涉及的人的名字。然而,您需要識別乙個代表可疑活動的統計模式。

在分析歷史趨勢時,如果要避免過去的錯誤,就需要生成既代表實際事件又代表假設情景的綜合資料集。展望未來時,需要建立能夠反映從當前趨勢到未來趨勢的資料集,這在設想下乙個產品或服務時至關重要。

mdm的使命在於確保原始生產資料集能夠產生具有代表性和有用的合成資料集。在某些情況下,可能需要mdm來掌握這些合成資料集的某些元素,以便對它們進行機器學習。雖然可以使用資料掩蔽和合成資料生成(有很多任務具可以做到這一點)等技術來轉換單個屬性,但確保原始源的真實表示的能力可以受益於mdm應用的資料治理策略。

mdm通過實施業務流程來提高合成資料的針對性和可解釋性,以確保原始資訊或合成資訊的管理具有代表性、連貫性、高質量和洞察力。這反過來將使人工智慧更易於解釋,減少偏見。

相關話題:

主資料管理(mdm)、零售業、金融業、資料透明度、合成資料

darren cooper的大部分職業生涯都是在軟體銷售諮詢方面度過的,他在多個行業工作。在過去的15年裡,他專攻資訊管理,為全球藍籌股公司的資料治理戰略提供諮詢。今天,darren通過展示我們獨特的技術如何幫助加快客戶的數位化轉型之旅,在幫助stibo systems(思迪博)發展業務方面發揮了領導作用。

主資料管理公司stibo systems(思迪博)是資料透明度理念的卓越推動者。我們的解決方案是世界各地具有前瞻性的公司背後的科技驅動力,這些公司已經釋放了其主資料的戰略價值。我們的解決方案推動他們改善客戶體驗,促進創新和成長,為數位化轉型創造堅實的基礎。這給了他們所需要和期望的商業理解及掌控——擁有對主資料的單

一、準確的檢視——這樣他們就可以做出明智的決策,實現更大規模、更廣範圍和更加進取的業務目標。stibo systems(思迪博)是stibo a/s集團的私有控股子公司,成立於2023年,總部位於丹麥奧胡斯。擁有超過40年管理主資料的行業經驗。更多stibosystems.cn**.

什麼是磁碟轉殖軟體?為什麼需要它?

轉殖就是乙個副本。現在已經有轉殖羊的實現,也許某一天人類也會被轉殖。但是這裡所說的磁碟轉殖有更重要的意義,它是乙個可以管理和保護資料的重要工具。讓我們來看下磁碟轉殖軟體可以做什麼。先從基本知識開始。基本上來說,磁碟轉殖是乙個將每個位元組的資訊從乙個計算機磁碟上完整複製到另乙個磁碟上的過程。通常,第乙...

什麼是viewport,為什麼需要viewport

以一代iphone下的safari來說就是 在iphone的320px物理螢幕上 視覺視窗 visual viewport 建立出了乙個980px的虛擬視窗 布局視窗 layout viewport 在視覺視窗 visual viewport 中我們可以拖動橫向豎向滑動條或者放大縮小網頁,來達到最佳...

什麼是鏈結,為什麼需要鏈結?

在實際開發中,我們一定是多檔案程式設計,所有檔案在編譯後,需要合在一起,合在一起的過程就是鏈結的過程。每乙個原始檔 就是.c檔案,上圖中的程式1 都有對應的零碎檔案 就是.件 通過預編譯 通過 include實現 把.c和.件整合成乙個組合c檔案,這個組合c檔案的擴充套件名為.i。把組合c檔案編譯成...