如何平衡資料管理與資料科學的關係?

2021-10-10 20:27:25 字數 2567 閱讀 3402

現在,企業對資料觀念的轉變已經將資料管理推向了新的高度。資料科學是現在資料管理的核心組成部分,但資料管理和資料科學往往被視為兩種不同的活動。資料科學家工作在資料分析師、資料工程師和dba之間,他們把時間花在為資料分析和競爭情報做好資料基礎設施上。但是,在不斷發展的下一代資料市場中,資料管理和分析將是市場成功的核心差異化因素,因此,資料管理和資料科學必須協同工作。

《富比士》的一篇文章提到了everest group的一項研究,該研究指出,到2023年,全球資料管理和分析市場將達到1350億美元。多年來,這個市場的廠商已經從功能到流程轉向平台導向。在平台導向中,資料不再被視為業務流程的副產品,而是業務的神經中樞。

乙個組織的資料管理職能全面控制企業資料的獲取、儲存、質量、治理和完整性,從而監督該組織內所有資料相關政策的制定和實施。但是,資料管理團隊只管理資料資產,它通常不參與資料的核心技術應用。資料管理職能部門擁有所有的資料。在網路研討會 "資料管理與資料戰略 "中,peter aiken談到了 "組織資料管理需求與資料戰略需求的優先順序"。

另一方面,組織中的資料科學職能部門對資料資產的所有 "技術應用 "進行構思、開發、實施和實踐。在這個意義上,"技術應用 "意味著涉及企業資料的科學、技術、工藝和業務實踐。

資料科學團隊從不擁有任何資料,他們只是收集、儲存、處理、分析資料--然後向企業其他部門報告資料驅動的成果,以獲得業務收益。資料科學家被認為是資料科學和相關技術的專家,他們依靠高度專業化的知識(統計學、電腦科學、人工智慧等知識)為企業提供資料驅動實踐的建議。

在實際工作中,資料科學職能隸屬於組織的資料管理職能。資料科學團隊為組織帶來了一套核心技術技能,以實施資料管理政策、程式和準則所規定的最佳實踐。

隨著資料的數量和複雜性急劇上公升,資料管理已成為業務運作的最重要方面之一。資料管理做法涉及制定與資料有關的政策、程式、角色、責任和嚴格的訪問控制機制。

完善的資料管理戰略,以資料治理為重點,實現商業價值的最大化,目前已成為企業領導者和經營者討論的中心議題。企業中的資料管理團隊負責構思和制定所有的政策。

組織中不同部門的資料專業人員負責在日常資料相關工作中執行和遵循所有政策和準則。正如《資料管理與資料治理》中所解釋的那樣,資料治理已被確定為資料管理的核心組成部分。《資料管理與資料治理:改進組織資料戰略》中解釋了這一點。

在資料科學領域,戰略政策、程式和準則在資料技術專案的實施過程中起著重要作用,儘管在這個階段沒有乙個管理角色直接出現。換句話說,組織資料戰略家通過塑造管理資料的政策、程式和準則來結束他們的工作;然後,資料科學家或其他資料專業人員的職責是遵守政策和準則,以確保組織-資料戰略藍圖的完整。

資料管理策略人員也會思考可能出現的違規行為和處罰措施,以便通過控制措施來監督企業資料策略的實施。

關於資料管理,資料科學家應該知道什麼?

《邁向資料科學》指出,最近的幾次技術運動要求資料科學家重新思考資料管理實踐,以實現高階分析。這些技術運動是:

隨著上述內容在現代企業中佔據中心地位,資料科學家現在面臨的挑戰是建立正確的治理支援的資料基礎設施,以進行高階分析並提取增值的見解。

在典型的增強型資料管理系統中,資料整合、資料質量、主資料管理(mdm)、元資料管理和資料庫管理系統(dbms)這五項核心資料科學活動通過工具完全或部分自動化。

通過使用先進的ai、ml或分析工具,資料科學家可以從 "繁重的資料準備工作 "中解脫出來。通常情況下,資料科學家約有80%的時間花在為分析準備資料上;這些工具消除了這種耗時的參與--為複雜的分析工作留下了充足的時間,其中可能包括模型開發或資料解釋。增強型資料管理被列為gartner 2023年十大資料分析趨勢之一。

一般資料隱私條例(gdpr)和ccpa等資料法規的出現,為現有的資料管理實踐增加了乙個與資料科學重疊的新維度。新法規提供了更好的管理機制,尤其是在資料隱私、資料安全和道德方面,但卻使ai驅動的資料科學平台變得複雜。現在,資料管理者不僅要考慮對資料隱私、安全和倫理實施嚴格的控制,還要擔心先進技術(ai、ml)對資料治理的影響。

在以法規為中心的資料治理、資料管理和資料科學實踐的新世界中,這些活動仍將是平行的活動,但會在一些情況下發生交叉。

這種碰撞的最終結果是什麼?**商和服務提供商將進行合併、收購和整合。

從嚴格的技術角度來看,gartner已經奠定了企業資料管理和資料科學實踐的以下可觀察的轉變。

在理想的業務場景中,資料管理和資料科學實踐相統一,才能獲得最佳結果。那麼,這兩種實踐如何協調呢?

根據quora上的討論,資料管理專注於治理良好的資料收集和資料訪問。資料科學側重於從資料分析中得出戰略業務決策。資料管理的缺失表明 "資料科學由於資料質量差或無法訪問而提供糟糕的分析結果 "的風險。

MapGIS 資料管理 資料管理與顯示模型架構

在學習開發過程中模型架構的學習尤為重要,特別是gis二次開發是與gis原理的緊密結合,以下介紹一下mapgis資料管理與顯示的模型。本模型較簡單,適合剛開始學習的人學習理解 學習本模型能夠先接觸mapgis的相關操作,當中mapgis k9中資料管理與地圖的管理和這個模型同樣。相應mapgisk9的...

資料治理與資料管理的定義

一 資料治理的定義 是對資料資產管理行使權力和控制的活動集合 規劃 監控和執行 二 資料管理的定義 為實現資料和資訊資產價值的獲取 控制 保護 交付以及提公升,對政策 實踐和專案所做的計畫 執行和監督。資料治理是回答企業決策的相關問題並制定資料規範,資料管理是實現資料治理提出的決策並給予反饋,因此資...

Docker的資料管理

2 資料卷容器 data volumes containers 使用特定的容器維護資料卷 三 資料卷以及資料卷容器的特性 在生產環境中使用docker,往往需要對資料進行持久化,或者說需要在多個容器之間進行資料共享,像我們在登入註冊的是時候,如果我們在其中乙個容器中進行註冊,那必然我們需要能在其他容...