譯文 資料文化問題及解決方法

2021-10-06 08:37:59 字數 4664 閱讀 9186

如果您的組織使用資料(即使不使用資料),則您具有資料文化。考慮一下您和您的同事之間進行互動和討論資料的方式。人們害怕嗎?他們相信嗎?是作為業務和競爭優勢的驅動力,還是僅僅是現有運營的精疲力竭?

資料文化是圍繞資料生產,使用和消費的組織過程和社會規範。不良的資料文化可能導致混亂的溝通,不一致的決策制定和無法採取行動的見解,而好的文化則會促進強大,可行的和以資料為依據的見解。

這些資料文化問題很大程度上是使分析資料民主化的結果。民主化意味著向需要它的人們提供資料,並具有從中獲得有意義的見解的技能。資料集中化與民主化之間的辯論本身就是乙個完整的討論,但是我發現,允許人們訪問和了解資料以解決他們在日常工作中遇到的問題具有很大的好處。在本文中,我還將**民主化資料的一些危險區域及其可​​能的解決方案。

對資料的恐懼

所有組織都在朝著資料驅動的見解邁進。資料是乙個強大的工具,它使我們能夠檢視過去的表現並檢視總體趨勢以指示未來的表現和直接的決策制定。但是,如果組織中的人擔心資料,他們將不會傾向於使用資料。

許多人對資料感到不舒服。他們可能不知道如何使用它,感到不知所措,或者認為這是乙個不直觀的黑匣子。他們可能會害怕破壞某些東西。即使是了解資料概念的人,也可能會害怕嘗試陌生的資料集。這種猶豫意味著人們將不會最大程度地使用資料。想要對資料做出決策的人會避免這樣做,因為他們被嚇到了。

為了解決這個問題,我們必須為人們提供適當的工具,使他們對資料感到滿意。預先培訓和討論至關重要。與其將許可證交給新的分析師並假設他們的技能已經為他們準備好處理您的公司資料,不如對工具,公司的資料和最佳實踐進行短期培訓。

我告訴接受過這種培訓的每個人,目標不是讓他們記住我所說的一切,而是要知道何時以及如何提出問題。資料可能很棘手,通常可以使用(通常更重要的)不能使用的特定方式。我沒有告訴他們記住每種情況,而是給他們提供了工具來識別這些情況並嗅探是否有問題,然後為他們提供各種資源來理解和糾正問題。

在新的分析師有機會養成不良習慣之前,預先進行資料教育有助於提供環境和資源。然後,他們會感到自己擁有強大的資料能力,並且知道可以與誰聯絡解決各種問題。這些培訓課程使他們感到自己好像是分析師社群的一部分,並讓他們感到很自在地與組織內其他分析師討論資料問題。

詞彙和度量標準使用不一致

詞彙和度量標準的不一致使用很容易導致會議混亂。這是我多次遇到的情況:

人們聚在一起開會討論上個月的銷售額,並確保季度數字按計畫進行。上個月的銷售目標是150萬美元。

運營總監:「上個月的銷售額為170萬美元!我們絕對會按季度取得季度數字。因為它似乎一直在起作用,所以讓我們在本季度的剩餘時間內保持原樣!」

市場總監:「上個月的銷售額為140萬美元。我們距離還不太遠,但是如果我們保持這種步伐,我們將錯過季度數字。我建議增加營銷預算。」

運營總監和營銷總監試圖證明他們的數字是正確的。最後,會議暫停,而他們各自返回分析人員以了解數學原理。

可以看出,運營銷售總額並未考慮退款,但營銷銷售總額卻考慮了退款。沒有人能確定退款是如何納入每月銷售目標的。

如果您對這種互動聽起來很熟悉,則表明資料文化在使用詞彙和量度方面不一致。花時間弄清楚為什麼數字不累加或指標未對齊的原因是花在制定和執行決策上的時間。此外,即使您能夠做出決定,也可能沒有做出正確的決定。如果不知道如何計算月度銷售目標,就不可能知道組織是應該堅持到底還是對營銷進行更多投資。

向上游移動資料

我們發現可以在其中生成或操縱資料的四個主要層:在源頭;在源頭。在提取,轉換,載入(etl)期間;在商業智慧型(bi)工具中;在分析過程中。

源頭產生的資料:直接來自應用程式或軟體的資料。它僅依賴於輸入資料及其生成軟體的完整性。這些資料將在整個組織中保持一致-生產資料和分析資料。

在etl層中處理的資料:從生產中獲取並進行處理的資料,通常是為了使其更易於分析。該資料在分析資料中將保持一致,但不會出現在生產資料中

在bi工具中操作的資料:etl後的資料,在bi工具中訪問。大多數bi工具都有能力整理資料以僅顯示相關檔案並建立計算,然後可以通過bi工具對其進行訪問。bi工具中整理的資料使您可以控制bi儀表板建立者正在訪問的內容,同時仍使他們可以自由建立自己的視覺化檔案。這些資料在bi工具之間將是統一的,但在所有分析資料或不同bi工具之間將不統一。

分析時處理的資料:每個分析師和儀表板建立者在使用資料時所處理的資料。這些通常是計算。允許單個分析人員計算和處理資料是有益的,因為中心機構無法滿足所有分析需求。但是,請注意人們在分析中是否使用相同的假設。如果他們不這樣做,將會有不同的數字來回答相同的問題。如果似乎很多人都在使用類似的計算,將這些計算移到etl或bi tool層將很有用。

資料離源越近,組織在資料分析中保持一致的可能性就越大。將資料移到源頭將加快通訊速度,並確保每個人都相信顯示的數字。

合併資料集

一旦資料處於最佳位置,重要的是要有一種簡單的方法來訪問它。這不只是為資料提供正確的許可權。它是以一種可以理解的方式構造它。

第一步是建立一些更廣泛的資料集,以合併經常連線在一起的表。不同的組織選擇以不同的方式拆分其資料:按主題(例如財務資料),最常用,按詳細程度等等。

建立更廣泛的資料集存在一些缺點:靈活性和效能問題較少。較寬的資料集意味著已對連線進行了**以進行分析。根據資料模型的複雜性,預定連線可能不是問題,否則可能會使某些分析更加困難。這樣的乙個例子是複製行-在預定的聯接中,某些表可能最終會相乘以滿足資料集的詳細程度,這意味著必須小心確保數字正確累加。此外,較窄的資料集效能較差,這使它們難以用於分析。

但是,更廣泛的資料集可能有助於減少混亂,浪費時間和出錯的可能性。如果結合得當,則更廣泛的資料集可確保人們無需熟悉資料模型即可建立分析。他們不必了解外來鍵如何相互對映或如何使用查詢表對id進行解碼。尋找正確的表進行連線也很耗時。可以消除的連線越多,分析就越容易和快捷。您希望資料越民主化,**聯接就越重要,從而可以訪問更多資料。

資料不信任

我們中間誰沒有不良資料經驗?分析師有時會進行幾天的分析,只是為了意識到他們的基礎資料不正確,最終會感到出賣和被燒毀。每當發生這種情況時,他們就會越來越不信任資料。謹慎的分析師會在資料中看到乙個小錯誤-可能是重新整理延遲或異常值離奇-並推斷到整個資料集,將其視為無用。在沒有信任的情況下,分析師會猶豫使用資料,從而給高階管理層帶來報告和分析中的巨大誤差。

提高資料信任度的關鍵是通訊。如果分析人員不了解工作中的已知問題和修復方法,那麼他們遇到的每個新問題都將變成未知的未知問題。他們假設較小的錯誤表示較大的錯誤,並花時間檢查資料而不是進行分析。

與其讓分析師想象所有可能的錯誤情況,不如向他們提供有關資料始終出問題的完整資訊是至關重要的。即使沒有人抱怨這些問題,宣告所有問題似乎也適得其反,但它顯示出充分了解所有情況的真誠。通常,資料錯誤並非無所不包。從前一次重新整理後,仍無法使用隔夜重新整理的資料。讓他們知道錯誤的具體細節將告知他們資料的哪些部分是危險區域,哪些部分可以安全使用。這限制了分析人員在發現資料錯誤時可以做的災難性工作量。

使人們及時了解資料中所做的更改和改進也很重要。資料的任何更新或改進應定期通過發行說明進行交流。

為資料使用者實施票務系統或另一種一致的方式來與資料交流他們的問題和請求也很有幫助。它不僅減少了資料團隊通過電子郵件,im,親自等方式收到的臨時請求的數量,而且還提供了對正在進行的更新的更一致的檢視。票務提交者可以去乙個位置檢視他們的請求(並且-根據票務系統-他們在**進行)。這有助於開啟通常感覺就像是資料生產黑匣子的帷幕。

營造討論資料的文化

這些步驟提供了有關資料使用的指南和防護欄。儘管很重要,但擁有更健康,更負責任的資料使用的核心要素是資料文化。變革需要從頭開始,這些變革不能由高階管理層決定。不要期望僅僅讓cio來說「我們需要以不同的方式考慮資料」會發生任何變化。

文化變革來自每天都在使用和談論資料的人們。必須促進員工之間關於資料和資料使用的隨意對話。如果人們公開談論資料及其使用方式,他們將能夠更好地互相幫助。此外,它們的詞典將開始合併。在彼此交流中,他們開始使用相同的詞指代相同的概念。如果可以跨部門促進這些對話,那麼在鼓勵改變文化和使人們減少恐懼感和對資料的信任方面將有很長的路要走。

在這方面,最有效的技術是討論時間和辦公時間。

討論時間是固定的(每週)時間段,可供組織中處理資料的任何人聚在一起討論話題或聽演講。通常,主題是固定的,但是會受到工作場所中發生的事情或常見問題的影響。它可能與如何使用資料工具,對特定資料集的檢查,字段定義或與您相關的各種資料相關問題有關。

上班時間是指具有某種型別的資料或工具的專家可以在一定時期內完全向同事提出問題。儘管我們大多數人都在處理臨時電子郵件,而人們卻在辦公桌旁閒逛,但辦公時間卻是有益的,因為人們可以輕鬆地提出問題。他們不需要覺得自己在打擾您或打擾您的工作,因為這次是專門為回答問題而設計的。

辦公時間的另乙個好處是,可以鎖定日曆上的其他時間,而不必回答問題。為辦公時間設定定期且頻繁的節奏至關重要,這樣人們就可以知道何時可以找到您,而且他們不必等待太久就可以提問。如果辦公時間設定得太少,人們可能最終會嘗試自己回答問題,而不是去找專家,這可能會導致資料其他部分不匹配。

上班時間和討論時間可以幫助解決所有三個資料文化問題,即討論資料更多的人會變得更加適應資料,圍繞資料發展成通用語言,並且更有可能討論與資料有關的問題。

結論

資料文化問題很容易討論,但是需要乙個村莊來實施。不能僅僅裁定資料信任問題不再是問題,或者我們都應該使用一致的詞彙表。文化變革來自那些正在使用和討論資料的人。

資料是每個人都依賴的東西,但是很少有人能完全看到它。將其儲存在黑匣子中只會增加其神秘感。實施我已經討論過的這些步驟中的一些步驟,將揭開謎團,並使更多的人參與到對話中。人們談論資料的次數越多,它將越能融入公司文化的時代精神,從而創造有機的文化變革。

ADO SQL問題及解決方法

1 ado連線sql,開啟資料集時,如果是單條語句的,後跟注釋,則執行時無結果集返回,如果是有分行符則正常 在查詢分析器當然是正常的 原因不詳,如 select from abc memo 無返回 select from abc slinkbreak memo 正常 2 刪除記錄時,出現bof 或 ...

幾個問題及解決方法

在編譯vc 工程時出現的編譯錯誤 問題如下 1 linking.msvcrtd.lib msvcrtd.dll error lnk2005 fclose already defined in libcd.lib fclose.obj msvcrtd.lib msvcrtd.dll error lnk...

幾個問題及解決方法

在編譯vc 工程時出現的編譯錯誤 問題如下 1 linking.msvcrtd.lib msvcrtd.dll error lnk2005 fclose already defined in libcd.lib fclose.obj msvcrtd.lib msvcrtd.dll error lnk...