大資料分析專案中的「最差」實踐

2021-06-18 07:11:20 字數 1735 閱讀 4845

如果它是那麼簡單就好了。當bi**商樂呵呵地告訴你他們的客戶已經成功部署大資料分析專案時,他們不會告訴你還有那麼多失敗的案例。大資料分析專案令 人失望是有一些潛在原因的。你可以找到大量關於大資料分析最佳實踐的建議。但下面是一些大資料分析專案的最差實踐,你需要了解如何避免它們。

盲目跟風

這種觀點重複犯了經典的錯誤,組織開發他們的第一套資料倉儲或者bi系統時經常會犯這樣的錯誤。太多時候,it和bi以及分析專案管理者被技術炒作所迷 惑,忘記了他們首要任務的商業價值;資料分析技術僅僅是乙個用來產生商業價值的工具。大資料分析的支持者們不應該盲目地採用產品,他們首先需要判斷該技術 所服務的業務目標,以便建立業務案例,——然後為手頭工作選擇正確的分析工具。沒有對業務需求的深刻理解,會存在很大風險,專案團隊最終可能將建立出乙個 「大資料磁碟場」,而不是真正對組織有價值的東西,得到的是乙個不想要的「資料狗窩」。

誤認為軟體可以回答所有問題

構建乙個分析系統,尤其是涉及大資料的分析系統是非常複雜的,也是資源密集的。因此,許多組織希望他們部署的軟體將成為銀彈,神奇地實現一切。當然,人 們應該明白希望總是比現實更美好。軟體確實會帶來幫助,有時幫助還會很大。但是大資料分析的效果取決於被分析的資料和使用工具的分析技能。

思路太過僵硬

通常,人們總是不斷嘗試他們過去的做法,即便當他們面對不同的場景時也會這樣。在大資料情況下,一些組織會想當然地認為所謂「大」只是意味著更多的交易 和更大的資料量。這種觀點可能是正確的,但是許多大資料分析策略會涉及非結構化和半結構化資訊,需要以完全不同於企業應用程式和資料倉儲中結構化資料的方 式管理和分析。因此,我們需要一套新的方法和工具來進行大資料捕獲、清洗、儲存、整合和訪問。

忘記過去所有的教訓

有時企業會走向另乙個極端,認為大資料中的一切都是完全不同的,他們必須從頭開始。對於大資料分析專案的成功,這種錯誤可能甚至比認為沒有不同更要命。只是因為你希望分析的資料結構不同,並不意味著我們已有的資料管理基本原則需要重寫。

沒有必備的業務和分析專業知識

誤認為該技術可以實現一切的必然結果就是,相信所有你需要的只是讓it員工實施大資料分析軟體。首先,與上述產生商業價值主題相符合,有效的大資料分析 專案必須在系統設計階段以及持續運營過程中結合廣泛的業務和行業知識。其次,許多組織低估了他們需要分析技能的程度。如果大資料分析僅僅是構建報表和儀表 盤,企業可能可以利用他們現有的bi專業技能。然而,大資料分析通常涉及更高階的過程,比如資料探勘和**分析。這需要具備統計、決算以及其它高階技能的 分析專業人士,這可能意味著組織需要新聘請人員來邁出向高階分析進軍的第一步。

把專案當作科學實驗

太多時候,公司衡量大資料分析專案的成功僅僅是通過資料收集和分析來進行。而事實上,收集和分析資料只是開始。如果結合了業務流程,並促使業務經理們和使用者們為改善組織績效和業績而付諸行動之後,分析才能產生商業價值。要獲得真正的效率,就需要把分析專案納入反饋閉環,以便交流分析結果,然後基於經營業績提煉分析模型。

承諾太多,想做的太多

許多大資料分析專案陷入了乙個大誤區:支持者過度宣揚他們部署的系統會有多麼快,業務會獲得多麼重大的益處。過度的承諾和交付的不足必然導致業務與技術的 分離,這樣組織一般會很長時間都推遲特定技術的選用——即便其它許多公司已經使用該技術獲得了成功。此外,當你設定了很輕鬆很快就能獲益的預期,業務主管 就有一種認識傾向,容易低估了需要參與和承擔義務的程度。當足夠資源不能兌現的話,預期的收益通常不會來的容易或者迅速,那麼專案基本就貼上了失敗的標 籤。

大資料分析可以給組織帶來很大的商業價值,但是如果你不小心,不從其它公司犯的錯誤中吸取教訓的話,它也可以帶來災難。謹記上述的幾點問題,切莫成為大資料分析專案的反面典型。

Alfred資料分析專案實踐筆記

2.pandas pd 3.numpy np 4.re 正則 5.seaborn 視覺化圖表 1.matplotlib plt 1.1 美化風格ggplot 顯示調整 2.1 concat 資料組合 2.2 split 字串分割 原始 分割後 2.3 loc iloc資料提取 pandas中loc用...

《大資料分析原理與實踐》 習題

在我們身邊有哪些大資料?在這些大資料上有哪些分析任務?比較 分析 機器學習 和 資料探勘 的異同。比較電子商務和工業生產中大資料分析任務的異同。試論述大資料分析對大資料管理提出的新要求。大資料分析對技術提出了何種挑戰?根據你的經驗論述這些挑戰應當如何應對。大資料分析中的 分析 和下面哪句話中的 分析...

大資料分析平台 專案2

注意的點 為什麼這麼寫?能不能加些其它的列操作?資料!什麼樣的資料!object模組下建立object main模組 建立usersession object類 思路 session的步長和時間 我從首頁進入到商品詳情到購物車 使用者到底跳轉了多少頁面就是步長 當這個資料統計之後 這個使用者在網頁中...