資料探勘 是「大忽悠」還是「懵懂少年」

2021-04-13 06:33:58 字數 2038 閱讀 2680

台資餐飲企業「一茶一座」在內地發展迅猛,幾年下來已經開了34家連鎖店,歷史資料累積到三千多萬條;本土生產型企業「樂百氏」的門店幾乎已鋪遍全國,總部十分重視原始資料的採集,為加強對各區域門店和經銷商的管理,需要上一套分銷系統。

兩家企業都是中等規模,資訊基礎設施較為完備,資訊化專案的負責人也既懂業務又懂技術;巧的是,他們今年都選擇了部署商務智慧型系統。接受採訪時兩位cio均表示,迄今為止企業的資料主要集中在銷售方面,財務、庫存資料還沒有整合到系統中,以企業目前的運營規模和資料流量來看,沒有實施資料探勘的必要。

2023年,資料探勘帶著「啤酒加尿布」的光環來到中國,引起理論界一陣熱炒;緊接著,一些大牌it企業也加入炒作的行列,大有企業救世主的風範。然而經過幾年的實踐,資料探勘的應用和實施仍處困境,即便在電信、稅務、金融等領域,成功案例也屈指可數。資料探勘何以炒著熱吃著冷?資料探勘是大忽悠還是懵懂少年?

尷尬處境:大企業成功案例少 中小企業需求小

目前的資料探勘市場,基本處在跨國巨頭的壟斷之下,至今未出現類似於erp、scm等領域的本土知名企業,連提供解決方案與諮詢的廠商,其骨幹及專案經驗也多來自外企或國外。無論是軟體開發商、諮詢服務提供商或實施方,人才匱乏問題成為企業發展的一大瓶頸。

劉世平對這點深有體會。他本是ibm全球銀行資料探勘諮詢組組長,有豐富的資料探勘專案經驗,懷著創業的夢想,他從ibm出來,在中科院帶研究生的同時,也辦了一家提供資料探勘解決方案和諮詢業務的公司――吉貝克資訊科技(北京)****。劉世平遇到的最大難題不是找不著業務需求,而是招不到合格的專案從業人員,哪怕是跑到國內頂尖院校,見著的仍是流於書本理論毫無專案實踐的高才生。沒辦法,他只好立足於自己培養,現在的資料探勘團隊都是劉世平花了幾年心血一手帶出來的。這樣的例子在業界舉不勝舉。

如果說成功的資料探勘專案是一串鑽石項鍊,那麼資料收集和整理是挑選含有鑽石的礦石,統計建模和資料分析則是鑽石的開採,而專案管理就是把一顆顆鑽石連線起來的金線。與其他資訊系統對專案管理人員的要求不同,資料探勘要求專案管理者不僅具備專案管理能力、軟體設計能力、超強的理解和溝通能力,還要具備相當的資料分析能力。

資料探勘專案的實施人員,除了專案管理者之外,還需要三類具有不同專長的人員,一是業務分析人員,精通業務,能夠解釋業務物件,並根據業務物件確定用於資料定義和挖掘演算法的業務需求;二是資料分析人員,精通資料分析技術,熟練掌握統計學,能把業務需求轉化為具體操作,並為每步操作選擇合適的技術;三是資料管理人員,精通資料管理技術,了解資料來源,負責資料準備過程。 字串9

同樣,要成功完成一次資料探勘過程,使用者也既要熟悉業務,也要熟悉演算法和模型,才能知道取出來的資料代表什麼,算出來的結果又代表什麼。而電信、金融等行業主導資料探勘系統建設的大都是工科出身,不但業務不熟悉,對統計學也很生疏。由於雙方面都對複合型人才有極大的需求,以致常出現使用者挖廠商牆角、廠商再花大價錢回挖的人才拉鋸戰。

國內大型企業的資料探勘成功案例鳳毛麟角,很大一部分原因就在於使用者過分依賴廠商,自身沒有形成一支懂技術、懂業務、懂管理的核心團隊。這點可以從寶鋼的例子中吸取一點經驗。寶鋼領導普遍都很重視資料倉儲的專案建設,親自參與專案的整體或階段性規劃,並狠抓it團隊建設。幾年下來,寶鋼培養出一批掌握sas核心技術的員工,保證了資料探勘在業務上的較好應用。  

資料探勘的成功要求ceo對期望解決問題的領域有深刻的理解,理解資料,理解其過程,才能對資料探勘的結果找出合理的解釋。拿啤酒和尿布這一經典例子來說,如何去解釋這種現象,是應該將兩者放在一起還是分開銷售?需要摸透消費者的心理才能做出決定,而無法靠資料探勘得出結論。

美國有家冰激凌生產商,總是聽到顧客對產品的抱怨,而產品的質量又檢查不出什麼問題,企業ceo也一直不明就裡。後來市場部用上資料探勘軟體,通過分析知道問題出在產品的外包裝上,由於包裝上冰激凌裡的水果數量較多,而實際產品沒有那麼多,導致了顧客的不滿。市場部隨即換上新的包裝,顧客的抱怨也就停止了,但銷量並沒有明顯增加。資料探勘的結果幫助企業解決了乙個表面問題,但沒有改善企業的經營狀況。

資料探勘提供的是乙個輔助決策的系統,它不能代替ceo來進行決策。人在所有的資訊系統包括資料探勘平台中的作用始終是第一位的。不能快速、準確地制定決策方針等於將市場送給對手,不能及時發現業務的潛在資訊等於浪費自己的資源。資料探勘給出的結論仍然只是參考,而不是最終結論,事情的決斷和執行仍然要靠ceo的智慧型。

模型,忽悠嗎? 資料探勘中的模式介紹

2007年1月12日 今天去探訪了一家航空貨運客戶,了解了一些需求,是乙個很標準的資料倉儲專案。現有的麵包黃油系統 業務系統 有很多,foc,icargo,xx等等,現在他們做統計 預算要用到一批報表,報表的資料來源都是手工從各個系統的查詢介面抓取到excel裡面,然後再把excel手工製作成報表的...

什麼是資料探勘

當今資料庫的容量已經達到上萬億的水平 t 1,000,000,000,000個位元組。在這些大量資料的背後隱藏了很多具有決策意義的資訊,那麼怎麼得到這些 知識 呢?也就是怎樣通過一顆顆的樹木了解到整個森林的情況?電腦科學對這個問題給出的最新回答就是 資料探勘,在 資料礦山 中找到蘊藏的 知識金塊 幫...

什麼是資料探勘

簡單地說,資料探勘是指從大量資料中提取或 挖掘 知識。該術語實際上有點用詞不當。注意,從礦石或砂子挖掘 稱作 挖掘,而不是砂石挖掘。因此,資料探勘應當更正確地命名為 從資料中挖掘知識 遺憾的是這個詞有點長。圖1 3 資料探勘 在你的資料中搜尋知識 有趣的模式 圖1 4 資料探勘作為知識發現過程的乙個...