資料探勘筆記(一)

2021-06-17 16:19:31 字數 2038 閱讀 3342

資料--》資料倉儲--》資料探勘-》模型評估-》知識

資料分析

通過資料分析可以發現最有價值客戶,是組合銷售更有效率,留住那些最有價值客戶,用更小的成本發現欺詐現象。通訊業手機資料分析目的是為了方便快捷地管理使用者。但資料中包含了很多關於各個變數之間關係的資訊,這些資訊可被用來改進相關領域的決策。

基礎在於資料庫的資料的處理,資料處理有兩種型別

1、操作型(聯機事務處理oltp(on-line transaction processing,與業務活動關聯)

也稱為事務處理,例如我們對資料的增刪改查,為特定的應用服務。oltp是傳統的關係型資料庫的主要應用,主要是基本的、日常的事務處理,例如銀行交易。關心的是響應時間、資料的安全性和完整性。

2、分析型(聯機分析處理olap,on-line analytical processing,與決策活動關聯)

需要大量訪問歷史資料庫,支援複雜查詢,去除細節資料,並常使用外部資料**。olap是資料倉儲系統的主要應用,支援複雜的分析操作,側重決策支援,並且提供直觀易懂的查詢結果。

在操作型環境中直接構建分析型應用是一種失敗的嘗試,需要將分析型處理資料和操作型處理資料分離。

資料倉儲

為了滿足管理人員的決策分析需求,需要在資料庫基礎上產生適應決策分析的資料環境,即資料敞開。資料倉儲提供聯機分析處理(olap,on-line analytical processing)工具,具有彙總、合併和聚集功能,以及從不同角度觀察資訊的能力。儘管olap工具支援多維分析和決策,對於深層次的分析,如資料分類、聚類和資料隨時間變化的特徵仍然需要其他分析工具。

資料倉儲是作為dss服務基礎的分析db,用來存放大量的唯讀資料,為制定決策提供所需資訊。

資料敞開是與操作型系統相分離的、基於標準企業模型整合的,帶有時間屬性的(即與企業定義的時間去端相關)、面向主題及不可更新的資料集合。

定義:資料倉儲就是乙個用以更好地支援企業或組織的決策分析處理,面向主題(subject-oriented),整合的(integrated),不可更新的,隨時間不斷變化(time-variant)的資料集合。

資料倉儲支援olap、資料探勘和決策分析。olap從資料倉儲中的綜合資料出發,提供面向分析的多維模型,並使用多維分析的方法從多個角度、多個層次對多維資料進行分析,使決策者能夠以更加自然的方式來分析資料。

資料倉儲是一種語義上一致的資料儲存,他充當決策支援資料模型的物理實現,並存放企業戰略決策所需資訊。資料倉儲也常被看作一種體現結構,通過將異種資料來源中的資料整合在一起而構造,支援結構化和專門的查詢、分析報告和決策制定。

早期資料倉儲是c/s,近年從功能上劃分為若干個分布式物件,這些分布式物件不僅可直接用於建立資料倉儲,還可以在應用程式中向使用者提供呼叫介面。

相關產品:ibm db2;微軟:在sql server 7.0和sql server 2000整合了plato的olap伺服器;sybase:warehouse studio;oracle:oracle warehouse builder,oracle express,datamart suit

資料探勘

資料探勘data mining也就是kdd(knowledge discovery in databases知識發現的分析過程)。

資料探勘工具進行資料分析可以發現重要的資料模式,對商務決策,知識庫、科學和醫學研究作為巨大貢獻。資料探勘以資料敞開和多維資料庫中的資料為基礎,發現資料中的現在模式和進行**。因此,資料敞開的功能是支援管理層進行科學決策。資料探勘就是從雜亂無章的資料中找出規律,將資料轉為資訊的乙個過程。要具有普遍意義,需從海量資料來挖掘。

資料探勘步驟:

資料的選擇,資料的淨化,消除雜訊或不一致資料,多種資料來源組合在一起

資料探勘階段:基本步驟,使用智慧型方法提取資料模式

時序模式(例如在買記過印表機的人中,半年後80%再購買新的硒鼓),分類、關聯分析(購買麵包的顧客中有90%的人同時購買了牛奶),聚類。

模式評估:根據某種興趣度度量,識別表示知識的真正有趣的模式。

知識表示:使用視覺化和知識表示技術,向使用者提供挖掘的知識。

資料探勘筆記(一)

資料 資料倉儲 資料探勘 模型評估 知識 資料分析 通過資料分析可以發現最有價值客戶,是組合銷售更有效率,留住那些最有價值客戶,用更小的成本發現欺詐現象。通訊業手機資料分析目的是為了方便快捷地管理使用者。但資料中包含了很多關於各個變數之間關係的資訊,這些資訊可被用來改進相關領域的決策。基礎在於資料庫...

資料探勘學習筆記(一)

資料分析與資料探勘 1.資料分析 採用適當的統計分析方法對收集到的資料進行分析 概括和總結,對資料進行恰當的描述,提取有用的資訊的過程。2.資料探勘 data mining,dm 從海量的資料中通過相關的演算法來發現隱藏在資料中的規律和知識的過程。為什麼要進行資料探勘呢?通常將資料探勘視為資料中 知...

《資料探勘導論》筆記 (一)

資料探勘是再大型資料儲存庫中,自動地發現有用資訊的過程。發現先前未知的有用模式,還可以 未來觀測結果 並非所有的資訊發現都視為資料探勘,例使用資料庫查詢個別的記錄或通過網際網路查詢特定的web頁面,則是資訊檢索。儘管如此,人們也在利用資料探勘技術增強資訊檢索系統的能力。資料探勘是資料庫中知識發現 k...