資料探勘概述

2021-06-16 01:03:07 字數 1732 閱讀 3525

隨著技術的不斷發展及資料庫管理系統的廣泛應用,資料庫中儲存的資料量急劇增大,在大量的資料背後隱藏著許

多重要的資訊,如果能把這些資訊從資料庫中抽取出來,將為公司創造很多潛在的利潤,而這種從海量資料庫中挖掘資訊

的技術,就稱之為資料探勘。

資料探勘工具能夠對將來的趨勢和行為進行**,從而很好地支援人們的決策,比如,經過對公司整個資料庫系統的

分析,資料探勘工具可以回答諸如「哪個客戶對我們公司的郵件推銷活動最有可能作出反應,為什麼」等類似的問題。有

些資料探勘工具還能夠解決一些很消耗人工時間的傳統問題,因為它們能夠快速地瀏覽整個資料庫,找出一些專家們不易

察覺的極有用的資訊。

下文將對資料探勘的基本技術作乙個簡單的介紹。

資料探勘的基礎

資料探勘技術是人們長期對資料庫技術進行研究和開發的結果。起初各種商業資料是儲存在計算機的資料庫中的,然

後發展到可對資料庫進行查詢和訪問,進而發展到對資料庫的即時遍歷。資料探勘使資料庫技術進入了乙個更高階的階

段,它不僅能對過去的資料進行查詢和遍歷,並且能夠找出過去資料之間的潛在聯絡,從而促進資訊的傳遞。現在資料挖

掘技術在商業應用中已經可以馬上投入使用,因為對這種技術進行支援的三種基礎技術已經發展成熟,他們是:

海量資料蒐集

強大的多處理器計算機

資料探勘演算法

商業資料庫現在正在以乙個空前的速度增長,並且資料倉儲正在廣泛地應用於各種行業;對計算機效能越來越高

的要求,也可以用現在已經成熟的並行多處理機的技術來滿足;另外資料探勘演算法經過了這10多年的發展也已經成為一種

成熟,穩定,且易於理解和操作的技術。

從商業資料到商業資訊的進化過程中,每一步前進都是建立在上一步的基礎上的。見下表。表中我們可以看到,第四

步進化是革命性的,因為從使用者的角度來看,這一階段的資料庫技術已經可以快速地回答商業上的很多問題了。

進化階段商業問題支援技術產品廠家產品特點

資料蒐集

(60年代)「過去五年中我的總收入是多少?」計算機、磁帶和磁碟ibm,cdc提供歷史性的、靜態的資料資訊

資料訪問

(80年代)「在新英格蘭的分部去年三月的銷售額是多少?」關聯式資料庫(rdbms),結構化查詢語言(sql),odbc

、、、ibm、microsoft在記錄級提供歷史性的、動態資料資訊

資料倉儲;決策支援

(90年代)「在新英格蘭的分部去年三月的銷售額是多少?波士頓據此可得出什麼結論?」聯機分析處理(olap)、多維

資料庫、資料倉儲pilot、comshare、arbor、cognos、microstrategy在各種層次上提供回溯的、動態的資料資訊

資料探勘

(正在流行)「下個月波士頓的銷售會怎麼樣?為什麼?」高階演算法、多處理器計算機、海量資料庫pilot、

lockheed、ibm、sgi、其他初創公司提供**性的資訊

表一、資料探勘的進化歷程。

資料探勘的核心模組技術歷經了數十年的發展,其中包括數理統計、人工智慧、機器學習。今天,這些成熟的技術,

加上高效能的關聯式資料庫引擎以及廣泛的資料整合,讓資料探勘技術在當前的資料倉儲環境中進入了實用的階段。

資料探勘的範圍

「資料探勘」這個名字**於它有點類似於在山脈中挖掘有價值的礦藏。在商業應用裡,它就表現為在大型資料庫裡

面搜尋有價值的商業資訊。這兩種過程都需要對巨量的材料進行詳細地過濾,並且需要智慧型且精確地定位潛在價值的所

在。對於給定了大小的資料庫,資料探勘技術可以用它如下的超能力產生巨大的商業機會:

資料探勘概述

資料探勘最重要的要素是分析人員的相關業務知識和思維模式。豐富的業務知識是設計有效的相關變數的必要條件,而分析人員的思維模式從另外乙個方面也保障了設計變數的結構化和完整性。所以我們在掌握豐富的業務知識同時,如果能夠按照正確的思維模式去思考問題,將會發現解決問題並不是很困難的。一般來說,資料探勘主要側重...

資料探勘系列之二 資料探勘概述

資料庫系統經歷了如下的技術演變 資料收集和資料庫建立,資料管理 dbms,包括資料儲存和檢索,聯機事務處理oltp 以及高階資料分析 涉及資料倉儲和資料探勘 當前常見的資料集形式為多個異構資料來源在單個站點以統一的模式組織的儲存庫,即資料倉儲。資料倉儲技術包括資料清理 資料整合和聯機分析處理olap...

資料探勘系列之二 資料探勘概述

資料庫系統經歷了如下的技術演變 資料收集和資料庫建立,資料管理 dbms,包括資料儲存和檢索,聯機事務處理oltp 以及高階資料分析 涉及資料倉儲和資料探勘 當前常見的資料集形式為多個異構資料來源在單個站點以統一的模式組織的儲存庫,即資料倉儲。資料倉儲技術包括資料清理 資料整合和聯機分析處理olap...