大資料基礎(一) 關係 文章

2021-08-21 14:47:36 字數 1635 閱讀 7596

(2)dw/data warehouse/資料倉儲——這裡儲存的是db中的不同時間點的狀態,比如,每天早上洗完照鏡子時,都拍一張**,天天這樣,這些**放入到乙個相簿中,之後就可以檢視每一天的狀態了,這個相簿就是資料倉儲,他儲存的是資料在不同時間點的狀態,對同乙個資料資訊,保留不同時間點的狀態,就便於我們做統計分析了。

(3)etl/extraction-transformation-loading——用於完成db到dw的資料轉存,它將db中的某乙個時間點的狀態,「抽取」出來,根據dw的儲存模型要求,「轉換」一下資料格式,然後再「載入」到dw的乙個過程,這裡需要強調的是,db的模型是er模型,遵從正規化化設計原則,而dw的資料模型是雪花型結構或者星型結構,用的是面向主題,面向問題的設計思路,所以db和dw的模型結構不同,需要進行轉換。 

(5)dm/data mining/資料探勘——這個挖掘,不是簡單的統計了,他是根據概率論的或者其他的統計學原理,將dw中的大資料量進行分析,找出我們不能直觀發現的規律,比如,如果我們每天早上照相,量身材的時候,還記錄下頭一天吃的東西,黃瓜,豬腿,烤鴨,以及心情,如果記錄上10年,形成了3650天的相貌和飲食心情的資料,我們每個人都記錄,有20萬人記錄了,那麼,我們也許通過這些記錄,可以分析出,身材相貌和飲食的客觀規律;再說乙個典型的例項,就是英國的超市,在積累了大量資料之後,對資料分析挖掘之後,得到了乙個規律:將小孩的尿布和啤酒放在一起,銷量會更好——業務專家在得到該結論之後,仔細分析,知道了原因,因為英國男人喜歡看足球的多,老婆把小孩介紹男人看管,小孩尿尿需要尿布,而男人看足球喜歡喝酒,所以兩樣商品有密切的關係,放在一起銷售會更好!

(6)bi/business intelligence/商業智慧型——領導,決策者,在獲取了olap的統計資訊,和dm得到的科學規律之後,對生產進行適當的調整,比如,命令超市人員將啤酒喝尿布放在一起銷售,這就反作用於db修改存貨資料了——這就是整個bi的作用!

資訊科技經過近20年的大力發展,很多行業積累了很多珍貴的資料,真正的大資料時代到來了,也逐漸體現出 db-etl-dw-olap-dm-bi這條線路的重要性,希望大家能懂得這個大資料時代的價值,把握住機遇,有更加美好的未來!

資料倉儲的價值:

資料倉儲的基本構架:

資料倉儲的源資料型別:

資料倉儲的多維資料模型:

資料立方體-維度與olap:

db、etl、dw、olap、dm、bi關係結構圖:

ods與dw的關係

//這篇文章很好。推薦。

資料倉儲之etl漫談

linux下jdk安裝

etl的一些概念

事實表和維度表的關係

**threadpool執行緒池

對mapreduce過程的理解

使用storm實時大資料分析

大資料系列文章 Hadoop基礎介紹(一)

大名鼎鼎的lucene nutch也是他弄出來的。他目前在cloudera公司擔任首席架構師工作。主 namenode節點儲存檔案元資料 從 datanode節點儲存檔案block資料 datanode與namenode保持心跳,提交block列表 這裡的心跳指的是datanode會週期性的給nam...

資料庫原理(一) 關係代數

關係代數 relational algebra。代數是乙個較為基礎的數學分支。它的研究物件有許多。諸如數 數量 代數式 關係 方程理論 代數結構等等都是代數學的研究物件。初等代數一般在中學時講授,介紹代數的基本思想 研究當我們對數字作加法或乘法時會發生什麼,以及了解變數的概念和如何建立多項式並找出它...

建立多對一關係

在資料庫設計中,很多實體之前並不是簡單的一對一關係。有些可能是多對一,多對多關係。下面的文章中以常見的客戶訂單之間的關係為例,介紹在hibernate中,如果去配置多對一的關係。1.實體分析 客戶和訂單之間是一對多的關係,或者說訂單和客戶之間是多對一的關係。按照上面的思想,可以設計出兩種方式的類關係...