大資料的理解,大資料是什麼,大資料能幹什麼?

2021-08-21 10:50:00 字數 2742 閱讀 1557

· 一種規模大到在獲取、儲存、管理、分析方面大大超出了傳統資料庫軟體工具能力範圍的資料集合,具有海量的資料規模、快速的資料流轉、多樣的資料型別和價值密度低四大特徵。

大資料的本質就是一大堆結構化的和非結構化的資料。因為資料量太大,你沒辦法使用,你需要從中抓取出有價值的內容或你想要的資料,這就是大資料應用。

老程式都知道,我們做企業級的專案(資料庫專案)時,都會有資料的儲存,而且會做出很多圖表,為決策者進行科學地決策提供了客觀依據,為每個工作者從資料中發現問題,做進一步改進提供了依據,當然也有即時變動的資料展示位動態圖表。

1)、超市管理系統,也會把每年的資料進行彙總,對比每個月的銷量,以了解淡旺季,幫助做下一步的應對策略;把不同型別的商品進行彙總,對比哪個商品賣得多,哪個商品收益高;哪個商品在哪個時間段賣得快等等。當然,如果有會員的話,甚至可以統計出不同年齡段,不同性別的不同喜好等等。

2)、石油行業的進銷存系統,會統計哪個加油站的銷量好,哪種型號的銷量好。

3)、在his(醫院資訊管理)系統裡,會統計哪個科室的患者多,哪個醫生的**量大,哪個醫療裝置的使用頻度高,哪個病種多,甚至哪個年齡段得哪種型別病的數量多,甚至哪個地區的人患哪種病的概率高。在很多研究型醫院裡,還可以通過大量資料得出什麼型別的細菌是導致某種病的主因等等。

隨著時間的推移,資料的積累,隨著社會節奏的變化,使用資訊化系統的人越來越多,資料積累的速度越來越快,資料也越來越龐大。當規模大到在獲取資料,儲存資料,管理資料,分析資料方面大大超過了傳統資料庫軟體工具能力範圍的資料集合,並且資料的價值越來越大,針對資料的處理就需要專門的企業或者人員來完成,這就是現在大資料(當然,大資料的內涵遠遠不是這一兩句話能夠說清楚的)。

你可以簡單理解為:以前那是小資料,現在是大資料,哈哈!

從技術層面說,大資料和以前的資料時代("小資料")的最大差異在於: 以前是資料找應用、演算法的過程,偏重於用抽樣推測全域性,從抽樣資料中分析,沒有採集到的樣本所對應的相關規律。

而大資料時代的重要技術特徵之一,是應用、演算法去找資料的過程,因為資料規模變成了技術上最大的挑戰,我們更關注每乙個個體的微觀表現

應用場景能夠體現出大資料的價值

我的部落格中也有一些關於大資料應用場景的故事:

1)、超市管理系統:

除了傳統的資料彙總對比外,現在還需要對資料做進一步的挖掘,如:根據大量的資料能夠的得出

(啤酒與尿布的故事)買了某種商品的人同時還會買另外一種商品,這樣超市就會盡量把這兩種商品的擺放位置靠近,以方便客戶進行購買(這是為了商場商品擺放提供了依據)

電子商務平台上更是對資料的彙總更加有說服力,比如:**,這個平台「太可怕」了,他可以統計出南北方地區不同省份人群的特點,比如:不同省份人員的網購量,哪個性別,哪個年齡段購買最多,甚至根據衣服的尺碼都知道哪個省份人員的身高情況,那個人省份人員喜歡什麼顏色的衣服,噢,還有內衣,根據內衣,你都知道哪個省份女性的罩杯大小……

你在京東買了奶瓶又搜尋過奶粉,那京東的大資料就**到你可能有小寶寶了,接下來一大堆和嬰兒有關的東西都推薦給你。你可能說這就是大資料啊,也太簡單了。其實如果京東僅服務你乙個人,那簡單,但是京東對幾億使用者(大資料)都能做這個推廣,就不簡單。

這是商業公司對消費者日常的購買行為和使用商品習慣進行彙總和分析,了解到消費者的需求,從而改進已有商品並適時推出新的、消費者很可能會滿意的商品的體現

2)、石油行業的進銷存系統,著名的「魔鏡」預知石油市場走向,「魔鏡」幫助中石等企業分析資料,將資料視覺化,使企業科學的判斷、決策,節約成本,合理配置資源,提高了收益。

3)、在his(醫院資訊管理)系統裡特別是醫學研究上。

大資料改變醫學診斷手段

大資料分析為許多醫學難題的解決提供了新途徑,改變了一些疾病診斷方式。大資料可以挖掘出大量以往的相似疾病案例,通過分析這些診斷資料,對疑難雜症進行快速判別。如,在心臟病的診斷過程中,首先採集心臟資料並轉化為心臟圖譜,然後根據圖譜進行建模,模型中的變數包括壓力、張力、僵硬度等,最後根據這個模型分析心臟疾病病情,並作出相應的診療方案。此外,還可以利用影象處理技術,將心臟資料建模成為乙個虛擬實體,通過設定不同的引數,模擬觀察各類手術或者藥物對心臟機能造成的影響,從而在診療之前就對診療後心臟疾病可能的走勢做出**,為獲取疾病診治方法提供了手段。

大資料可**病情的擴散趨勢

當流行病發生時,可以對疾病已有的擴散趨勢和感染人數進行建模,對每乙個時間節點的資料進行分析處理,從而對流行病進行統計研究,**病情的擴散趨勢,為疾病防治提供參考。同時,當下一次疫情發生時,可以調出往年資料進行分析,了解規律,從而有望抑制病情的進一步擴張。

……疾病預防、臨床應用、網際網路醫療等等

5)、交通:

實時路況給人們出行選擇帶來的方便。交通擁堵的原因分析,並結合車輛購買的增長情況,決定修路的節奏把握(如:什麼路段需要修路,什麼路段需要優先修路,要不要單行等等),根據大資料的全樣本體現的高峰期更有說服力,並制定一系列的對策等等。

**,決策,為機器學習和人工智慧提供支撐

**從古代就做了,但是大資料做**的核心是全樣本,多個維度的全樣本,交叉確認,人會說謊,在社交場合會隱藏部分內心,但這部分內心在日積月累的網際網路上總有絲竹馬跡會留下來,所以,越來越多的資料模型和資料會給出無限接近感知的結果。也就是可以讓計算機具有學習能力,機器學習就是設計乙個一些讓計算機可以自動學習的演算法,人工智慧的核心是什麼?歸根到底是「計算機用大資料在代替人腦來思考;計算機可能比人腦思考的更全面和迅速

當然大資料的應用,不是一篇文章,簡單舉個例子就能說明白的,現在是資料為王的時代,我們現在才真正開始體會「資料最有說服力"的魅力所在,我認為,資料的作用待開發的地方太多了,資料的作用,未來不可限量,沒法**,也不敢**,只能期待。我想未來大量的資料真的是一件「可怕」的事情,人類還需要把這些資料應用在生產上,否則,會帶來災難性的結果。

大資料 什麼是大資料

1.什麼是資料 資料是事實或觀察的結果,是對客觀事物的邏輯歸納,是用於表示客觀事物的未加工的原始材料。資料經過加工之後就成為資訊。2.大資料的定義 麥肯錫給出的大資料定義是 大資料是指大小超過常規的資料庫工具獲取 儲存 管理和分析能力的資料集。但它同時強調,並不是說一定要超過特定的tb值的資料才能是...

大資料 什麼是大資料?

海量的資料 tb pb zb。高增長率 資料的形成速度 使用爬蟲 多樣化 資料是結構化 非結構化 半結構化。電商行業 電商行業是最早利用大資料進行精準營銷,它根據客戶的消費習慣提前生產資料 物流管理等,有利於精細社會大生產。由於電商的資料較為集中,資料量足夠大,資料種類較多,因此未來電商資料應用將會...

大資料 什麼是大資料?

在網際網路技術發展到至今階段,大量日常,工作等事務產生的資料都已經資訊化,人類產生的資料量相比以前有了 式的增長,以前傳統的資料處理技術已經無法勝任,需求催生技術,一套用來處理海量資料的技術應運而生,這就是大資料技術。換個角度說,大資料是 有海量的資料 有海量的資料進行挖掘的需求,有對海量資料進行挖...