聯合之大資料(一 資料起源)

2021-09-29 17:23:56 字數 1021 閱讀 2259

資料其實是乙個很常見的東西,怎麼地呢?比如:有乙個孩子叫小明從小學到初中再到高中這三個階段,如果每乙個階段他的學習成績都很好在班上甚至整個年級每次考試都能名列前茅,那麼在他考大學的時候他的父母、老師、同學認為他考上重點大學的可能性就很高。這個可能性是從何而來?如果我們讓乙個陌生人看一眼小明沒有其他的交流和資料的輔助,乙個陌生人絕不會這樣認為。那麼他的父母、老師、同學認為他考上重點大學的可能性如此之高的依據是什麼呢?其實就是對他的了解這個了解很抽象又很具體,具體在於小明有每次的考試成績和排名資料等這些客觀的資料進行主要輔助,而抽象在於個性認知和心理素質的好壞等表現。有了客觀資料這一主要的輔助他父母、老師、同學認為他考上重點大學的可能性很高也就理所當然。

以上的案例中小明的每次的考試成績和排名資料等這些客觀的資料就是資料。回到網際網路的發展上來看,從上個世紀**十年代開始中國的網際網路逐漸開始緩慢的發展,到了九十年代中後期發展的速度開始提高此時逐漸的有一些網際網路公司已經初露矛頭。我本人是在2023年左右開始瞞著父母偷著上網咖的,那時候網咖裡的電腦滑鼠裡還有個小圓球,系統好像用的還是windows98到網咖主要玩紅警。隨著時代的發展網際網路在2023年開始逐漸走上高速發展的道路各種網遊等遊戲如雨後春筍般出現,但也同時產生了少數的網癮少年。從資料的角度我們怎麼定義乙個人是不是有網癮呢?我們可以統計它在一天之內、一周之內、一月之內的上網時間和上網時長。比如乙個人一天內除工作和學習的需要其他時間上網的時長達到8小時以上,一周之內達到60個小時以上。乙個月之內達到200個小時以上那麼我們就可以判斷出這個人有很大的網癮(以上的時間只是假設時間,不是醫學斷定時間)。假如使用者一直在同一臺電腦上上網,那麼這一天的上網時長、一周上網的時長、乙個月上網的時長去那統計呢,我們可以生成使用者的記錄從記錄中統計。

通過上面的兩個舉例,我們可以看出或者得出乙個簡單的小結:資料是從日常的生產生活中隨著時間的推移而不斷的增加和累積的,時間越久行為越活躍資料的積累就越多。

那麼要這麼多的資料幹什麼呢?

這就是資料的起源和資料的簡單作用。下一節繼續說資料的產生。

聯合之大資料(三 資料儲存)

資料的儲存一直是乙個很熱門的話題和技術,資料的儲存不但要持久化儲存,還要有更優的儲存技術。有些人會想能把資料存起來就好了幹嘛還有更優的儲存呢?我現在這裡說明一下,這裡所指的更優化的儲存指的是 資料寫入和讀取的速度 資料儲存的安全 資料儲存的備份和容災 資料訪問的事務性。在這四項裡面資料寫入和讀取的速...

大資料之大資料時代

下面,開啟第一講 大資料之大資料時代 講大資料一定脫離不開乙個大的背景。下面先從大資料背景講起。縱觀整個it發展史,也不過短短幾十年,在這幾十年裡,我們這個資訊化社會經歷了三次大的資訊化浪潮。第一次浪潮是在上個世紀90年代前,1980年前後,pc機進入市場,ibm公司制定了全球的pc標準,即一台電腦...

大資料之大資料技術架構

上期我們說到大資料的概念,其實,大資料比我們想象中的還要複雜,本期,我們主要從技術的角度介紹一下大資料的知識。大資料技術是一系列技術的總稱,它是集合了資料採集與傳輸 資料儲存 資料處理與分析 資料探勘 資料視覺化等技術,是乙個龐大而複雜的技術體系。根據大資料從 到應用,實現傳輸的流程,可以將大資料技...