雲計算 大資料和人工智慧

2021-09-24 07:10:43 字數 3304 閱讀 8609

參考:

一、雲計算最初的目標

1、理解網路資源、儲存資源概念;

2、對於一台電腦是這個樣子的,對於乙個資料中心也是同樣的。想象你有乙個非常非常大的機房,裡面堆了很多的伺服器,這些伺服器也是有cpu、記憶體、硬碟的,也是通過類似路由器的裝置上網的。這時的問題就是:運營資料中心的人是怎麼把這些裝置統一的管理起來的呢?

3、物理裝置的不靈活:時間、空間的不靈活;

4、虛擬化:

可以從物理的cpu、記憶體、硬碟中虛擬出一小塊來給客戶,同時也可以虛擬出一小塊來給其他客戶。每個客戶只能看到自己的那一小塊,但其實每個客戶用的是整個大的裝置上的一小塊。兩個客戶看似隔離的,實際情況可能是在乙個同樣乙個很大很大的儲存上。而且如果事先物理裝置都準備好,虛擬化軟體虛擬出乙個電腦是非常快的,基本上幾分鐘就能解決。

5、虛擬化的半自動和雲計算的全自動

隨著集群的規模越來越大,基本都是千台起步,動輒上萬台、甚至幾十上百萬臺。如果去查一下bat,包括網易、谷歌、亞馬遜,伺服器數目都大的嚇人。這麼多機器要靠人去選乙個位置放這台虛擬化的電腦並做相應的配置,幾乎是不可能的事情,還是需要機器去做這個事情。

人們發明了各種各樣的演算法來做這個事情,演算法的名字叫做排程(scheduler)。通俗一點說,就是有乙個排程中心,幾千臺機器都在乙個池子裡面,無論使用者需要多少cpu、記憶體、硬碟的虛擬電腦,排程中心會自動在大池子裡面找乙個能夠滿足使用者需求的地方,把虛擬電腦啟動起來做好配置,使用者就直接能用了。這個階段我們稱為池化或者雲化。到了這個階段,才可以稱為雲計算,在這之前都只能叫虛擬化。

6、總結1

雲計算基本上實現了時間靈活性和空間靈活性;實現了計算、網路、儲存資源的彈性。計算、網路、儲存我們常稱為基礎設施infranstracture, 因而這個階段的彈性稱為資源層面的彈性。管理資源的雲平台,我們稱為基礎設施服務,也就是我們常聽到的iaas(infranstracture as a service)。

二、雲計算不光管資源,也要管應用

2.1、雲計算管理應用

人們在iaas平台之上又加了一層,用於管理資源以上的應用彈性的問題,這一層通常稱為paas(platform as a service)。這一層往往比較難理解,大致分兩部分:一部分筆者稱為「你自己的應用自動安裝」,一部分筆者稱為「通用的應用不用安裝」。

那麼容器如何對應用打包呢?還是要學習貨櫃。首先要有個封閉的環境,將貨物封裝起來,讓貨物之間互不干擾、互相隔離,這樣裝貨卸貨才方便。好在 ubuntu中的lxc技術早就能做到這一點。

2.2、大資料擁抱雲計算

大資料裡面的資料,就分三種型別,一種叫結構化的資料,一種叫非結構化的資料,還有一種叫半結構化的資料。

其實資料本身不是有用的,必須要經過一定的處理。資料裡面包含乙個很重要的東西,叫做資訊(information)。經過梳理和清洗,才能夠稱為資訊。從資訊中將規律總結出來,稱為知識(knowledge)。有了知識,然後利用這些知識去應用於實戰,有的人會做得非常好,這個東西叫做智慧型(intelligence)。

所以資料的應用分這四個步驟:資料、資訊、知識、智慧型。

2.3 資料如何昇華為智慧型

a、資料的收集。收集有兩個方式:

拿(抓取或者爬取):

推送:如說小公尺手環,可以將你每天跑步,心跳等資料都上傳到資料中心裡面。

b、資料的傳輸:一般會通過佇列方式進行

c、資料的儲存

d、資料的處理和分析:需要清洗和過濾,得到一些高質量的資料。對於高質量的資料,就可以進行分析,從而對資料進行分類,或者發現資料之間的相互關係,得到知識。

e、資料的檢索和挖掘:

通過各種演算法挖掘資料中的關係,形成知識庫,十分重要。

2.4. 大資料時代,眾人拾柴火焰高

對於資料的傳輸:乙個記憶體裡面的佇列肯定會被大量的資料擠爆掉,於是就產生了基於硬碟的分布式佇列

對於資料的儲存:一台機器的檔案系統肯定是放不下的,所以需要乙個很大的分布式檔案系統來做這件事情,把多台機器的硬碟打成一塊大的檔案系統。

對於資料的分析:分布式計算的方法,將大量的資料分成小份,每台機器處理一小份,多台機器並行處理,很快就能算完。

所以說什麼叫做大資料?說白了就是一台機器幹不完,大家一起幹。可是隨著資料量越來越大,很多不大的公司都需要處理相當多的資料,這些小公司沒有這麼多機器可怎麼辦呢?

2.54. 大資料需要雲計算,雲計算需要大資料

說到這裡,大家想起雲計算了吧。當想要幹這些活時,需要很多的機器一塊做,真的是想什麼時候要就什麼時候要,想要多少就要多少。

例如大資料分析公司的財務情況,可能一周分析一次,如果要把這一百臺機器或者一千臺機器都在那放著,一周用一次非常浪費。那能不能需要計算的時候,把這一千臺機器拿出來;不算的時候,讓這一千臺機器去幹別的事情?

誰能做這個事兒呢?只有雲計算,可以為大資料的運算提供資源層的靈活性。而雲計算也會部署大資料放到它的paas平台上,作為乙個非常非常重要的通用應用。因為大資料平台能夠使得多台機器一起幹乙個事兒,這個東西不是一般人能開發出來的,也不是一般人玩得轉的,怎麼也得雇個幾十上百號人才能把這個玩起來。

所以說就像資料庫一樣,其實還是需要有一幫專業的人來玩這個東西。現在公有雲上基本上都會有大資料的解決方案了,乙個小公司需要大資料平台的時候,不需要採購一千臺機器,只要到公有雲上一點,這一千臺機器都出來了,並且上面已經部署好了的大資料平台,只要把資料放進去算就可以了。

雲計算需要大資料,大資料需要雲計算,二者就這樣結合了。

三、人工智慧擁抱大資料

計算機自己學習,模擬人腦工作

人工智慧需要大資料:

然而,神經網路包含這麼多的節點,每個節點又包含非常多的引數,整個參數量實在是太大了,需要的計算量實在太大。但沒有關係,我們有大資料平台,可以匯聚多台機器的力量一起來計算,就能在有限的時間內得到想要的結果。

由於人工智慧演算法多是依賴於大量的資料的,這些資料往往需要面向某個特定的領域(例如電商,郵箱)進行長期的積累,如果沒有資料,就算有人工智慧演算法也白搭,所以人工智慧程式很少像前面的iaas和paas一樣,將人工智慧程式給某個客戶安裝一套,讓客戶去用。因為給某個客戶單獨安裝一套,客戶沒有相關的資料做訓練,結果往往是很差的。

終於雲計算的三兄弟湊齊了,分別是iaas、paas和saas。所以一般在乙個雲計算平台上,雲、大資料、人工智慧都能找得到。乙個大資料公司,積累了大量的資料,會使用一些人工智慧的演算法提供一些服務;乙個人工智慧公司,也不可能沒有大資料平台支撐。

於是工智慧型程式作為saas平台進入了雲計算。

簡介 雲計算,大資料,人工智慧

雲計算最初是實現資源管理的靈活性 雲計算不光管資源,也要管應用 大資料擁抱雲計算 資料的收集 資料的傳輸 基於硬碟的分布式佇列 資料的儲存 分布式檔案系統 資料的分析 分布式計算的方法 人工智慧擁抱大資料 推理 知識教授 基於統計的知識自學 事物間的關聯 模擬大腦的工作方式 數學單元模擬神經元 神經...

物聯網 雲計算 大資料 人工智慧

物聯網iot internet of things 萬物聯網 應用創新是物聯網發展的核心,物聯網大致分為以下幾個層級 感知層,網路層,應用層。雲計算 cloud 雲計算可以認為包括以下幾個層次的服務 基礎設施即服務 iaas 平台即服務 paas 和軟體即服務 saas 大資料 dig data 具...

雲計算 大資料和人工智慧,誰將開啟新時代?

網際網路的已經經歷了pc時代和移動網際網路時代,不可否認僅僅幾年時間,移動網際網路在某種程度上已經達到飽和。那麼哪種技術可以開啟下乙個時代?三者界限愈加模糊 人工智慧技術其實是乙個非常廣泛的技術,它不僅涵蓋了語音識別 影象識別 自然語言理解 使用者畫像,它其實越來越和大資料 雲計算的界限在變得模糊。...