分布式計算 雲計算與大資料第八章

2021-10-01 05:35:13 字數 3678 閱讀 3179

對一般使用者而言:雲計算是指通過網路以按需、易擴充套件的方式獲得所需的服務。即隨時隨地只要能上網就能使用各種各樣的服務,如同錢莊、銀行、發電廠等。這種服務可以是it和軟體、網際網路相關的,也可以是任意其他的服務。

對專業人員而言:是分布式處理、並行處理和網格計算的發展,或者說是這些電腦科學概念的商業實現。是指基於網際網路的超級計算模式–即把原本儲存於個人電腦、移動裝置等個人裝置上的大量資訊集中在一起,在強大的伺服器端協同工作。它是一種新興的共享計算資源的方法,能夠將巨大的系統連線在一起,以提供各種計算服務。

雲計算與對等計算

對等計算系統中,每個節點都擁有對等的功能與責任,既可以充當伺服器向其他節點提供資料或服務,又可以作為客戶機享用其他節點提的供資料或服務,節點之間的互動可以是直接對等的,任何節點可以隨時自由地加入或離開系統。

對等計算:有可能作為雲計算的乙個型別

雲計算與平行計算

平行計算:是指同時使用多種計算資源解決計算問題的過程。通常指乙個程式的多個部分同時執行於多個處理器上。

特點:把計算任務分派給系統內的多個運算單元

平行計算問題的特徵:

將工作分離成離散部分,有助於同時解決

隨時並及時地執行多個程式指令(多條線同時執行)

多計算資源下解決問題的耗時要少於單個計算資源下的耗時

雲計算包含的平行計算特徵:

(1)使用者資源(單一型別和組合型別)請求的同時處理

iaas關鍵技術介紹:虛擬化技術

虛擬化是將底層物理裝置與上層作業系統、軟體分離的一種去耦合技術,其是基於開放的x86架構,將硬體、作業系統和應用程式一同裝入乙個可遷移的虛擬機器檔案檔案中

虛擬化的目標是實現it資源利用效率和靈活性的最大化

虛擬化技術在x86架構上比較通用,在risc架構下比較封閉

雲計算體系結構

雲計算核心服務通常可以分為3 個子層:基礎設施即服務層(iaas, infrastructure as a service)、平台即服務層(paas, platform as a service)、軟體即服務層(saas, software as a service)

google雲計算關鍵技術

google雲計算平台的幾個關鍵技術

檔案儲存,google file system,gfs

並行資料處理mapreduce

結構化資料表bigtable

分布式鎖chubby

亞馬遜雲平台儲存架構

aws提供一系列雲計算服務,無疑要建立在乙個強壯的基礎儲存架構之上,dynamo是amazon提供的一款高可用的分布式key-value儲存系統,具備去中心化,高可用性,高擴充套件性的特點

dynamo採用一致性雜湊來完成資料分割槽。在一致性雜湊中,雜湊函式的輸出範圍為乙個圓環,系統中每個節點對映到環中某個位置,而key也被hash到環中某個位置,key從其被對映的位置開始沿順時針方向找到第乙個位置比其大的節點作為其儲存節點

亞馬遜提供的雲計算服務

彈性計算雲ec2

簡單儲存服務s3

簡單資料庫服務****** db

簡單佇列服務sqs

彈性mapreduce服務

內容推送服務cloudfront

aws匯入/匯出

關聯式資料庫服務

彈性計算雲ec2

來自amazon的elastic compute cloud(ec2,彈性計算雲)提供了可定製化的雲計算能力,這是專為簡化開發者開發web伸縮性計算而打造的。使用者可以全面掌控自身的計算資源,同時amazon運作是基於「即買即用」模式的。只需花費幾分鐘時間就可獲得並啟動伺服器例項,所以它可以快速定製來響應計算需求的變化。

**:新aws使用者可以免費使用amazon ec2一年時間。它還提供了按需定製例項,linux例項每小時0.085美元起,windows例項每小時0.12美元起。保留例項的**為每年227.50美元起,或是每小時0.03美元起。

ec2的主要特徵:

靈活性:可自行配置執行的例項型別、數量,還可以選擇例項執行的地理位置。可以根據使用者的需求隨時改變例項的使用數量。

低成本:按小時計費

安全性:ssh、可配置的防火牆機制、監控等

易用性:使用者可以根據亞馬遜提供的模組自由構建自己的應用程式,同時ec2還會對使用者的服務請求自動進行負載平衡

容錯性:彈性ip

ec2的基本架構

簡單儲存服務s3

簡單資料庫服務****** db

******db是經過優化的非關係型資料儲存,它可以消除繁重的資料庫管理員工作。web服務方式的資料項儲存和查詢請求,該服務自動建立和管理多份資料以確保資料的高可用率和穩定性。

**:新使用者可以每月免費獲得25機時(machine hour)和1gb儲存。之後的花費其參閱官網。

#簡單佇列服務sqs

****** queue service(sqs,簡單佇列服務)是託管佇列,它增加了不同任務應用在分布式元件之間的工作流。sqs允許開發者移動資料,而不丟失資訊,每個請求的元件通常都保持可用狀態。

**:新使用者每月可獲得10萬sqs排隊請求。之後,使用者每1萬請求收取0.01美元。資料傳輸花費根據需求變化。

目標:解決低耦合系統間的通訊問題,支援分布式計算機系統之間的工作流

特點:簡單、無處不在

——「在網際網路的所有計算機不用安裝任何軟體或特殊防火牆配置就可以增加或讀訊息」

處理端:ec2上的ami

彈性mapreduce服務

elastic mapreduce(彈性mapreduce)允許企業和開發者或是其他人士處理大規模資料。使用執行在amazon ec2和s3的託管hadoop框架,使用者可以即刻利用隨心定製的計算力來完成資料密集型任務,諸如資料探勘或是科學**。

**:每小時0.015美元起,另外還需附加標準amazon ec2和amazon s3**。

內容推送服務cloudfront

cloudfront集合了其他的amazon雲服務,來為企業和開發者提供一種簡單方式,以實現高速傳輸分發資料。同ec2和s3最優化地協同工作,cloudfront使用涵蓋了邊緣的全球網路來交付靜態和動態內容。

**:使用者可按需支付。10tb範圍內每月每gb向外傳輸的起點**是0.15美元。使用者可通過aws ****** monthly calculator(amazon簡單按月**計算器)來估算每月的支出。預留能力**經要求也是可以的。

aws匯入/匯出

aws import/export工具採用amazon公司內部的高速網路和便攜儲存裝置,繞過網際網路來對amazon雲上的資料移入移出,import/export通常快於網際網路連線,比組織自己公升級頻寬具**優勢。

**:統一定價是每裝置80美元,還需附加每資料載入時的2.49美元。額外費用可通過amazon專用計算機計算。

關聯式資料庫服務

relational database service(rds,關聯式資料庫服務)在雲計算環境下通過web服務提供了彈性化的關聯式資料庫。接管資料庫的管理員任務,以前使用mysql資料庫的所有**,應用和工具都可相容amazon rds。它可以自動地為資料庫軟體打補丁並完成定期的按計畫備份。

**:按需購買的db例項,標準部署**為每小時0.11美元起,多az部署**為每小時0.22美元起。保留db例項為每年227.50美元起。還有預分配的資料庫儲存每月每gb是0.1美元起。

分布式雲計算大資料第八章

2006年,google高階工程師克里斯多福 比希利亞提出雲計算想法,雲計算是分布式計算 效應計算 虛擬化技術 web服務,網格計算等技術的融合與發展,他的目標是使用者通過網路能夠在認識時間 任何地點最大限度的使用虛擬資源池,處理大規模計算問題。定義是分布式處理 並行處理和網格計算的發展,或者說是這...

雲計算與大資料 第八章

是分布式處理 並行處理和網格計算的發展,或者說是這些電腦科學概念的商業實現。是指基於網際網路的超級計算模式 即把原本儲存於個人電腦 移動裝置等個人裝置上的大量資訊集中在一起,在強大的伺服器端協同工作。它是一種新興的共享計算資源的方法,能夠將巨大的系統連線在一起,以提供各種計算服務。infrastru...

第八章 雲計算原理與技術

8.雲計算原理與技術 8.1雲計算概述 對一般使用者而言 雲計算是指通過網路以按需 易擴充套件的方式獲得所需的服務。即隨時隨地只要能上網就能使用各種各樣的服務,如同錢莊 銀行 發電廠等。這種服務可以是it和軟體 網際網路相關的,也可以是任意其他的服務。對專業人員而言 是分布式處理 並行處理和網格計算...