雲計算與大資料第一章總結

2021-10-09 15:23:27 字數 1120 閱讀 1807

一、什麼是雲計算?

雲計算是指計算能力和儲存能力向網際網路端的遷移和抽象:遷移是指計算和儲存都不在本機甚至本地伺服器而遷移到了網際網路遠端的伺服器集群上,抽象是指終端使用者無需關心真正的儲存和計算發生在何處。

通俗來說,雲就是指計算能力沒有邊界,它的計算中心是有一堆伺服器,像雲一樣不易記數。

二、雲計算的關鍵技術

1、資料採集與預處理

利用etl(extraction-transformation-loading)工具將分布的、異構資料來源中的資料,如關係資料、平面資料檔案等,抽取到臨時中間層後進行清洗、轉換、整合,最後載入到資料倉儲或資料集市中,成為聯機分析處理、資料探勘的基礎;也可以利用日誌採集工具,把實時採集的資料作為比如計算系統的輸入,繼續實施處理分析

2、資料儲存和管理

利用分布式檔案系統、資料倉儲、關聯式資料庫、nosql資料庫、雲資料庫等,實現對結構化、半結構化和非結構化海量資料的儲存和管理

3、資料處理與分析

利用分布式並行程式設計模型和計算框架,結合機器學習和資料探勘演算法,實現對海量資料 的處理和分析

4、資料視覺化

對分析結果進行視覺化呈現,幫助人們更好地理解資料、分析資料

5、資料安全和隱私保護

在從大資料中挖掘潛在的巨大商業價值和學術價值的同時,構建隱私資料保護體系和 資料安全體系,有效保護個人隱私和資料安全

三、雲計算的主要特點

(1) 超大規模。「雲」具有相當的規模,企業私有雲一般擁有數百上千臺伺服器,能給使用者前所未有的計算能力。(2) 虛擬化。雲計算支援使用者在任意位置、使用各種終端獲取應用服務。(3) 高可靠性。「雲」使用了資料多副本容錯、計算節點同構可互換等措施來保障服務的高可靠性,使用雲計算比使用本地計算機可靠。(4) 通用性。雲計算不針對特定的應用,同乙個「雲」可以同時支撐不同的應用執行。(5) 高可擴充套件性。「雲」的規模可以動態伸縮,滿足應用和使用者規模增長的需要。(6) 按需服務。「雲」是乙個龐大的資源池,你按需購買;雲可以象自來水,電,煤氣那樣計費。(7) 極其廉價。由於「雲」的特殊容錯措施可以採用極其廉價的節點來構成雲,「雲」的自動化集中式管理使大量企業無需負擔日益高昂的資料中心管理成本,「雲」的通用性使資源的利用率較之傳統系統大幅提公升,因此使用者可以充分享受「雲」的低成本優勢,經常只要花費幾百美元、幾天時間就能完成以前需要數萬美元、數月時間才能完成的任務。

大資料第一章複習

大資料4 v 資料量大 volume 資料型別繁多 variety 處理速度快 velocity 價值密度低 value 大資料對思維方式的影響 全樣而非抽樣 效率而非精確 相關而非因果。大資料的基本處理流程 資料採集 儲存 分析和結果呈現。資料採集與預處理 利用etl工具將分布的 異構資料來源中的...

第一章總結

動態網頁是指在伺服器端執行的程式或者網頁,它們會隨不同客戶,不同時間,返回不同的內容,隨著internet技術的興起,b s架構是對c s架構的一種變化或者改進的結構,在這種結構下,程式完全放在應用伺服器上,通過應用伺服器同資料庫服務進行通訊。url意思為統一資源定位符,也稱為網頁位址。是inter...

第一章總結

第一章的學習已經結束了。主要是學習了一些基礎的執行緒api操作,了解了執行緒的一些問題 執行緒api操作 currentthread getname setpriority interrupt isinterrupted interrupted suspend resume isalive slee...