《大資料技術原理與應用》第二版 第一章大資料概述

2022-06-04 19:51:11 字數 605 閱讀 3890

批處理計算,主要針對於大規模的資料批量處理。mapreduce用於大規模的資料集(1tb)的並行運算。spark是乙個針對超大資料集合低延時的集群分布式計算系統,比mapreduce快許多。

流計算,流資料或資料流是指在時間分布和數量上無限的一系列動態資料集合,必須採用實時計算方式給出秒級響應。商業級平台:streams、streambase;第二類是開源的計算平台,storm、yahoo、s4、spark streaming

圖計算。pregel是實現並行圖處理系統,主要用於圖遍歷、最短路徑、pagerank計算,還有其他giraph、graphx、powergraph、goldenorb、hama

查詢分析計算,需要提供實時或準實時的響應,谷歌的dremel、impala、hive、cassandra

雲計算包括三種典型的服務模式,iaas(基礎設施服務即計算資源和儲存)、paas(平台即服務)、saas(軟體即服務)

公有雲、私有雲、混合雲

雲計算關鍵技術:包括虛擬技術、分布式儲存、分布式計算、多租戶。

物聯網是物物相連的網際網路的延伸,他利用區域性網路或者網際網路等通訊技術把感測器、控制器、機器、人員和物通過新的方式連線在一起,形成了人與物、物與物相連,實現資訊化和遠端管理控制。

編譯原理與技術(第二版)個人總結3

語法分析程式分為自頂向下和自底向上兩種。語法分析程式的基本目標如下 1.能夠清楚而準確地報告發現的錯誤,如錯誤的位置和性質。2.能夠迅速地從錯誤中恢復過來,以便繼續診斷後面可能存在的錯誤。3.錯誤處理功能不應該明顯地影響編譯程式對正確程式的處理效率。自頂向下分析方法是一種面向目標的分析方法,該方法從...

大資料技術部分課後作業 第二版

大資料技術原理與應用 林子雨版 課後習題答案 出錯節點 探測錯誤及恢復 namenode 名稱節點儲存了所有的元資料資訊,其中,最核心的兩大資料結構是fsimage和editlog,如果這兩個檔案發生損壞,那麼整個hdfs例項將失效。因此,hdfs設定了備份機制,把這些核心檔案同步複製到備份伺服器s...

《TCP IP路由技術(第一卷)(第二版)》一導讀

tcp ip路由技術 第一卷 第二版 路由技術即使在最小的資料通訊網路中也是基本的要素。在某種程度上,路由技術和路由器的配置是相當簡單的。但是,當網路的規模越來越大,並且越來越複雜的時候,路由選擇問題就變得比較突出和難以控制了。或許,有點不恰當地說,作為一名網路系統顧問,我應該感謝當前出現的大規模路...