大資料的關鍵技術

2021-06-21 15:15:52 字數 2052 閱讀 9367

在大資料時代,傳統的資料處理方法還適用嗎?

大資料環境下的資料處理需求

大資料環境下資料**非常豐富且資料型別多樣,儲存和分析挖掘的資料量龐大,對資料展現的要求較高,並且很看重資料處理的高效性和可用性。

傳統資料處理方法的不足

傳統的資料採集**單一,且儲存、管理和分析資料量也相對較小,大多採用關係型資料庫和並行資料倉儲即可處理。對依靠平行計算提公升資料處理速度方面而言,傳統的並行資料庫技術追求高度一致性和容錯性,根據cap理論,難以保證其可用性和擴充套件性。

傳統的資料處理方法是以處理器為中心,而大資料環境下,需要採取以資料為中心的模式,減少資料移動帶來的開銷。因此,傳統的資料處理方法,已經不能適應大資料的需求!

大資料的處理流程包括哪些環節?每個環節有哪些主要工具?

大資料的基本處理流程與傳統資料處理流程並無太大差異,主要區別在於:由於大資料要處理大量、非結構化的資料,所以在各個處理環節中都可以採用mapreduce等方式進行並行處理。

大資料技術為什麼能提高資料的處理速度?

大資料的並行處理利器——mapreduce

大資料可以通過mapreduce這一並行處理技術來提高資料的處理速度。mapreduce的設計初衷是通過大量廉價伺服器實現大資料並行處理,對資料一致性要求不高,其突出優勢是具有擴充套件性和可用性,特別適用於海量的結構化、半結構化及非結構化資料的混合處理。

mapreduce將傳統的查詢、分解及資料分析進行分布式處理,將處理任務分配到不同的處理節點,因此具有更強的並行處理能力。作為乙個簡化的並行處理的程式設計模型,mapreduce還降低了開發並行應用的門檻。

mapreduce是一套軟體框架,包括map(對映)和reduce(化簡)兩個階段,可以進行海量資料分割、任務分解與結果彙總,從而完成海量資料的並行處理。

mapreduce的工作原理其實是先分後合的資料處理方式。map即「分解」,把海量資料分割成了若干部分,分給多台處理器並行處理;reduce即「合併」,把各台處理器處理後的結果進行彙總操作以得到最終結果。如右圖所示,如果採用mapreduce來統計不同幾何形狀的數量,它會先把任務分配到兩個節點,由兩個節點分別並行統計,然後再把它們的結果彙總,得到最終的計算結果。

mapreduce適合進行資料分析、日誌分析、商業智慧型分析、客戶營銷、大規模索引等業務,並具有非常明顯的效果。通過結合mapreduce技術進行實時分析,某家電公司的信用計算時間從33小時縮短到8秒,而mki的基因分析時間從數天縮短到20分鐘。

說到這裡,再看一看mapreduce與傳統的分布式平行計算環境mpi到底有何不同?mapreduce在其設計目的、使用方式以及對檔案系統的支援等方面與mpi都有很大的差異,使其能夠更加適應大資料環境下的處理需求。

大資料技術在資料採集方面採用了哪些新的方法

系統日誌採集方法

很多網際網路企業都有自己的海量資料採集工具,多用於系統日誌採集,如hadoop的chukwa,cloudera的flume,facebook的scribe等,這些工具均採用分布式架構,能滿足每秒數百mb的日誌資料採集和傳輸需求。

網路資料採集方法:對非結構化資料的採集

除了網路中包含的內容之外,對於網路流量的採集可以使用dpi或dfi等頻寬管理技術進行處理。

其他資料採集方法

對於企業生產經營資料或學科研究資料等保密性要求較高的資料,可以通過與企業或研究機構合作,使用特定系統介面等相關方式採集資料。

大資料 大資料關鍵技術

大資料關鍵技術 大資料環境下資料 非常豐富且資料型別多樣,儲存和分析挖掘的資料量龐大,對資料展現的要求較高,並且很看重資料處理的高效性和可用性。傳統資料處理方法的不足 傳統的資料採集 單一,且儲存 管理和分析資料量也相對較小,大多採用關係型資料庫和並行資料倉儲即可處理。對依靠平行計算提公升資料處理速...

大資料的關鍵技術

在大資料時代,傳統的資料處理方法還適用嗎?大資料環境下的資料處理需求 大資料環境下資料 非常豐富且資料型別多樣,儲存和分析挖掘的資料量龐大,對資料展現的要求較高,並且很看重資料處理的高效性和可用性。傳統資料處理方法的不足 傳統的資料採集 單一,且儲存 管理和分析資料量也相對較小,大多採用關係型資料庫...

大資料的關鍵技術

在大資料時代,傳統的資料處理方法還適用嗎?大資料環境下的資料處理需求 大資料環境下資料 非常豐富且資料型別多樣,儲存和分析挖掘的資料量龐大,對資料展現的要求較高,並且很看重資料處理的高效性和可用性。傳統資料處理方法的不足 傳統的資料採集 單一,且儲存 管理和分析資料量也相對較小,大多採用關係型資料庫...