大資料技術全解之二

2021-06-21 04:50:35 字數 1184 閱讀 8132

《大資料技術全解》國內首本講清大資料系統研發全流程圖書,作者是乙個我敬佩的人,敢於做非常具有挑戰性的工作。寫書本來不是乙個容易的事情,寫一本關於最新的技術的書,更加的不容易。除了作者自身需要有很高的技術造詣,對書中相關的技術理解足夠深外,還需要作者能夠有很強的表達能力和說服能力,把最新的技術的奧秘清晰明了地展現給讀者,讓讀者能夠非常享受地從書中了解和明白技術及其內涵。同時,作者還需要能夠在內容和描述上非常的有說服力,以各種論證、對比、案例等形式來讓讀者接受新的技術。通常,關於最新的技術的對比和案例等都特別的貧乏,作者必須花大量的時間來設計和調研才能夠獲得這些資訊。本書的作者在寫書過程中,每次都給我非常堅定的信念,讓我深信,他會堅持並完成這個書稿。同時,他的書稿通俗易懂並且有足夠的技術深度。作者漂亮地完成如此具有挑戰性的工作,贏得了他應該有的尊重。這讓我非常的感動。

書的內容展現了大資料領域中的一些最新的技術,主要集中於hadoop生態中的hdfs分布式檔案系統、mapreduce分布式計算框架以及hbase分布式資料庫三大核心部件的相關技術和實現。作者分別從基礎、技術、設計、安裝、開發、實踐等六個方面來展開這些技術,兼顧了技術原理、具體操作以及設計開發三個層面。不同背景、不同層次和不同目的的讀者可以從這三個層面的六個方面來有選擇地進行閱讀。作者憑藉其技術造詣,對內容的設計和編排以及技術的深度等把握得很好。

從技術層面,大資料是當前應對大規模基礎設施以及大規模數位化後所產生的巨量資料的最為有效的技術之一。大資料提供了高效和高效能的資料採集、處理、儲存、分析和挖掘的技術。大資料使得我們可以從容地面對當前的巨量資料。從科學層面,大資料是當前資料科學的乙個具體的技術實現。當前作為科學發現中基於實驗的科學發現方法、基於理論的科學發現方法和基於計算的科學發現外的一種創新的科學發現方法。其主要的思想是憑藉巨量的資料,從中找到部分現象的有價值的資訊,如各種現象之間的關聯等。近年的一些實際案例顯示,大資料在部分領域的應用中能夠有效地從巨量的、低價值密度的資料中分析挖掘出有價值的資訊。

大資料技術的流行和熱度,相信讀者已經感受到。此書可以協助讀者進一步了解大資料領域的部分最新的技術,幫助讀者學習和掌握這些技術的精髓,推動大資料在更加廣泛的範圍內應用。

華南師範大學趙淦森

2013-12-26於廣州

大資料技術全解之曹沖稱象與大資料思想

有一次,吳國孫權送給曹操一頭大象。大象運到許昌那天,曹操帶領文武百官和小兒子曹沖一同去看。曹操的人都沒有見過大象。這頭大象又高又大,光說腿就有大殿的柱子那麼粗,人走近去比一比,還碰不到它的肚子。大臣a說 只有造一桿頂大的秤來稱。大臣b說 這可要造多大的一桿秤呀!再說,大象是活的,也沒辦法稱呀!我看只...

大資料全系技術概覽

大資料 big data 指無法在一定時間範圍內用常規軟體工具進行捕捉 管理和處理的資料集合,是需要新處理模式才能具有更強的決策力 洞察發現力和流程優化能力的海量 高增長率和多樣化的資訊資產。在維克托 邁爾 捨恩伯格及肯尼斯 庫克耶編寫的 大資料時代 中大資料指不用隨機分析法 抽樣調查 這樣捷徑,而...

ROPEmporium通關全解(二)

前言 關於rop rop的全稱為return oriented programming 返回導向程式設計 這是一種高階的記憶體攻擊技術可以用來繞過現代作業系統的各種通用防禦 比如記憶體不可執行和 簽名等 rop是一種攻擊技術,其中攻擊者使用堆疊的控制來在現有程式 中的子程式中的返回指令之前,立即間接...