《MapReduce設計模式》一導讀

2021-09-23 16:10:57 字數 983 閱讀 8195

mapreduce設計模式

歡迎閱讀《mapreduce設計模式》!這是一本既獨特又熟悉的書。首先,這顯然是一本關於設計模式的書,為大家提供解決問題的模板或通用指南。我們看了一些以前出版的有關設計模式的書,特別是gamma等人(1995)編著的《design patterns: elements of reusable object-oriented software》(通常被成為「四人組」書),從中汲取了靈感。在每個模式的描述中,讀者都會看到乙個我們反覆使用的模板,這個模板基本是基於他們這本書的。重複看到類似的模板可以幫助讀者獲取所需的特定資訊。這在以後使用這本書當參考書時特別有用。

這本書相對於「cookbook」類的書要更開放一些,因為本書不是面向解決具體問題的。但與cookbook類的書相似的是,本書涉及的內容同樣都是簡短的、分門別類的。要解決你所面臨的問題需要付出比複製、貼上我們的**更多的努力,但是我們希望你可以找到乙個模式幫助你解決掉90%的問題。

這本書主要是關於hadoop或mapreduce的資料分析層面的。我們特意盡量不去引入過多有關hadoop或mapreduce如何工作的細節,也沒有長篇大論地說明我們使用的api。這些主題在網際網路和相關出版物中已經有不少的涉及,因此我們決定把重點放在分析上。

考慮到在風格上與其他書籍有所不同,所以我們將在前言裡說明如何更好地閱讀本書。

第1章 設計模式與mapreduce

1.1  設計模式

1.2  mapreduce簡史

1.3  mapreduce和hadoop簡介

1.4  hadoop示例:單詞計數

1.5  pig和hive

第2章 概要模式

第3章 過濾模式

第4章 資料組織模式

第5章 連線模式

第6章 元模式

第7章 輸入和輸出模式

第8章 最後的思考與設計模式的未來

MapReduce設計模式學習 讀書筆記

thinkgamer部落格 概要設計模式更接近簡單的mr應用,因為基於鍵將資料分組是mr范型的核心功能,所有的鍵將被分組匯入reducer中 本章涉及的概要模式有數值概要 numerical summarization 倒排索引 inverted index 計數器計數 counting with ...

《Android 原始碼設計模式解析與實戰》 導讀

目 錄 自序一 自序二 前言 致謝 第1章 走向靈活軟體之路 物件導向的六大原則 1.1節優化 的第一步 單一職責原則 1.2節讓程式更穩定 更靈活 開閉原則 1.3節構建擴充套件性更好的系統 黎克特制替換原則 1.4節讓專案擁有變化的能力 依賴倒置原則 1.5節系統有更高的靈活性 介面隔離原則 1...

MapReduce幾種執行模式

1 在eclipse中開發好mr程式 windows或linux下都可以 然後打成jar包 wc.jar 上傳到伺服器 執行命令 hadoop jar wc.jar cn.itheima.hadoop.mainclassrunner 2 在linux的eclipse中直接啟動runner類的main...