由於本人最近在學習分布式，故把自己從hadoop-nutch-spark-hive搭建過程做為筆記記錄下與大家學習交流
hadoop原本來自於谷歌一款名為mapreduce的程式設計模型包。hadoop最初只與網頁索引有關，開始的時候是 nutch 的乙個子專案，迅速發展成為分析大資料的領先平台。
hbase的名字的**是hadoop database，即hadoop資料庫,hbase – hadoop database，是乙個高可靠性、高效能、面向列、可伸縮的分布式儲存系統，利用hbase技術可在廉價pc server上搭建起大規模結構化儲存集群。
mahout 是 apache software foundation（asf） 旗下的乙個開源專案，提供一些可擴充套件的機器學習領域經典演算法的實現，旨在幫助開發人員更加方便快捷地建立智慧型應用程式。mahout包含許多實現，包括聚類、分類、推薦過濾、頻繁子項挖掘。此外，通過使用 apache hadoop 庫，mahout 可以有效地擴充套件到雲中。
spark使用scala語言，啟用記憶體分布式資料集。與hadoop相似，但hadoop使用mr語言，spark更容易編寫和實現，
分布式 2分布式事務
分布式 1概述cap和base 分布式 2分布式事務 分布式 3分布式一致性演算法 分布式 4集群 分布式 5服務限流演算法 分布式 6分布式id 分布式 7效能壓測 分布式 8日誌鏈路跟蹤 分布式 9分布式鎖 redis鎖的幾種實現 參考 分布式系統間各種問題 宕機 網路不穩定 本地事務無法滿足需...
隨記（9）分布式開發流程
程序可以相互連線，假設兩個普通程序ab，a程序出於某種原因終止，就會向程序b傳送乙個錯誤訊號，由於ab建立了連線，b又是普通程序，所以最後兩個程序一起掛掉 spawn建立的是普通程序，普通程序通過執行process flag trap exit,true 變成系統程序，意思就是可以接受和處理錯誤訊號...
分布式學習筆記（三） 分布式選舉
在乙個分布式集群中負責對其他節點的協調和管理，其他節點都必須聽從主節點的安排。主節點的存在，就可以保證其他節點的有序執行，以及資料庫集群中的寫入資料在每個節點上的一致性。這裡的一致性是指，資料在每個集群節點中都是一樣的，不存在不同的情況。選舉的作用就是選出乙個主節點，由它來協調和管理其他節點，以保證...