1. spark歷史及簡介
spark是乙個實現快速通用的集群計算平台。它是由加州大學伯克利分校amp實驗室 開發的通用記憶體平行計算框架，用來構建大型的、低延遲的資料分析應用程式。它擴充套件了廣泛使用的mapreduce計算模型。
12年正式開源，距今6年歷史。
spark執行架構的設計
cluster manager : 集群資源管理器，可以是自帶的mesos 也可以是yarn
worker node : 執行作業任務的工作節點
driver ：每個應用的任務控制節點
executor ：每個工作節點負責具體任務的執行過程
Spark學習之 Spark SQL 一
感謝大牛的系列文章,本文只是本人學習過程的記錄,首先向大神致敬 1.建立檔案people.json 2.上傳到hdfs檔案系統 目錄位置 data people.json hdfs dfs put people.json data3.在hdfs中檢視檔案是否完整,如下 root hd 02 hdfs...
Spark學習筆記（一） spark簡介
spark是基於記憶體計算的大資料平行計算框架。09年誕生於加州大學伯克利分校amplab.spark是mapreduce的替代方案，相容hdfs hive等分布式儲存層，可融入hadoop的生態系統，以彌補mapreduce的不足。其主要優勢如下 中間結果輸出 可以將多stage的任務串聯或者並行...
Spark學習之RDD程式設計（一）
rdd是spark的核心概念，它是乙個可讀的 可分割槽的分布式資料集，這個資料集的全部或部分可以快取在記憶體中，可在多次計算間重用。spark用scala語言實現了rdd的api，我們可以通過呼叫api實現對rdd的各種操作，從而實現各種複雜的應用。spark採用textfile 方法從檔案系統中載...