spark是乙個通用的平行計算框架，是一種快速處理大規模資料的通用引擎，由ucberkeley的amp實驗室開發。
其架構如下圖所示：
spark的中間資料放到記憶體中，對於迭代運算效率比較高
spark比hadoop更通用
效能與速度
容錯性
可用性
spark可以直接對hdfs進行資料的讀寫，同樣支援spark on yarn。spark可以與mapreduce執行於同集群中，共享儲存資源與計算，資料倉儲shark實現上借用hive，幾乎與hive完全相容。
CUDA平行計算框架程式設計 矩陣相乘平行計算
當下的gpgpu general purpose gpu graphic process unit cuda compute unified device architecture 即通用計算圖形處理器。安裝過程可參考我的另一篇blog cuda軟體架構 1 開發庫 cuda library 2 執...
平行計算框架Mapreduce簡介
hadoop的三個元件，先有mapreduce 分布式計算模型 後有hdfs,知道hadoop才有了yarn，因此掌握mapreduce很有必要，雖然現在都是使用流式處理框架，如storm,spark等，但是這幾種框架的思想及原理都 於mapreduce mapreduce 思想 分而治之 map ...
python平行計算 python平行計算
0.基礎並行 發 multiprocessing threading 1.concurrent 2.併發 asynico 3.ipython下的平行計算 使用ipyparallel庫的ipython提供了前所未有的能力，將科學python的探索能力與幾乎即時訪問多個計算核心相結合。系統可以直觀地與本...