特點：粗粒度的變換。（如：map, filter, join）
行為: 需要得出結果時呼叫
5部分操作意義
資料分割槽集
partitions()
partition是資料集的最小單位，即乙個shard
位置preferredlocations§
輸入partition，輸出是該資料所在的位置（此分割槽在哪台機器上計算，一般存放在哪台機器上，當然就最好還在那台機器上算，所以這個可能是資料存放的位置）
依賴dependencies()
父rdds
計算函式
iterator(p, parentiters
輸入父迭代器，和資料分割槽p，輸出計算結果
分割槽方案元資料
partitioner()
元資料，指明此rdd是按range(區間)還是按hash（雜湊）來對資料分割槽。
join的兩個父rdd如果是co-partitioned（用同乙個分割槽函式），那麼join就是窄依賴。否則oin是寬依賴。
不太明白這段
for last example, identify partitions of lines missing
（2020-07-31補）基本上就是說缺什麼補什麼。從lineage graph很容易找到乙個rdd的祖先rdd。從這些祖先節點開始計算起就行了。
spark 2012
利用centos搭建Spark分布式系統
寫在前面 注意要點 1.在使用橋接網路的模式時，虛擬網路的ip位址需要與主機的ip位址處在同一網段。否則可以ping通，但後續無法連線成功。2.在選用ip位址時首選ping一下，防止被占用，導致之後虛擬機器搭建完成後，無法訪問外網。其次要注意的是，在安裝centos時，需要先在安裝之初的介面開啟網路...
spark分布式執行xgboost
coding utf 8 import os os.environ pyspark submit args jars data pycharm zhanglong pysparkxgboostnew xgboost4j spark 0.90.jar,data pycharm zhanglong py...
分布式系統
分布式系統和計算機網路系統的共同點是 多數分布式系統是建立在計算機網路之上的，所以分布式系統與計算機網路在物理結構上是基本相同的。他們的區別在於 分布式作業系統的設計思想和網路作業系統是不同的，這決定了他們在結構 工作方式和功能上也不同。網路作業系統要求網路使用者在使用網路資源時首先必須了解網路資源...