Spark Graphx航班分析

提取碼: erd9

package flyfenxi

import org.apache.spark.sparkcontext
import org.apache.spark.graphx.
import org.apache.spark.rdd.rdd
import org.apache.spark.sql.
/** * @author bright
* @date 2021/1/14
* @description
* 探索航班飛行網圖資料
* 構建航班飛行網圖
* 使用spark graphx完成下列任務
* (1)統計航班飛行網圖中機場的數量
* (2)統計航班飛行網圖中航線的數量
* (3)計算最長的飛行航線（point to point）
* (4)找出最繁忙的機場
* (5)找出最重要的飛行航線（pagerank）
* (6)找出最便宜的飛行航線（sssp）
*/object airportsfenxi 
,// 合併訊息的函式, 求最小值
(a,b)
=>math.
min(a,b)
// 取**最便宜的前三個遍歷
).vertices.
takeordered(3
)(ordering.
by(_._2)).
foreach
(println)
// graph.triplets.map(x=>(x.srcattr,x.dstattr,x.attr,x.attr*0.15+180)).sortby(x=>(x._4),false).take(5)
// .foreach(println)
}}

spark graphx文章整理

graphx看到的比較有參考價值的文章 1.官方文件中文版 2.快刀初試 spark graphx在 的實踐 apache spark原始碼走讀之14 graphx實現剖析 8.graphx pregel api an example 9.spark入門實戰系列9.spark graphx介紹及例項...

Spark GraphX快速入門

graphx是spark用於圖形平行計算的新元件。在較高的層次上，graphx通過引入乙個新的graph抽象來擴充套件spark rdd 乙個定向的多圖，其屬性附加到每個定點和邊。為了支援圖計算，graphx公開了一組基本的操作符 子圖，joinvertices和aggregatemessages ...

航班查詢介面

航班查詢介面 using system using system.text using system.net namespace plane url 支援格式 json http請求方式 get post demo name ca5901 key yourkey 返回示例 備註 航班查詢,要先有ke...