大資料學習之Spark實現自定義排序 49

sparkrdd實現自定義排序實現

order

介面，部分**如下：

**如下：

package day04

import org.apache.spark.rdd.rdd
import org.apache.spark.
/** * @author dawn
* @version 1.0, 2023年6月23日20:39:03
* * 實現自定義的排序
* 按照年齡進行排序
*/object mysort1 )
//5.按照年齡排序 倒序
// val sortedrdd: rdd[(string, int, int)] = grdd2.sortby(t => t._2,false)
// val r=sortedrdd.collect()
// println( r.tobuffer)
val sortedrdd = grdd2.sortby(t => t)
val r = sortedrdd.collect()
println(r.tobuffer)
//6.關閉資源
sc.stop()
}}//自定義類 scala ordered
class girl(val name:string,val age:int,val weight:int)extends ordered[girl] with serializable else
} override def tostring: string = s"名字：$name,年齡:$age,體重：$weight"
}

package day04

import org.apache.spark.
/** * @author dawn
* @version 1.0, 2023年6月23日21:03:30
* 模式匹配方式進行排序
*/object mysort2 )
//5.模式匹配方式進行排序
val sortedrdd=grdd1.sortby(s => girl1(s._1,s._2,s._3))
val r = sortedrdd.collect()
println(r.tobuffer)
sc.stop()
}}case class girl1(val name:string,val age:int,val weight:int) extends ordered[girl1]else
} override def tostring: string = s"名字:$name,年齡:$age,體重:$weight"
}

package day04

//定義乙個專門處理隱式的類
object implicitruleselse}}}

package day04

import org.apache.spark.
/** * @author hunter
* @version 1.0, 20:55 2019/1/16
* 專門定義乙個隱世類來排序
* 建議寫成隱式類，應為可以將你需要的隱世裝換全寫在乙個隱式類中，直接匯入就行了
*/object mysort3 )
import implicitrules.orderinggirl
val sortedrdd=grdd2.sortby(s => girl2(s._1,s._2,s._3))
val r=sortedrdd.collect()
println(r.tobuffer)
}}case class girl2(val name:string,val age:int,val weight:int)

大資料學習之Spark（1）

2019.09.101 spark的特點 2 總體架構 包括 3 常見術語 兩個抽象部件 sparkcontext rdd 必須建立乙個sparkcontext類例項，且只能擁有乙個啟用的sparkcontext類例項 1 最簡便方法 val sc new sparkcontext 2 建立spar...

大資料之spark學習記錄一 Intro

1.x 版本 從架構的角度存在很多的問題 namenode是單點操作，所以容易出現單點故障，制約了hdfs的發展 namenode的記憶體限制也影響了hdfs的發展 mapreduce是一種基於資料集的工作模式，面向資料，這種工作模式一般是從儲存上載入資料集，然後運算元據集，最好將結果寫入儲存裝置。...

餘老師帶你學習大資料 Spark快速大資料處理

第一節課程總體介紹 第一節zookeeper總體介紹 第二節zookeeper環境搭建 第三節zookeeper客戶端基本操作 第四節zookeeper分布式鎖 第五節zookeeper主從應用 第一節hadoop集群搭建概要 第二節hadoop環境搭建 第三hdfs基本操作 第四節hadoop h...