Spark DataFrame 新增一列的四種方法

作為乙個學習 python spark 的菜鳥，剛開始學習 dataframe 的多樣化處理有些新奇，對於新增一列的方法，經過多方查詢學習，總結了如下四種常用方法，分享給大家。雖然以下語言是用scala寫的，但使用python的原理也是一樣，

//dataframe新增一列方法1，利用createdataframe方法

val trdd = input.select(targetcolumns).rdd.map(x=>) 
val schema = input.select(targetcolumns).schema.add("flag", stringtype, true)
val sample3 = ss.createdataframe(trdd, schema).distinct().withcolumnrenamed(targetcolumns, "idx")
//dataframe新增一列方法2，withcolumn
val code :(int => string) = (arg: int) => 
val addcol = udf(code)
val sample3 = input.select(targetcolumns).withcolumn("flag", addcol(input(targetcolumns)))
.withcolumnrenamed(targetcolumns, "idx")
//dataframe新增一列方法3，寫sql語句
input.select(targetcolumns).createorreplacetempview("tmp")
val sample3 = ss.sqlcontext.sql("select distinct "+targetcolname+
" as idx,case when "+targetcolname+">"+critvaluer+" then 'f'"+
" when "+targetcolname+"<"+critvaluel+" then 'f' else 't' end as flag from tmp")
//dataframe新增一列方法3，新增序號列
import org.apache.spark.sql.functions.monotonically_increasing_id
val inputnew = input.withcolumn("idx", monotonically_increasing_id)

Spark DataFrame中的join型別

spark dataframe中join與sql很像，都有inner join,left join,right join,full join 那麼join方法如何實現不同的join型別呢？看其原型 def join right dataframe,usingcolumns seq string jo...

spark dataframe筆記（鏈結彙總）

spark dataframe筆記 dataframe行轉列 spark dataframe筆記 對dataframe一列值保留4位小數 spark dataframe筆記 按照dataframe某一列的數值排序，並增加一列索引 2 降序排 spark dataframe筆記 按照dataframe...

Spark DataFrame關於資料常用操作

sql語法 1.檢視全表資料 dataframe.show 2.檢視部分字段資料 有4種方法 1 dataframe.select 欄位名稱 show 2 dataframe.select 欄位名稱 show 推薦 3 dataframe.select col 欄位名稱 show 4 datafra...