實驗5 Spark SQL 程式設計初級實踐

2022-06-01 13:36:12 字數 571 閱讀 7386

原始檔內容如下(包含 id,name,age),將資料複製儲存到 ubuntu 系統/usr/local/spark 下, 命名為 employee.txt,實現從 rdd 轉換得到 dataframe,並按 id:1,name:ella,age:36 的格式 列印出 dataframe 的所有資料。請寫出程式**。(任選一種方法即可)

1,ella,36

2,bob,29

3,jack,29

**如下:

import

org.apache.spark.sql.types._

import

org.apache.spark.sql.encoder

import

org.apache.spark.sql.row

import

org.apache.spark.sql.sparksession

object rddtodf

}

執行截圖:

實驗四RDD程式設計初級實踐

1.spark shell互動式程式設計 1 該系總共有多少學生 2 該系共開設來多少門課程 3 tom 同學的總成績平均分是多少 4 求每名同學的選修的課程門數 5 該系 database 課程共有多少人選修 6 各門課程的平均分是多少 2.編寫獨立應用程式實現資料去重 對於兩個輸入檔案 a 和 ...

c 程式設計 實驗5

1 乙隻猴子摘了n個桃子第一天吃了一半又多吃了乙個,第二天又吃了餘下的一半又多吃了乙個,到第十天的時候發現還有乙個。include using namespace std int main cout 起初總共有 cnt endl cout endl endl cnt 1 如果要迴圈,一定要再次初始化...

實驗5 linux網路程式設計

完成基於tcp的客戶端和伺服器程式編寫,要求伺服器採用迴圈方式處理客戶端的資料。server.c include include include include include include include include define server port 5012 define serv i...