IDEA建立SparkSQL程式

2022-09-15 18:51:11 字數 1470 閱讀 8744

idea建立sparksql程式

一.建立dataframe

<


dependency


>


<


groupid


>org.apache.spark


groupid


>


<


artifactid


>spark-sql_2.11


artifactid


>


<


version


>2.1.1


version


>


dependency


>
pom.xml檔案內容(新增依賴關係)

package


com.yinzhengjie.bigdata.spark.sql


import


org.apache.spark.sql.


import


org.apache.spark.sparkconf


object sparksqldemo 


}
二.採用sql的語法訪問資料

package


com.yinzhengjie.bigdata.spark.sql


import


org.apache.spark.sparkconf


import


org.apache.spark.sql.


object sparksqldemo2 


}
三.rdd,dataframe和dataset相互轉換案例

package


com.yinzhengjie.bigdata.spark.sql


import


org.apache.spark.sparkconf


import


org.apache.spark.rdd.rdd


import


org.apache.spark.sql.


/*** 定義樣例類


*/case


class


user(id:int,name:string,age:int)


object sparksqldemo3 )


//為listrdd手動新增型別


val userrdd:rdd[user] =listrdd.map 


}//將rdd直接轉換為dataset


val ds2:dataset[user] =userrdd.tods()


//將dataset直接轉換為rdd


val rdd2:rdd[user] =ds2.rdd


//遍歷rdd2


rdd2.foreach(println)


//釋放資源


spark.close()


}}

spark sql的幾種建立方式

spark 1.x spark sql 用來處理結構化資料 類似資料庫中的表一樣儲存資料 spark1.x val sc new sparkcontext conf val sqlcontext new sqlcontext sc 將rdd和schema資訊關聯到一起,1.rdd和case clas...

idea建立Eureka consumer入門例項

第一步建立工程 1 選擇file，然後new 再然後project,選擇spring initializr然後下一步 2 填寫專案資訊，然後下一步 3 選擇依賴 spring cloud discovery 然後選擇eureka discovery client 然後下一步 4 建立專案儲存位置及名...

IDEA建立jsp專案

參考文章 新建web專案 file new project，然後next next finish 新增web框架 配置tomcat 新增應用伺服器tomcat 啟動專案 tomcat預設8080埠被占用 之前做.net開發，iis上部署了幾個專案，8080埠被其中乙個專案使用，修改tomcat配置埠...