SparkML實戰之一 線性回歸

2021-07-09 11:01:56 字數 811 閱讀 3432

package class8

import org.apache

.log4j.

import org.apache

.spark.

import org.apache

.spark

.mllib

.linalg

.vectors

import org.apache

.spark

.mllib

.regression.

/** * created by root on 16-1-12.

*/object linearrgression

//構建模型

val numiterations = 100

//引數估計最大似然用的比較多,這裡採用隨機梯度下降法

//sgd解決了梯度下降的兩個問題: 收斂速度慢和陷入區域性最優

val model = linearregressionwithsgd.train(parseddata,numiterations)

//評估模型並計算誤差

val valuesandpreds = parseddata.map

val mse = valuesandpreds.map.reduce(_ + _)/valuesandpreds.count()

println("training mean squared error = "+mse)

println(model.weights+"-------------")

sc.stop()

}}

機器學習系列之一 線性回歸模型

目錄1.線性回歸 1.1 問題轉換 1.2 衡量標準 1.3 學習方向 1.線性回歸 1.1 問題轉換 今天我們來談一下線性回歸。問題 假如我想知道乙個房屋的房價是多少,現在我們能提供的資料報含房屋的面積,房屋的朝向,房屋的地理位置等有關房子的資訊,我們該怎麼做呢?聰明的你一定已經知道了。為了方便,...

spark Ml 機器學習之 線性回歸

本文版本選自spark 2.1.0 寫這篇文章之前已閱讀過官網api,演算法本身自認為自己手動寫,應該可以搞定 進一步優化不提 但是官網卻看的我迷迷糊糊的,引數選擇和結果獲取,描述不夠清晰,寫這篇文字的目的就是為了理清所有官網沒有解答的謎團 演算法本身比較簡單,網上文章也很多,本人自身也提不出更高大...

RecyclerView 實戰一 線性布局

然後新增對recyclerview的引用,需要在main.xml中進行修改 然後建立線性布局下的每一條item布局,這裡建立了乙個textview和乙個imageview 為layout建立對應的實體類 然後建立對應的協調器用於將布局和資料進行繫結 對以上的協調器部分做簡單的解釋 首先,繼承自rec...