大三寒假學習進度(十四)

2022-09-15 14:30:20 字數 585 閱讀 2738

今天主要學習了資料酷客的機器學習十講的第一講和spark裡的轉移運算元

首先是這樣的乙個需求:

1516609143867 6 7 64 16

1516609143869 9 4 75 18

1516609143869 1 7 87 12

1516609143869 2 8 92 9

1516609143869 6 7 84 24

1516609143869 1 8 95 5

1516609143869 8 1 90 29

1516609143869 3 3 36 16

1516609143869 3 3 54 22

1516609143869 7 6 33 5

資料:agent.log:時間戳,省份,城市,使用者,廣告,中間字段使用空格分隔。

需求:統計出每乙個省份每個廣告被點選數量排行的 top3

/*** @description:

* @author: liuge

* @date: 2021/1/25

*/object spark24_rdd_req

大三寒假學習進度(6)

啟用函式輸出值的範圍 常見的啟用函式 優點 輸出對映在 0,1 之間,單調連續,輸出範圍有限,優化穩定,可用作輸出層 求導容易。缺點 易造成梯度消失 輸出非0均值,收斂慢 冪運算複雜,訓練時間長。優點 比sigmoid函式收斂速度更快。相比sigmoid函式,其輸出以0為中心。缺點 易造成梯度消失 ...

大三寒假學習進度(十八)

今天主要學習了sparksql的基礎概念,然後學習了一下機器學習中的聚類。聚類,就是將一組資料中集中相似的樣本進行分類。屬於機器學習中的無監督學習方法 沒有目標值y 今天主要學習了一下k means演算法。k means演算法是聚類中乙個十分常見的演算法。最後,通過python自己實現了乙個k me...

大三寒假學習進度(十七)

今天主要學習了機器學習十講的第四講,然後把sparkcore中的幾種常用運算元都學習完畢,用wordcount做了乙個小總結。今天的學習中,首先系統的分析了模型誤差出現的原因 用我自己理解的話說,模型空間限制了模型的表達能力,使得模型與真實資料之間存在乙個客觀的誤差,叫做逼近誤差。在了解了誤差的存在...