通過移動平均理解動量法

2021-10-01 06:24:49 字數 1764 閱讀 4092

移動平均法,它的思想是根據時間序列資料,逐項遞推,依次計算包含一定項數的平均值,用以反應長期趨勢,即用一組最近的實際資料值來**未來的值的一種方法。

簡單移動平均各個元素的權重相等,計算公式如下:

f t=

at−1

+at−

2+⋯a

t−nn

= \frac} - 1}} + } - 2}} + \cdots } - n}}}}

ft​=na

t−1​

+at−

2​+⋯

at−n

​​通過賦予不同時間線上的點以不同的權重,來刻畫其影響當前時刻值的影響力。計算公式如下:

f t=

w1at

−1+w

nat−

2+⋯w

nat−

n= } - 1}} + } - 2}} + \cdots } - n}}

ft​=w1

​at−

1​+w

n​at

−2​+

⋯wn​

at−n

​我們對指數部分求和可以知道,

1 +β

+β2+

βk=1

−βk1

−β1 + \beta + + = \frac}}}

1+β+β2

+βk=

1−β1

−βk​

,當k趨於無窮, βkβk

為0,這就是嚴格意義上的指數加權移動平均。

下面通過指數移動加權平均理解動量法:

動量法更新公式:

v t=

βvt−

1+ηg

txt=

xt−1

−vt\begin }_t} = \beta }_} + \eta }_}}\\ }_t} = }_} - }_t} \end

vt​=βv

t−1​

+ηgt

​xt​

=xt−

1​−v

t​​現在我們對動量法的速度變數做變形,

v t←

βvt−

1+(1

−β)(

ηt1−

βgt)

}_t} \leftarrow \beta }_} + \left( \right)\left( }}_}}} \right)

vt​←βv

t−1​

+(1−

β)(1

−βηt

​​gt

​)由指數加權移動平均的形式可知,速度變數vt實際上是對序列}}_}}} \right)

(1−βηt

​​gt

​)}做了指數移動加權平均。

換句話說,動量法在每個時間步的自變數更新量近似於將最近的時間步n=1

1−βn = \frac}

n=1−β1

​的(學習率乘以梯度)做了指數加權移動平均後再除以(1-β)。所以說,在動量法中,自變數在各個方向上的移動幅度不僅取決於當前梯度,還取決於過去時刻的各個梯度在各個方向上是否一致。

這裡放上部落格中的一張圖:深度學習優化函式詳解(4)-- momentum 動量法

上面部落格解釋動量法特別形象,可以參考。

參考:吳恩達深度學習

動手學深度學習,李沐

移動平均演算法

移動平均演算法說明 進行成本計算時,系統自動按照單據業務發生的先後順序進行出庫成本計算,對於入庫業務,系統自動計算結存金額 結存單價,結存數量,結存數量 上一筆結存數量 本次入庫數量 結存金額 上一筆結存金額 本次入庫金額,結存單價 結存金額 結存數量,對於出庫業務,系統自動取當前的結存單價作為出庫...

移動平均線

在技術分析中,趨勢的概念非常重要。簡單地說,趨勢就是市場何去何從的方向。的變動基本上可以分為三種趨勢 上公升趨勢 下降趨勢及橫向延伸 即所謂的盤整趨勢 而趨勢指標是指適用於較大的 上公升或下降趨勢 中的技術指標。移動平 定義 平均 是指最近n天收市 的算術平 移動 是指我們在計算中,始終採用最近n天...

指數加權移動平均

在學習吳恩達深度學習課程時,遇到 指數加權移動平均 這一概念,看似簡單,實則深奧。本文通過乙個excel示例,加深對其理解。以下為2021年2月份上海市日最高氣溫 表對應的折線圖。可以看出,折線圖中的溫度曲線起伏較大,十分 不平滑 那麼,有沒有辦法讓其更平滑呢?可以考慮使用指數加權移動平均法。注 e...