sigmod函式tanh函式ReLU函式

2021-08-20 05:28:04 字數 1589 閱讀 4758

(x

)=11

+e−x

θ(x)=11+e−xan

h(x)

=sin

h(x)

cosh

(x)tanh(x)=sinh(x)cosh(x)in

h(x)

=ex−

e−x2

sinh(x)=ex−e−x2in

h(x)

=ex+

e−x2

sinh(x)=ex+e−x2ax

(0,x

)={0

,x,if x ≤0

if x

>

0max(0,x)={0,if x ≤ 0x,if x > 0

function

[ output_args ] = sigmod_tanh

( input_args )

%joint summary of this function goes here

% detailed explanation goes here

t1 = linspace(-10,10,500);

t2 = linspace(-10,10,500);

t3 = linspace(-10,10,500);

% zhx = -12.1*sin(2*pi*(time-0.25))-abs(12.1*sin(2*pi*(time-0.25)));

% zhx = 0;

a = 1;

c = 0;

% sigmod & tanh

sigmod = sigmf(t1,[a c])

tan_h = tanh(t2);

max_f = max(0,t3);

%啟用函式

subplot(2,2,1);

plot(t1, sigmod,'r-');

legend('sigmoid')

title('sigmoid函式')

axis([-10, 10, -1, 1]) % 座標軸的顯示範圍

set(gca, 'xgrid','on'); % x軸的網格

set(gca, 'ygrid','on'); % y軸的網格

subplot(2,2,2);

plot(t2,tan_h,'b-');

legend('tanh')

title('tanh函式')

axis([-10, 10, -1, 1]) % 座標軸的顯示範圍

set(gca, 'xgrid','on'); % x軸的網格

set(gca, 'ygrid','on'); % y軸的網格

subplot(2,2,3);

plot(t3,max_f,'c-');

legend('max(0,x)')

title('max(0,x)函式')

axis([-10, 10, -10, 10]) % 座標軸的顯示範圍

set(gca, 'xgrid','on'); % x軸的網格

set(gca, 'ygrid','on'); % y軸的網格

end

啟用函式Tanh

tanh的誕生比sigmoid晚一些,sigmoid函式我們提到過有乙個缺點就是輸出不以0為中心,使得收斂變慢的問題。而tanh則就是解決了這個問題。tanh就是雙曲正切函式。等於雙曲余弦除雙曲正弦。函式表示式和影象見下圖。這個函式是乙個奇函式。對tanh函式求導需要一定的數學基礎,這裡直接給出結果...

TensorFlow 雙曲正切函式(tanh)

tensorflow 雙曲正切函式 tanh flyfish 用python 畫乙個tanh的圖 linspace的第乙個引數表示起始點,第二個引數表示終止點,第三個引數表示數列的個數。對比sinh,cosh,tanh numpy.tanh與下列 相同 np.sinh x np.cosh x 1j ...

R語言 函式

函式是一組組合在一起以執行特定任務的語句。r語言具有大量內建函式,使用者可以建立自己的函式。在r語言中,函式是乙個物件,因此r語言直譯器能夠將控制傳遞給函式,以及函式完成動作所需的引數。該函式依次執行其任務並將控制返回到直譯器以及可以儲存在其他物件中的任何結果。函式定義 使用關鍵字函式建立r語言的函...