pytorch學習3 自動微分

建立乙個張量，設定 requires_grad=true 來跟蹤與它相關的計算

如果將其屬性 .requires_grad 設定為 true，則會開始跟蹤針對 tensor 的所有操作。

import torch
#建立乙個張量，設定 requires_grad=true 來跟蹤與它相關的計算
#如果將其屬性 .requires_grad 設定為 true，則會開始跟蹤針對 tensor 的所有操作。
x = torch.ones(2,
2, requires_grad=
true
)print
(x)# 對張量做乙個操作
y = x +
2print
(y)# y 作為操作的結果被建立，所以它有 grad_fn
# 每個張量都有乙個 .grad_fn 屬性儲存著建立了張量的 function 的引用
print
(y.grad_fn)
# output:
z = y * y *
3out = z.mean(
)print
(z, out)
# output:tensor([[27., 27.],[27
.,27.
]], grad_fn=
) tensor(27.
, grad_fn=
)

如果使用者自己建立張量，grad_fn為none

a = torch.randn(2,
2)a =(
(a *3)
/(a -1)
)# 通過requires_grad_（）會改變張量的 requires_grad標記。輸入的標記預設為 false
print
(a.requires_grad)
a.requires_grad_(
true
)print
(a.requires_grad)
b =(a * a)
.sum()
print
(b.grad_fn)
# output:
false
true
>

#我們現在後向傳播，因為輸出包含了乙個標量，out.backward()等同於out.backward(torch.tensor(1.)),如果你想計算導數，你可以呼叫tensor.backward()。如果 tensor 是標量，則不需要指定任何引數backward()，但是如果它有更多元素，則需要指定乙個gradient 引數來指定張量的形狀。

# 梯度反向傳播
out.backward(
)

梯度為4.5，是out對x求偏導的出的結果

print
(x.grad)
tensor([[
4.5000
,4.5000],
[4.5000
,4.5000]]
)

可以通過將**包裹在 with torch.no_grad()，來停止對從跟蹤歷史中的 .requires_grad=true 的張量自動求導。要停止跟蹤歷史記錄（和使用記憶體），還可以將**塊使用 with torch.no_grad(): 包裝起來。在評估模型時，這是特別有用，因為模型在訓練階段具有 requires_grad = true 的可訓練引數有利於調參，但在評估階段我們不需要梯度。

print
(x.requires_grad)
print
((x **2)
.requires_grad)
with torch.no_grad():
print
((x **2)
.requires_grad)
output:
true
true
false

pytorch學習3 自動微分

PyTorch 2 Autograd 自動微分

Autograd 自動微分

自動微分方法簡介

pytorch學習3 自動微分

PyTorch 2 Autograd 自動微分

Autograd 自動微分

自動微分方法簡介

相關推薦