TensorFlow Autodiff自動微分詳解

2022-09-27 04:48:09 字數 848 閱讀 3921

如下所示:

with tf.gradienttape(persistent=true) as tape:

z1 = f(w1, w2 + 2.)

z2 = f(w1, w2 + 5.)

z3 = f(w1, w2 + 7.)

z = [z1,z3,z3]

[tape.gradient(z, [w1, w2]) for z in (z1, z2, z3)]

輸出結果

[[,程式設計客棧, dtype=float32, numpy=10.0>],

[, 程式設計客棧umpy=10.0>],

[, ]]

with tf.gradienttape(persistent=true) as tape:

z1 = f(w1, w2 + 2.)

z2 = f(w1, w2 + 5.)

z3 = f(w1, w2 + 7.)

z = [z1,z2,z3]

tape.gradient(z, [w1, w2])

輸出結果

[,]zjsysqgb總結:如果對乙個listz=[z1,z2,z3]求微分,其結果將自動求和,而不是返回z1、z2和z3各自對[w1,w2]的微分。

補充知識:python/numpy 矩陣運算符號@

如下所示:

a = np.matrix('3 1; 8 2')

b = np.matrix('6 1; 7 9')

a@bmatrix([[25, 12],

[62, 26]])

本文標題: tensorflow autodiff自動微分詳解

本文位址: /jiaoben/python/324694.html

Autograd 自動微分

1 深度學習的演算法本質上是通過反向傳播求導數,pytorch的autograd模組實現了此功能 在tensor上的所有操作,autograd都能為他們自動提供微分,避免手動計算導數的複雜過程。2 autograd.variable是autograd中的核心類,它簡單的封裝了tensor,並支援幾乎...

自動微分方法簡介

假設我們定義了乙個方程 f x,y x2y y 2 f x y x2y y 2,我們需要對 x x 和 y role presentation style position relative y y求偏導,此時通常由以下幾種做法 拿起紙筆應用鏈式法則逐層求導即可。缺點是易於出錯。下圖是符號微分方法在...

MindSpore多元自動微分

當前主流的深度學習框架,除了能夠便捷高效的搭建機器學習的模型之外,其自動並行和自動微分等功能還為其他領域的科學計算帶來了模式的變革。本文我們將探索如何用mindspore去實現乙個多維的自動微分,並且得到該多元函式的雅可比矩陣。首先我們給定乙個比較簡單的z關於自變數x的函式形式 其中y和i是一些引數...