PyTorch自動微分

1、autograd 包是 PyTorch 中所有神經(jīng)網(wǎng)絡(luò)的核心。首先讓我們簡要地介紹它，然后我們將會去訓(xùn)練我們的第一個神經(jīng)網(wǎng)絡(luò)。該 autograd 軟件包為 Tensors 上的所有操作提供自動微分。它是一個由運行定義的框架，這意味著以代碼運行方式定義你的后向傳播，并且每次迭代都可以不同。我們從tensor 和 gradients 來舉一些例子。1 、 TENSORtorch.Tensor是包的核心類。如果將其屬性.requires_grad設(shè)置為True,則 會開始跟蹤針對tensor的所有操作。完成計算后，您可以調(diào)用.backward。來自 動計算所有梯度。該張量的梯度將累積到.grad屬

2、性中。要停止tensor歷史記錄的跟蹤，您可以調(diào)用.detach(),它將其與計算歷史 記錄分離，并防止將來的計算被跟蹤。要停止跟蹤歷史記錄(和使用內(nèi)存)，您還可以將代碼塊使用 with torch.no_grad():包裝起來。在評估模型時，這是特別有用，因為模型在訓(xùn)練階段 具有 requires_grad = True 的可訓(xùn)練參數(shù)有利于調(diào)參，但在評估階段我們不需要 梯度。還有一個類對于 autograd 實現(xiàn)非常重要那就是Function 。 Tensor 和Function 互相連接并構(gòu)建一個非循環(huán)圖，它保存整個完整的計算過程的歷史信息。每個張量都有一個.grad_fn屬性保存著創(chuàng)建了

3、張量的Function的引用，(如果用戶自己創(chuàng)建張量，則 g rad_fn 是 None )。如果你想計算導(dǎo)數(shù)，你可以調(diào)用Tensor.backward()o如果Tensor是標量(即它包含一個元素數(shù)據(jù))，則不需要指定任何參數(shù)backward。，但是如果它有更多元素，則需要指定一個gradient 參數(shù)來指定張量的形狀。import torch創(chuàng)建一個張量，設(shè)置requires_grad=True 來跟蹤與它相關(guān)的計算x = torch.ones(2, 2, requires_grad=True)print(x)輸出：tensor(1., 1.,1., 1., requires_grad=Tr

4、ue)針對 xx 做一個操作y = x + 2print(y)輸出：tensor(3., 3.,3., 3., grad_fn=<AddBackward0>)y 作為操作的結(jié)果被創(chuàng)建，所以它有g(shù)rad_fnprint(y.grad_fn)輸出：<AddBackward0 object at 0x7fe1db427470>針對 y 做更多的操作：z = y * y * 3out = z.mean()print(z, out)輸出：tensor(27., 27.,27., 27., grad_fn=<MulBackward0>)tensor(27., grad_

5、fn=<MeanBackward0>).requires_grad_( . )會改變張量的requires_grad 標記。輸入的標記默認為False ，如果沒有提供相應(yīng)的參數(shù)。a = torch.randn(2, 2)a = (a * 3) / (a - 1)print(a.requires_grad)a.requires_grad_(True)print(a.requires_grad)b = (a * a).sum()print(b.grad_fn)輸出：FalseTrue<SumBackward0 object at 0x7fe1db427dd8>梯度：我們現(xiàn)在

6、后向傳播，因為輸出包含了一個標量，out.backward()等同于out.backward(torch.tensor(1.) 。out.backward()打印梯度 d(out)/dxprint(x.grad)輸出：tensor(4.5000, 4.5000,4.5000, 4.5000)現(xiàn)在讓我們看一個xx 可比向量積的例子：x = torch.randn(3, requires_grad=True)y = x * 2while y.data.norm() < 1000:y = y * 2print(y)輸出：tensor( -444.6791,762.9810, -1690.094

7、1, grad_fn=<MulBackward0>)現(xiàn)在在這種情況下， y 不再是一個標量。 torch.autograd 不能夠直接計算整個雅可比，但是如果我們只想要雅可比向量積，只需要簡單的傳遞向量給backward 作為參數(shù)。v = torch.tensor(0.1, 1.0, 0.0001, dtype=torch.float)y.backward(v)print(x.grad)輸出：tensor(1.0240e+02, 1.0240e+03, 1.0240e-01)你可以通過將代碼包裹在with torch.no_grad() ，來停止對從跟蹤歷史中的 .requires_grad=True 的張量自動求導(dǎo)。print(x