PyTorch 导数应用的使用教程

前言

由于机器学习的基本思想就是找到一个函数去 拟合 样本数据分布,因此就涉及到了 梯度 去求 最小值 ,在超平面我们又很难直接得到全局最优值,更没有通用性,因此我们就想办法让梯度沿着负方向下降,那么我们就能得到一个局部或全局的最优值了,因此导数就在机器学习中显得非常重要了

基本使用

tensor.backward() 可以及自动将梯度累加积到 tensor.grad 上

x = torch.ones(3,3)
print(x.requires_grad)
x.requires_grad_(True)
print(x.requires_grad)
y = x**2/(x-2)
out = y.mean()
print(x.grad)
out.backward()
print(x.grad)

False True None tensor([[-0.3333, -0.3333, -0.3333],         [-0.3333, -0.3333, -0.3333],         [-0.3333, -0.3333, -0.3333]])

requires_grad 可以获取到 tensor 是否可导 requires_grad_() 可以设置 tensor 是否可导 grad 查看当前 tensor 导数

上面的公式很简单,程序含义

1/4 * (x**2) / (x-2)

求x的导数,基本公式在下方

注意点

我们使用 .mean 后得到的是 标量 ,如果不是 标量 会报错

x = torch.ones(3, requires_grad=True)
y = x * 2
y = y * 2
print(y)

tensor([4., 4., 4.], grad_fn=<MulBackward0>)

y.backward()
print(x.grad)

报错

RuntimeError: grad can be implicitly created only for scalar outputs

v = torch.tensor([0.1, 1.0, 0.0001], dtype=torch.float)
y.backward()
print(x.grad)

tensor([4.0000e-01, 4.0000e+00, 4.0000e-04])

no_grad() 作用域

如果想要某部分程序不可导那么我们可以使用这个

x = torch.ones(3, requires_grad=True)
y = x * 2
print(y.requires_grad)
with torch.no_grad():
 y = y * 2 
 print(y.requires_grad)

True False

总结

这一章我们使用pytorch里面的 backward ,自动实现了函数的求导,帮助我们在后面面对很多超大参数量的函数的时候,求导就变得游刃有余

上节

PyTorch使用教程-安装与基本使用

到此这篇关于PyTorch 导数应用的使用教程的文章就介绍到这了,更多相关PyTorch 导数应用内容请搜索我们以前的文章或继续浏览下面的相关文章希望大家以后多多支持我们！

查看更多关于PyTorch 导数应用的使用教程的详细内容...