三、梯度下降和反向传播

一、梯度下降和梯度的介绍

1、定义

梯度：是一个向量，导数+变化量快的方向（学习的前进方向）。在机器学习里，有一个机器学习模型f，为 f(z,w)=Y（不是完整公式，这里只做示意）：

梯度下降：指的是更新上面的w的过程，即算出导数，作用是算出梯度，并更新w.

常见的导数计算：

多元函数求偏导：

计算图：把数据和操作通过图来表示

反向传播算法：从后往前，计算每一层的梯度，并通过变量存储起来，因此计算量很大的时候，相当好内存。

二、Pytorch完成线性回归

1、向前计算

对于pytorch中的一个tensor, 如果设置它的属性，requires_grad为True, 那么它将会追踪对于该张量的所有操作，或者可以理解为，这个参数会被计算梯度，并更新该参数。

# 举例
import torch
x = torch.ones(2, 2, requires_grad=True) # 以后每次计算都会修改grad_fn属性
print(x)
y = x+2
print(y)

2、反向传播
直接调用 output.backward()，此时会根据损失函数去计算梯度。

3、获取梯度
x.grad,此时还并未更新梯度。这是累加梯度，因此每次反向传播之前，需要将梯度置为0,。

4、获取tensor中的数据
直接调用 tensor.data

5、实现tensor的数据深拷贝，转化为ndarray类型
直接调用：tensor.detach().numpy()

6、线性回归的实现

（1）准备数据
（2）计算预测值
（3）计算损失，把参数的梯度置为0，进行反向传播
（4）更新参数

import torch
import numpy as np
from matplotlib import pyplot as plt

#1. 准备数据 y = 3x+0.8，准备参数 
x = torch.rand([50])
y = 3*x + 0.8
 
w = torch.rand(1,requires_grad=True)
b = torch.rand(1,requires_grad=True)

def loss_fn(y,y_predict): 
	loss = (y_predict-y).pow(2).mean()
	for i in [w,b]:
		# 每次反向传播前把梯度置为0
		if i.grad is not None:
			i.grad.data.zero_()
	# [i.grad.data.zero_() for i in [w,b] if i.grad is not None]
	loss.backward()
	return loss.data
 
def optimize(learning_rate): 
	# print(w.grad.data,w.data,b.data)
	w.data -= learning_rate* w.grad.data
	b.data -= learning_rate* b.grad.data

for i in range(3000):
	#2. 计算预测值
	y_predict = x*w + b

	#3.计算损失，把参数的梯度置为0，进行反向传播
	loss = loss_fn(y,y_predict)

	if i%500 == 0:
		print(i,loss)
	
	#4. 更新参数w和b
	optimize(0.01)

# 绘制图形，观察训练结束的预测值和真实值
predict = x*w + b #使用训练后的w和b计算预测值

plt.scatter(x.data.numpy(), y.data.numpy(),c = "r")
plt.plot(x.data.numpy(), predict.data.numpy())
plt.show()
 
print("w",w)
print("b",b)