# 机器学习的数学原理
📆 2020-12-18 14:16
# 代价函数（损失函数，误差函数）
# MSE（均方差）
# MAE（均绝对差）
# Huber
# 阶跃函数（激活函数）
# Sigmoid
# ReLu
# 回归分析
# 一元线性回归
假设回归函数
| x | y | py |
|---|---|---|
| 7 | 8 | 7a+b |
| 5 | 4 | 5a+b |
| 9 | 8 | 9a+b |
MSE 误差（分母简化为 2，原本是 3）：
偏导
时
最小
| x | y | py |
|---|---|---|
| 7 | 8 | 6.7 |
| 5 | 4 | 4.7 |
| 9 | 8 | 8.7 |
# 梯度下降法
单变量函数
链式法则：
多变量函数
链式法则：
导函数：
单变量函数近似公式：
多变量函数近似公式：
时向量内积最小即：
# 使用梯度下降法求 a，b：
MSE 误差：
设
则：
更新
则：
多次以后：
# 总结
对误差函数求偏导，即梯度。
得到梯度后，使用随机数填充并设置学习率，再返回更新随机数，一步步来降低误差，即梯度下降法。
# 误差反向传播法
定义
即
那么：
定义
那么：
# 总结
使用最后一层的梯度来表示前面多层的梯度，这个过程无需求导即可直接得出，即误差反向传播。