# 机器学习的数学原理

📆 2020-12-18 14:16

# 代价函数(损失函数,误差函数)

# MSE(均方差)

# MAE(均绝对差)

# Huber

# 阶跃函数(激活函数)

# Sigmoid

# ReLu

# 回归分析

# 一元线性回归

假设回归函数

x y py
7 8 7a+b
5 4 5a+b
9 8 9a+b

MSE 误差(分母简化为 2,原本是 3):

偏导

最小

x y py
7 8 6.7
5 4 4.7
9 8 8.7

# 梯度下降法

单变量函数

链式法则:

多变量函数

链式法则:

导函数:

单变量函数近似公式:

多变量函数近似公式:

时向量内积最小即:

# 使用梯度下降法求 a,b:

MSE 误差:

则:

更新

则:

多次以后:

# 总结

对误差函数求偏导,即梯度。

得到梯度后,使用随机数填充并设置学习率,再返回更新随机数,一步步来降低误差,即梯度下降法。

# 误差反向传播法

神经网络1

定义

那么:

神经网络2

定义

那么:

# 总结

使用最后一层的梯度来表示前面多层的梯度,这个过程无需求导即可直接得出,即误差反向传播。

最后更新于: 12/12/2021, 8:43:11 PM