误差分析
是什么造成了我们的模型和现实上的误差呢？是模型的问题还是数据的问题？
Bias and Variance（偏差和方差）
假设我们有一组变量 x xx 我们已知 x xx 的平均值是 μ \muμ 方差是 σ2 \sigma^2σ
2
我们从这组变量中取N个点集 {x1,x2,...,xn} \{x_1,x_2,...,x_n\}{x
1
,x
2
,...,x
n
} 求这个点集的平均值 m mm 和数学期望 E[m] E[m]E[m]
m=1N∑nxn≠μ m={1\over{N}}\sum_n{x^n}\ne{\mu}
m=
N
1
n
∑
x
n
̸
=μ
E[m]=E[1N∑nxn]=1N∑nE[xn]=μ E[m]=E[{1\over{N}}\sum_n{x^n}]={1\over{N}}\sum_nE[{x^n}]=\mu
E[m]=E[
N
1
n
∑
x
n
]=
N
1
n
∑
E[x
n
]=μ
但是我们很快发现一个问题 m≠μ m\ne{\mu}m
̸
=μ但是数学期望E[m]=μ E[m]=\muE[m]=μ
那我们再来看看方差的情况
s2=1N∑n(xn−m)2 s^2={1\over{N}}\sum_n(x^n-m)^2
s
2
=
N
1
n
∑
(x
n
−m)
2
E[s2]=N−1Nσ2≠σ2 E[s^2]={\frac{N-1}{N}\sigma^2}\ne\sigma^2
E[s
2
]=
N
N−1
σ
2
̸
=σ
2
什么造成了偏差而又是什么造成了偏差呢？
我们可以看到当数据N足够大的时候我们的方差会逐渐降低，从某些角度来说只要扩大我们的数据集，就能解决问题。
但偏差并不会随着数据集的数量而变化。这也就是说明偏差是一个关键量，因为最终训练的最终结果和实际目标有问题这就不是扩大数据集可以解决的，这需要去修改我们的模型了。
结论
从某些角度来说欠拟合就是偏差大，当我们无法拟合函数这往往是我们的模型出了问题。从令一个角度来看，方差大，小偏差那么就是过拟合。
方差和偏差一般来说是无法避免的，选择一个模型平衡两种误差的模型来最小化总误差往往是最佳选择。
---------------------
作者：吃饱了的蹦蹦熊
来源：CSDN
原文：https://blog.csdn.net/qq_27655091/article/details/84927907
版权声明：本文为博主原创文章，转载请附上博文链接！
|
|
收藏
淘帖
踩
