离差，方差，标准差，标准误，残差，均方差，均方根误差，平均绝对误差，决定系数（SD，SE，MSE，RMSE，NRMSE，MAE，R2）简单介绍
-
目录
离差，偏差（deviation），变异（variation）
离差平方和（sums of squared deviations，SS）
方差（variance/deviation Var，D(X) ）
标准差（Standard Deviation，SD）
变异系数
标准误（Standard Error of Mean，SE）
残差（residual）
残差平方和（residual sum of squares/sum squared residual, RSS/SSR）
均方误差 (mean-square error, MSE)
均方根误差（Root-mean-square error，RMSE）
归一化的均方根误差（normalized root-mean-square error，NRMSE ）
平均绝对误差（Mean Absolute Error，MAE）
决定系数（coefficient of determination，R^2）
无偏估计
离差，偏差（deviation），变异（variation）
别称：常见的名称有离差，偏差，离均差，距平，一般都是指deviation。
定义：是变量的一个观测值与某个特定的参照值之间差异的度量。参照值通常指变量的平均值，此时称为离均差或距平。而一变量的各数值对于其平均值的偏离，称为变异（variation）。
特点：有正负。
离差平方和（sums of squared deviations，SS）
别称：平方和
定义：是变量各项与变量平均值之差的平方的总和，称为离差平方和，也简称平方和。
意义：
离差有正负，离差和不能反映变量整体的偏离。
离差经过平方之后只有正值，离差平方和可以反应与均值的偏离程度。
（ 通常用离差平方和来描述变异程度）
计算：
离差平方和通常表示为SS：
离差平方和可以用来计算方差，标准差等。
方差（variance/deviation Var，D(X) ）
定义：是离差平方和的期望。
计算为，每个样本值与全体样本均值的差的平方和的平均值。
意义：
离差平方和的大小受到样本总量大小的影响，不利于不同数据集的比较。
离差平方和的期望（方差）可以表示数据离散程度。
公式：
根据离差平方（SS）可以描述为：
-------------------------
------------
无偏估计
实际工作中，总体均数难以得到时，应用样本统计量代替总体参数，经校正后(将 N 换成(N-1))，样本方差的无偏估计计算公式：
通俗点讲就是如果计算的数据集不是总体, 只是部分样本, 使用分母是n公式计算的样本方差通常会小于总体方差, 使用分母是n-1的公式计算的样本方差与总体方差更接近。
说的更专业一点就是，n-1是自由度，1是变量数量。在计算RMSE的时候变量是两个，那么样本RMSE的无偏估计的分母就是自由度（n-2）。
标准差（Standard Deviation，SD）
定义：是方差的平方根。
意义：由于方差是离差平方和的均值，平方后数值大小与原数值大小范围相差太大，所以常用方差开根号换算回来。平均数相同的，标准差未必相同。
公式：