郑州网站建设推广有限公司,教育类网站配色,现在哪些做进口商品的电商网站,php网站开发公司1 偏差与方差 偏差#xff08;bias#xff09;#xff1a;描述的是预测值#xff08;估计值#xff09;的期望与真实值之间的差距。偏差越大#xff0c;越偏离真实数据#xff0c;如下图第二行所示。 方差#xff08;variance#xff09;#xff1a;描述的是预测值的…1 偏差与方差 偏差bias描述的是预测值估计值的期望与真实值之间的差距。偏差越大越偏离真实数据如下图第二行所示。 方差variance描述的是预测值的变化范围离散程度也就是离其期望值的距离。方差越大数据的分布越分散如下图右列所示。 方差公式 Var(x) E((x−E(x))2) E(x2−2xE(x)(E(x))2) E(x2)−2E(x)E(x)(E(x))2 E(x2)−2(E(x))2(E(x))2 E(x2)−(E(x))2 其实两个公式是等价的 样本方差公式 式中是样本的均值 标准差就是方差的平方根 标准差公式 样本标准差公式 为什么使用标准差 与方差相比使用标准差来表示数据点的离散程度有3个好处 表示离散程度的数字与样本数据点的数量级一致更适合对数据样本形成感性认知。依然以上述10个点的CPU使用率数据为例其方差约为41而标准差则为6.4两者相比较标准差更适合人理解。 表示离散程度的数字单位与样本数据的单位一致更方便做后续的分析运算。 在样本数据大致符合正态分布的情况下标准差具有方便估算的特性66.7%的数据点落在平均值前后1个标准差的范围内、95%的数据点落在平均值前后2个标准差的范围内而99%的数据点将会落在平均值前后3个标准差的范围内。
2 协方差和相关系数 1先贴一个链接 https://www.zhihu.com/question/20852004 2 协方差covariance 定义 两个随机变量的协方差被定义为 Cov(x,y)E( (x−E(x) (y−E(y) ) 因此方差是一种特殊的协方差。当xy时Cov(x,y)Var(x)Var(y)。 直观理解 协方差表示的是两个变量总体误差的方差这与只表示一个变量误差的方差不同。 如果两个变量的变化趋势一致也就是说如果其中一个大于自身的期望值另外一个也大于自身的期望值那么两个变量之间的协方差就是正值。 如果两个变量的变化趋势相反即其中一个大于自身的期望值另外一个却小于自身的期望值那么两个变量之间的协方差就是负值。 协方差矩阵必定是一个方阵 2 相关系数 相关系数通过方差和协方差定义。两个随机变量的相关系数被定义为 性质 1、有界性 相关系数的取值范围为-1到1其可以看成是无量纲的协方差。2、统计意义 值越接近1说明两个变量正相关性线性越强越接近-1说明负相关性越强当为0时表示两个变量没有相关性。
3 PCA主元分析法
这个链接很好 http://blog.codinglabs.org/articles/pca-tutorial.html
4 DataFrame实现
https://blog.csdn.net/u011707148/article/details/76973946 主要是 DataFrame.corr()和DataFrame.corrwith()两个函数
