首页 » 技术分享 » （机器学习）如何评价回归模型？——Adjusted R-Square（校正决定系数）

（机器学习）如何评价回归模型？——Adjusted R-Square（校正决定系数）

　
评论关闭　1,430次浏览

在分类模型中，评价输出相对简单，有“错误率”、“混淆矩阵（confusion matrix）”、“正确率（precision）”、“召回率（recall）”、ROC曲线等等。但回归模型怎样评价呢？

在一个回归预测结束后得到一串预测结果Y_predict。另有真实结果Y_actual。有如下值评价：

1、SSE（误差平方和）

这里写图片描述

如果用这个，你会得到一个巨大的数，比如好几万多，你也不知道它代表什么，就知道误差很大。其实不一定，因为随着样本数增加，这个误差平方和必然跟着增大。这个数什么也不代表，除非是对比，比如两个或多个回归模型放一起比较，谁的误差平方和越小，则误差越小，则这个模型表现越好。

另外，标准线性回归模型的原理就是，通过计算使误差平方和最小。所以用它来表示误差理所应当。

（《机器学习实战》第八章P145的rssError函数即是算误差平方和，并以此评价模型效果。）
另外，有个神奇、类似但并不是的例子和此相关，那就是sklearn.cluster.KMeans的score方法（这个就不是回归了）是把x中的每个value减去同意分类中的所在维度的平均值的平均值后做平方，再把这些平方们做加和。（说它神奇是因为score(x,y)的y根本没用。）

2、R-Square（决定系数)

（此部分原回答存在错误，已整体重写，感谢评论区！）

2.1、定义

此处的R即相关系数，相关系数的平方就是决定系数R-Square。其中分母的y_mean是y_actual的mean。

（此处的R即相关系数，相关系数的平方就是决定系数R-Square。其中分母的y_mean是y_actual的mean。）

2.2、理解

  • 第一种解释：
    分子是残差的平方之和；分母是总方差；把“1减”揉进分式后，变成了“（总方差 - 残差平方和）/ 总方差 ”。
    所以，R-Square理解成 “预测的误差的方差”小于实际情况的方差的比例。译自：What’s a good value for R-squared?
  • 第二种解释：
    用1减去y对回归模型的方差（未解释离差）与y的总方差的比值，y_actual - y_predict 也就是残差，是拟合方程中不能解释的部分，用1减去不能解释的部分，那么剩下的就是解释的部分，也就是说自变量解释了因变量变动的百分比的多少。摘自：Miss鱼

    二种解释统一为：R-Square 表示该模型能够拟合的“变化程度”，占真实数据的“变化程度”的比例。

2.3、越大越好？

  • R-Square的取值范围是“负无穷到1”，经常是“0到1”。（很多资料说是0~1是不准确的，有预测错误巨大导致y_predict巨大，从而分子巨大，R-Square
    远小于0的情况。）
  • 一般认为， R-Square越大越好。因为最佳情况下，分子（残差的平方）为0，R-Square等于1。（注意要是真的接近1，小心过拟合啊，谢谢评论区提醒。）
  • 但需要注意，和sse一样，只能说不同的模型能在相同测试集上，R-Square越大的模型就越好；如果不同的模型在不同的测试集上，得到两个R-Square，（严格意义上）是不能说“越大越好”的，但毕竟能做大概的比较。（R-Square不香吗？也香，也香~~）

2.4、作用

它的作用是，把“误差平方和”这个好几万的数，变成 R-Square这个（一般来说）0~1的数，还能在只有这一套样本一个模型的情况下，知道预测结果大概准不准，大概有多准。

之所以说“大概有多准”，是因为随着“样本数”增加（立个flag，下文会提到），R-Square大多会变化，无法真正定量说明准确程度，只能大概定量。

3、Adjusted R-Square（校正决定系数）

3.1、定义

这里写图片描述

其中，n为样本数量，p为特征数量。即样本为n个[ x1, x2, x3, … , xp, y ]。

3.2、理解

这个式子其实就是将R-Square式子中那个 “一堆除以一堆” 乘以 “一个稍大于1的数” 再被1减。样本数量（接上文flag）会影响“一个稍大于1的数”，故而抵消样本数量对R-Square的影响。

3.3、越大越好？

取值范围还是负无穷到1，大多是 0~1，且越大越好。（注意要是真的接近1，小心过拟合啊，谢谢评论区提醒。）

3.4、作用

如3.2所说，就是抵消样本数量对R-Square的影响，从而更能用一个0~1的数字描述回归模型的拟合情况好坏。
（虽说依然有2.3最后说的情况，但毕竟有了一个描述和比较的标准。Adjusted R-Square 不香吗？更香，更香~~）

自己造个轮子，在python的numpy下求Adjusted R-Square（校正决定系数）的函数：

import numpy as np

def score(a,b,dimension):		
# a is predict, b is actual. dimension is len(train[0]).
	aa=a.copy(); bb=b.copy()
	if len(aa)!=len(bb):
		print('not same length')
		return np.nan

	cc=aa-bb
	wcpfh=sum(cc**2)
	
	# RR means R_Square
	RR=1-sum((bb-aa)**2)/sum((bb-np.mean(bb))**2)

	n=len(aa); p=dimension
	Adjust_RR=1-(1-RR)*(n-1)/(n-p-1)
	# Adjust_RR means Adjust_R_Square
	
	return Adjust_RR

经测试，这个函数的结果和sklearn里的score函数结果极为接近（误差千分之一）。说明那个也是用的同样原理，估计是部分参数略微不同。

真心是本人原创。欢迎转载，请链接注明出处。若有帮助请点赞！

转载自原文链接, 如需删除请联系管理员。

原文链接：（机器学习）如何评价回归模型？——Adjusted R-Square（校正决定系数），转载请注明来源！

赞 0