机器学习之线性回归

将系统更新机器学习部分教程

预计更新机器学习文章十几篇左右，篇篇原创。

参考

机器学习实战书籍（美国蜥蜴封面）

sklearn官网

自己的学过的课程与经验

文中的所有数据集链接：https://pan.baidu测试数据/s/1TV4RQseo6bVd9xKJdmsNFw

提取码：8mm4

线性回归

线性回归(Linear Regression)是利用数理统计中回归分析， 来确定两种或两种以上变量间相互依赖的定量关系的一种统计分 析方法。

线性回归利用称为线性回归方程的最小平方函数对一个或多个自 变量和因变量之间关系进行建模。这种函数是一个或多个称为回 归系数的模型参数的线性组合。只有一个自变量的情况称为简单 回归,大于一个自变量情况的叫做多元回归。

线性回归：使用形如y=wTx+b 的线性模型拟合数据输入和输出之 间的映射关系的

一元线性回归（略）

多元回归

事实上，一种现象常常是与多个因素相联系的，由多个自变量的最优组合共同来预测或估计因变量，比只用一个自变量进行预测或估计更有效，更符合实际。 因此多元线性回归比一元线性回归的实用意义更大。

实战案例

这里有个excel 文件数据，我们来研究到底是哪个因素影响sales最明显，是TV，还是radio，还是newspaper，也就是找的销售额到底是那家个元素引起的，怎么才能提高销售额？

在这里插入图片描述 导入模块

 import?pandas?as?pd import?numpy?as?np import?matplotlib.pyplot?as?plt %matplotlib?inline plt.style.use('ggplot')???#使用ggplot样式 from?sklearn.linear_model?import?LinearRegression??#?导入线性回归 from?sklearn.model_selection?import?train_test_split??#?划分数据 from?sklearn.metrics?import?mean_squared_error??#用来计算距离平方误差，评价模型?  

查看数据

 data?=?pd.read_csv('Advertising.csv') data.head()??#看下data  

data如下

画图分析一下

 plt.scatter(data.TV,?data.sales)  

效果如下

在这里插入图片描述

 plt.scatter(data.radio,?data.sales)  

效果如下

在这里插入图片描述

 plt.scatter(data.newspaper,?data.sales)  

效果如下

在这里插入图片描述

从图中分析看出newspaper的点分散太广，预测毫无关系，应该要去除

 #?双中扩号 x?=?data[['TV','radio','newspaper']] y?=?data.sales x_train,x_test,y_train,y_test?=?train_test_split(x,?y)??#得到训练和测试训练集 model?=?LinearRegression()??#导入线性回归 model.fit(x_train,?y_train)??? model.coef_????#?斜率?有三个?array([?0.04480311,??0.19277245,?-0.00301245]) model.intercept_??#?截距?3.0258997429585506  

打印对应的参数

 for?i?in?zip(x_train.columns,?model.coef_): ????print(i)????#打印对应的参数  ('TV',?0.04480311217789182) ('radio',?0.19277245418149513) ('newspaper',?-0.003012450368706149)  

y =0.04480311217789182 * x1 + 0.19277245418149513 *x2 -0.003012450368706149 * x3 ?+ 3.0258997429585506

我们可以看到newspaper的的系数小于0，说明了投入了，反而影响销售额 那么如何改进模型，就是去掉newspaper的数值,因为一点关系都没有

 x?=?data[['TV','radio']] y?=?data.sales x_train,x_test,y_train,y_test?=?train_test_split(x,?y) model2?=?LinearRegression() model2.fit(x_train,y_train) model2.coef_ model2.intercept_ mean_squared_error(model2.predict(x_test),y_test)   输出： array([0.04666856,?0.17769367]) 3.1183329992288478 2.984535789030915??#?比第一个model的小，说明更好  

最终的结果：

y =0.04666856 * x1 +0.17769367 *x2 ?+ 3.1183329992288478

多元多项式回归

即就是不是直线，而是曲线了

主要使用的是 from sklearn.preprocessing import PolynomialFeatures

可以理解为专门生成多项式特征，并且多项式包含的是相互影响的特征集，比如：一个输入样本是２维的。形式如[a,b] ,则二阶多项式的特征集如下[1,a,b,a^2,ab,b^2]。

实战演练

本案例来源和代码来源：机器学习实战书籍

 import?numpy?as?np import?matplotlib.pyplot?as?plt %matplotlib?inline? #?均与分布 x?=?np.random.uniform(-3,3,?size=100) #?噪音数据 y?=?0.5?*?x**2?+x?+2?+?np.random.normal(0,1,size=100) plt.scatter(x,y)  

效果如下：

采用多项式回归

 x2?=?np.hstack([X,X**2])?#这里给样本X再引入1个特征项，现在的特征就有2个 lin_reg?=?LinearRegression() lin_reg.fit(x2,y) y_predict?=?lin_reg.predict(x2) plt.scatter(x,y) #绘制的时候要注意，因为x是无序的，为了画出如下图平滑的线条，需要先将x进行排序 plt.plot(np.sort(x),y_predict[np.argsort(x)],color='r')? #y_predict按照x从的大小的顺序进行取值，否则绘制出的如右下图。  

效果如下：

PolynomialFeatures的使用

 from?sklearn.preprocessing?import?PolynomialFeatures poly?=?PolynomialFeatures(degree=2)?#设置最多添加几次幂的特征项 poly.fit(X) x2?=?poly.transform(X) #x2.shape?这个时候x2有三个特征项，因为在第1列加入1列1，并加入了x^2项 from?sklearn.linear_model?import?LinearRegression?#接下来的代码一致 lin_reg2?=?LinearRegression() lin_reg2.fit(x2,y) y_predict2?=?lin_reg2.predict(x2) plt.scatter(x,y) plt.plot(np.sort(x),y_predict2[np.argsort(x)],color='r')  

效果如下：

真实案例

此案例来源：https://HdhCmsTesticourse163.org/course/BIT-1001872001

北京理工大学出版，毛利推荐

导入对应的包

 import?matplotlib.pyplot?as?plt import?numpy?as?np from?sklearn?import??linear_model #导入线性模型和多项式特征构造模块 from?sklearn.preprocessing?import??PolynomialFeatures  

读取数据集

 datasets_X?=[] datasets_Y?=[] fr?=open('prices.txt','r') #一次读取整个文件。 lines?=fr.readlines() #逐行进行操作，循环遍历所有数据 for?line?in?lines: ????#去除数据文件中的逗号 ????items?=line.strip().split(',') ????#将读取的数据转换为int型，并分别写入datasets_X和datasets_Y。 ????datasets_X.append(int(items[0])) ????datasets_Y.append(int(items[1])) #求得datasets_X的长度，即为数据的总数。 length?=len(datasets_X) #将datasets_X转化为数组，?并变为二维，以符合线性回?归拟合函数输入参数要求 datasets_X=?np.array(datasets_X).reshape([length,1]) #将datasets_Y转化为数组 datasets_Y=np.array(datasets_Y)  

建立二次多项式特征

 minX?=min(datasets_X) maxX?=max(datasets_X) #以数据datasets_X的最大值和最小值为范围，建立等差数列，方便后续画图。 X=np.arange(minX,maxX).reshape([-1,1]) #degree=2表示建立datasets_X的二?次多项式特征X_poly。 poly_reg?=PolynomialFeatures(degree=2) X_ploy?=poly_reg.fit_transform(datasets_X) lin_reg_2=linear_model.LinearRegression() lin_reg_2.fit(X_ploy,datasets_Y)  

回归方程

 #查看回归方程系数 print('Cofficients:',lin_reg_2.coef_) Cofficients:?[0.00000000e+00?4.93982848e-02?1.89186822e-05] intercept?151.8469675050044 #查看回归方程截距 print('intercept',lin_reg_2.intercept_) plt.scatter(datasets_X,datasets_Y,color='red') plt.plot(X,lin_reg_2.predict(poly_reg.fit_transform(X)),color='blue') plt.xlabel('Area') plt.ylabel('Price') plt.show()  

效果如图：

一直原创，从未转载

请认准我， 将我置标

转发，好看支持一下，感谢

查看更多关于机器学习之线性回归的详细内容...