使用sklearn学习多项式回归(三)

多项式回归(PolynomialFeatures) 本篇博客谈一谈多项式回归,通过代码理解一下为什么要使用多项式回归。 1 多项式回归 在sklearn中封装了线性回归,用来解决预测与特征符合线性关系这种情况,但现实生活中有很多情况是不符合线性关系有可能是符合二次方这样的关系等,那我们要怎么解决呢?下面用代码来体验下 ①我们先自己制做一下数据 import numpy as np import matplotlib.pyplot as plt %m... 阅读详情
AI摘要

本文探讨了线性与非线性模型的概念,包括变量间线性关系、数据线性与非线性区别、线性模型及非线性模型的特点,并介绍了多项式回归作为一种特殊线性模型的应用。

 

目录

1,什么是线性

1.1,变量之间的线性关系

1.2,数据间的线性与非线性

1.3,线性模型与非线性模型

1.4,使用分箱处理非线性问题

2,多项式回归PolynomialFeatures

2.1,什么是多项式回归

2.2,多项式回归处理非线性问题

2.3,多项式回归的可解释性

2.4,线性还是非线性模型?


1,什么是线性

我们无数次提到”线性“这个名词。在支持向量机中,我们也曾经提到最初的支持向量机只能够分割线性可分的数据,然后引入了”核函数“来帮助我们分类那些非线性可分的数据。我们也曾经说起过,比如说决策树,支持向量机是”非线性“模型。所有的这些概念,让我们对”线性“这个词非常熟悉,却又非常陌生——因为我们并不知道它的真实含义。接下来我们看看线性回归模型改进的核心之一:帮助线性回归解决非线性问题。

1.1,变量之间的线性关系

”线性“这个词用于描述不同事物时有着不同的含义。我们最常使用的线性是指“变量之间的线性关系(linear relationship)”,它表示两个变量之间的关系可以展示为一条直线,即可以使用方程y=ax+b来进行拟合。要探索两个变量之间的关系是否是线性的,最简单的方式就是绘制散点图,如果散点图能够相对均匀地分布在一条直线的两端,则说明这两个变量之间的关系是线性的。因此,三角函数(如sin(x)),高次函数( y=ax^{3}+b),指数函数( y=e^{x})等等图像不为直线的函数所对应的自变量和因变量之间是非线性关系(non-linear relationship)。也因此y=ax+b被称为线性方程或线性函数(linear function),三角函数,高次函数等也因此被称为非线性函数(non-linear function)。

1.2,数据间的线性与非线性

  • 从线性关系这个概念出发,我们有了一种说法叫做“线性数据”。通常来说,一组数据由多个特征和标签组成。当这些特征分别与标签存在线性关系的时候,我们就说这一组数据是线性数据。当特征矩阵中任意一个特征与标签之间的关系需要使用三角函数,指数函数等函数来定义,则我们就说这种数据叫做“非线性数据”。对于线性和非线性数据,最简单的判别方法就是利用模型来帮助我们——如果是做分类则使用逻辑回归,如果做回归则使用线性回归,如果效果好那数据是线性的,效果不好则数据不是线性的。当然,也可以降维后进行绘图,绘制出的图像分布接近一条直线,则数据就是线性的。

  • 到这里为止展示的都是或多或少能够连成线的数据分布,他们之间只不过是直线与曲线的分别罢了。然而考虑一下,当我们在进行分类的时候,我们的决策函数往往是一个分段函数,比如二分类下的决策函数可以是符号函数(signx),符号函数的图像可以表示为取值为1和-1的两条直线。这个函数明显不符合我们所说的可以使用一条直线来进行表示的属性,因此分类问题中特征与标签[0,1]或者[-1,1]之间关系明显是非线性的关系。除非我们在拟合分类的概率,否则不存在例外。  

  • 同时我们还注意到,当我们在进行分类的时候,我们的数据分布往往是这样的:

  • 可以看得出,这些数据都不能由一条直线来进行拟合,他们也没有均匀分布在某一条线的周围,那我们怎么判断,这些数据是线性数据还是非线性数据呢?在这里就要注意了,当我们在回归中绘制图像时,绘制的是特征与标签的关系图,横坐标是特征,纵坐标是标签,我们的标签是连续型的,所以我们可以通过是否能够使用一条直线来拟合图像判断数据究竟属于线性还是非线性。然而在分类中,我们绘制的是数据分布图,横坐标是其中一个特征,纵坐标是另一个特征,标签则是数据点的颜色。因此在分类数据中,我们使用“是否线性可分”(linearly separable)这个概念来划分分类数据集。当分类数据的分布上可以使用一条直线来将两类数据分开时,我们就说数据是线性可分的。反之,数据不是线性可分的。

对于回归问题,数据若能分布为一条直线,则是线性的,否则是非线性。对于分类问题,数据分布若能使用一条直线来划分类别,则是线性可分的,否则数据则是线性不可分的。

1.3,线性模型与非线性模型

在回归中,线性数据可以使用如下的方程来进行拟合:

也就是我们的线性回归的方程。根据线性回归的方程,我们可以拟合出一组参数w,在这一组固定的参数下我们可以建立一个模型,而这个模型就被我们称之为是线性回归模型。所以建模的过程就是寻找参数的过程。此时此刻我们建立的线性回归模型,是一个用于拟合线性数据的线性模型。作为线性模型的典型代表,我们可以从线性回归的方程中总结出线性模型的特点:其自变量都是一次项。 

那线性回归在非线性数据上的表现如何呢?我们来建立一个明显是非线性的数据集,并观察线性回归和决策树的而回归在拟合非线性数据集时的表现:

# 线性模型与非线性模型,用线性模型来模拟我们的非线性数据集
import numpy as np
import matplotlib.pyplot as plt
from sklearn.linear_model import LinearRegression
from sklearn.tree import DecisionTreeRegressor


# 设置随机数种子
rnd=np.random.RandomState(42)

# rnd.uniform从输入的两个数之间取出size个随机数
# 用法类似于np.arange()和linespace()函数,但是这两个函数是按照顺序取值,uniform()是随机取出数值。
X=rnd.uniform(-3,3,size=100)

# #生成y的思路:先使用NumPy中的函数生成一个sin函数图像,然后再人为添加噪音
y = np.sin(X)+rnd.normal(size=len(X))/3  #random.normal,生成size个服从正态分布的随机数
y.shape

#使用散点图观察建立的数据集是什么样子
plt.scatter(X, y,marker='o',c='red',s=15)
plt.show()

# 因为sklearn只接受二维以上的特征矩阵,所以我们修改X为二维
X=X.reshape(-1,1)
X.shape

import pandas as pd
pd.DataFrame(X)

# 使用原始数据进行建模,使用训练数据进行拟合
lr=LinearRegression().fit(X,y)# 实例化模型并且拟合模型
# 使用决策树建模并且拟合数据
tree=DecisionTreeRegressor(random_state=40).fit(X,y)

# 创建画布
fig, ax1 = plt.subplots(1)

#创建测试数据:一系列分布在横坐标上的点
# endpoint此参数标示保留3位小数,line数据集就相当于我们的测试数据集
line = np.linspace(-3, 3, 1000,endpoint=False).reshape(-1,1)
#将测试数据带入predict接口,获得模型的拟合效果并进行绘制
# 两个模型中的y值就是我们建立好的模型对我们的line测试数据的预测值
ax1.plot(line, lr.predict(line), linewidth=2, color='green',label="linear regression")# 线性回归模型预测
ax1.plot(line, tree.predict(line), linewidth=2, color='red',label="decision tree")# 决策树进行预测
#将原数据上的拟合绘制在图像上
ax1.plot(X[:, 0], y, 'o', c='black')# 代表我们的原水数据点
#其他图形选项
ax1.legend(loc="best")
ax1.set_ylabel("Regression output")
ax1.set_xlabel("Input feature")
ax1.set_title("Result before discretization")
plt.tight_layout()
plt.show()

运行上面的程序可以看出,线性回归无法拟合出这条带噪音的正弦曲线的真实面貌,只能够模拟出大概的趋势,而决策树却通过建立复杂的模型将几乎每个点都拟合出来了。可见,使用线性回归模型来拟合非线性数据的效果并不好,而决策树这样的模型却拟合得太细致,但是相比之下,还是决策树的拟合效果更好一些,但是会发生过拟合的情况。

决策树无法写作一个方程(在XGBoost章节中会详细讲解如何将决策树定义成一个方程,但它绝对不是一个形似y=ax+b的方程),它是一个典型的非线性模型,当它被用于拟合非线性数据,可以发挥奇效。其他典型的非线性模型还包括使用高斯核的支持向量机,树的集成算法,以及一切通过三角函数,指数函数等非线性方程来建立的模型。

根据这个思路,我们也许可以这样推断:线性模型用于拟合线性数据,非线性模型用于拟合非线性数据。但事实上机器学习远远比我们想象的灵活得多,线性模型可以用来拟合非线性数据,而非线性模型也可以用来拟合线性数据,更神奇的是,有的算法没有模型也可以处理各类数据,而有的模型可以既可以是线性,也可以是非线性模型。

  • 非线性模型拟合线性数据

非线性模型能够拟合或处理线性数据的例子非常多,非线性模型诸如决策树,随机森林等算法在分类中处理线性可分的数据的效果。无一例外的,非线性模型们几乎都可以在线性可分数据上有不逊于线性模型的表现。同样的,如果我们使用随机森林来拟合一条直线,那随机森林毫无疑问会过拟合,因为线性数据对于非线性模型来说太过简单,很容易就把训练集上的R^{2}训练得很高,MSE训练的很低。

  • 线性模型拟合非线性数据

但是相反的,线性模型若用来拟合非线性数据或者对非线性可分的数据进行分类,那通常都会表现糟糕。通常如果我们已经发现数据属于非线性数据,或者数据非线性可分的数据,则我们不会选择使用线性模型来进行建模。改善线性模型在非线性数据上的效果的方法之一时进行分箱,并且从下图来看分箱的效果不是一般的好,甚至高过一些非线性模型。后面会说明分箱的效果,但很容易注意到,在没有其他算法或者预处理帮忙的情况下,线性模型在非线性数据上的表现时很糟糕的。

机器学习预处理:特征工程 特征是⽤于描述数据中的各种属性、变量或维度的信息,它们是模型⽤来做 出预测或分类的输⼊。特征⼯程是使⽤专业背景知识和技巧处理数据,。良好的特征⼯程可以显著提⾼模型的性能,⽽糟糕的特征选择或构建可能导致模型性能下降。意义:会直接影响机器学习的效果特征⼯程的主要⽬标包括:1. 特征选择:选择最相关的特征,以减少维度和噪声,提⾼模型的泛化能⼒。这 可以通过统计⽅法、领域知识、特征重要性评估等⽅式来完成。2. 特征构建:创建新的特征,以提供更多的信息或改善模型的性能。 阅读详情

相关推荐

sklearn之多项式回归

多项式回归其实本质上与线性回归一样,在sklearn中,多项式回归与线性回归的使用方法一致,唯一不同的是需要我们自己手动创造多项式(生成新特征),然后再使用线性回归的方法来进行拟合,同样该方法可以在逻辑回归上尝试。 多项式变化 sklearn.preprocessing.PolynomialFeatures(degree=2,interaction_only=False,include_bias=...

weixin_45580742的博客 2788

【skLearn 回归模型】多项式回归 PolynomialFeatures

文章目录一、多项式对数据的处理① 一维数据集简单案例 ---- (维度针对特征数而言)② 多维数据集案例 ---- (维度针对特征数而言)♦ 二维测试♦ 三维测试③ 多项式回归处理非线性问题④ 可视化二、多项式回归的可解释性 一、多项式对数据的处理 除了分箱之外,另一种更普遍的用于解决"线性回归只能处理线性数据"问题的手段,就是使用多项式回归对线性回归进行改进。这样的手法是机器学习研究者们从支持向量机中获得的:支持向量机通过升维可以将非线可分数据转化为线性可分,然后使用核函数在低维空间中进行计算,这是..

懂得一千零一种,赋予你失败的方法! 1万+

机器学习----多项式回归详解

前言 我们在使用线性回归的时候有个局限性,就是他是假设数据背后是存在线性关系的,实际中这种情况还是比较少的。较多的还是非线性关系,多项式回归法正是解决数据之间非线性关系进行预测的机器学习算法,思路还是线性回归的原理。本质还是线性回归,只是增加了样本的特征。如下右图:将x、x^2当成两个特征。 在右图中 相当于在左边的基础上增加了一个特征...

SOARING 4365

【Python-ML】SKlearn库多项式回归

# -*- coding: utf-8 -*- ''' Created on 2018年1月24日 @author: Jason.F @summary: 有监督回归学习-多项式回归,通过多项式特征拟合非线性关系 ''' import pandas as pd import numpy as np import time import matplotlib.pyplot as plt from sk

医疗影像检索 1633

[Python从零到壹] 十二.机器学习之回归分析万字总结全网首发(线性回归、多项式回归、逻辑回归)

前一篇文章讲述了数据分析部分,主要普及网络数据分析的基本概念,讲述数据分析流程和相关技术,同时详细讲解Python提供的若干第三方数据分析库,包括Numpy、Pandas、Matplotlib、Sklearn等。本文介绍回归模型的原理知识,包括线性回归、多项式回归和逻辑回归,并详细介绍Python Sklearn机器学习库的LinearRegression和LogisticRegression算法及回归分析实例。进入基础文章,希望对您有所帮助。

杨秀璋的专栏 5万+

从转发时钟到嵌入式时钟:CDR、CTLE与DFE在高速串行链路中的协同演进

本文深入探讨了高速串行链路中CDR、CTLE与DFE技术的协同演进。从转发时钟到嵌入式时钟的转变,详细分析了CDR的工作原理与实现架构,以及CTLE和DFE在信道损耗补偿和ISI干扰消除中的关键作用。通过实战案例展示了这些技术在28Gbps至112Gbps SerDes设计中的优化策略与性能提升。

weixin_42539414的博客 299

I2C通信协议SCL与SDA引脚特性:核心要点总结

深入讲解I2C通信协议中SCL和SDA引脚的工作机制与电气特性,帮助理解i2c通信协议的稳定传输原理,掌握上拉电阻配置与信号时序控制要点。

weixin_42103128的博客 2744

基于STM32F103C8T6的循迹避障小车完整制作过程(详细)----上篇(第123点)

基于STM32F103C8T6的循迹避障小车完整制作过程 由于本人的一个小项目,要做一个基于STM32的循迹避障小车,前后花了约1周的时间,这个过程种也参考了很多大神分享的资料,学到很多的东西。但是资料都比较分散,有些东西也不好找,在这里就想把自己制作小车的一个整体过程记录分享一下,希望能够帮到你。 我自己也算是一个小白,之前有做过 你好! 这是你第一次使用 Markdown编辑器 所展示的欢迎...

weixin_43924857的博客 14万+

Excel下拉公式不自动计算?5步彻底解决!

Excel下拉公式不自动计算?5步彻底解决!在使用Excel处理数据时,公式下拉填充是提升效率的核心操作。但许多用户都遇到过这样的困惑:明明设置了公式,下拉时结果却纹丝不动。本文将从技术原理出发,结合5步实操方案,为您彻底解析这个高频问题的根源与解决方案。

mmoo_python的博客 1万+

Python控制tek示波器(1)

如何使用Python来控制tek示波器

m0_47441496的博客 3379

Leads、SDR、MQL、SQL、L2C术语概念,线索创建与清洗、线索分级模型、线索流转策略、线索的统计与分析

CRM中的“Leads”是什么?笔者在文中不仅较为全面地介绍了相关术语概念,还分析了线索的创建与清洗、线索的分级模型、线索流转策略以及线索的统计与分析。

盼盼学士 5962

Autosar软件组件分析及ARXML文件分析

Autosar软件组件分析及ARXML文件分析

专注汽车软件开发、AutoSAR、车载以太网、SOA、EE架构。 3605

半导体器件仿真:双极型晶体管仿真_15.双极型晶体管的高级仿真技术

双极型晶体管(Bipolar Junction Transistor, BJT)是一种重要的半导体器件,广泛应用于放大、开关和调制等电路中。随着半导体技术的发展,对BJT的仿真要求也越来越高。本节将详细介绍双极型晶体管的高级仿真技术,包括器件模型的选择、仿真参数的优化、温度效应的考虑以及噪声分析等。

2401_87715305的博客 1244

锂电池充电器电路设计 里面有电路

锂电池充电器电路设计 里面有电路 3.7V升压到5V电路设计。

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

ssm框架搭建

这个是一个在idea上成功跑起来的ssm框架项目,保存在这里方便以后使用直接下载

上一篇: 使用sklearn库学习线性回归(二)
下一篇: 数据结构-单链表(一)(Java版)
bugcode.online
博客等级 码龄10年 156粉丝 64原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值