牛顿法,高斯-牛顿法

牛顿法,高斯牛顿法,列文伯格-马夸尔特(LM)法 (含代码)【最小二乘非线性求解】 牛顿法是一种函数逼近法,它的基本思想是:在极小点附近用x(k)x^{(k)}x(k)点的二阶泰勒多项式来近似目标函数f(x)f(x)f(x),并用选代点x(k)x^{(k)}x(k)处指向近似二次函数的极小点方向作为搜索方向p(k)p^{(k)}p(k)。minf(x),x∈Rnminf(x),x∈Rn其中f(x)f(x)f(x)在点x(k)x^{(k)}x(k。 阅读详情
AI摘要

本文详细介绍了牛顿法及其在一维和高维情况下的应用,用于寻找函数的根和极值点。牛顿法通过泰勒展开和迭代逼近目标函数的解,而高斯-牛顿法则是针对最小二乘问题的优化,适用于非线性函数的参数估计。文章通过实例解释了两种方法的迭代公式和计算过程,强调了它们在计算量和收敛速度上的特点。

这是一篇笔记,不是教程。 仅供参考,对与错自行甄别。








牛顿法(Newton’s method)

假如已知函数 f ( x ) f(x) f(x),想要求 f ( x ) = 0 f(x)=0 f(x)=0 的解(或者叫根)。

牛顿法(Newton’s method)大致的思想是:
(1)选一个初始位置 x 0 x_0 x0​(这个位置最好是在根的附近);
(2)在这个位置上找一个 f ( x ) f(x) f(x) 的近似函数(通常用泰勒展开);
(3)令近似函数为 0 0 0 ,求解;
(4)以这个解为新的位置 x 1 x_1 x1​;
(5)重复上述迭代,到第 n n n 次迭代得到 x n x_n xn​,当 ∣ x n − x n − 1 ∣ |x_n - x_{n-1}| ∣xn​−xn−1​∣ 足够小,结束。
x n x_n xn​ 就是 f ( x ) = 0 f(x)=0 f(x)=0 的近似解。



下面的解释1是一个比较直观的过程,不过问题的设计不太合理。解释2会好一点。


例子: 求 f ( x ) f(x) f(x) 的极小值。

解释1

假如 f ( x ) f(x) f(x) 长这样:

在这里插入图片描述

首先,选一个初始值估计值 x 0 x_0 x0​,由于函数已知,带入得到对应的函数值为 f ( x 0 ) f(x_0) f(x0​)。
由于函数在该点处可导,可以求得该点的导数为 f ′ ( x 0 ) f'(x_0) f′(x0​)。
该点的导数值,就是该点的切线的斜率。

已知一个点和斜率,可以求得直线方程: y − f ( x 0 ) x − x 0 = f ′ ( x 0 ) ⇓ y = f ′ ( x 0 ) ( x − x 0 ) + f ( x 0 ) (1) \dfrac{y-f(x_0)}{x-x_0} = f'(x_0) \\ \Downarrow \\ y = f'(x_0)(x-x_0) + f(x_0) \tag{1} x−x0​y−f(x0​)​=f′(x0​)⇓y=f′(x0​)(x−x0​)+f(x0​)(1)
公式(1)即为图中红色直线的方程,其中 x 0 x_0 x0​, f ( x 0 ) f(x_0) f(x0​), f ′ ( x 0 ) f'(x_0) f′(x0​) 都是已知量。


现在,求红色直线与 x x x 轴的交点: x 1 x_1 x1​ 的值。
往公式(1)带入 y = 0 y=0 y=0 即可。

在这里插入图片描述

求得 x 1 = x 0 − f ( x 0 ) f ′ ( x 0 ) x_1 = x_0 - \frac{f(x_0)}{f'(x_0)} x1​=x0​−f′(x0​)f(x0​)​

把 x 1 x_1 x1​ 代回原方程,得到对应的函数值 f ( x 1 ) f(x_1) f(x1​)。在该点处继续求切线方程,重复上述步骤。

在这里插入图片描述

求直线与 x x x 轴的交点,得到 x 2 x_2 x2​:

在这里插入图片描述

从图中可以看到, f ( x 2 ) f(x_2) f(x2​) 已经几乎是极小值了。

实际操作中会判断两次迭代的差值 f ( x n ) − f ( x n − 1 ) f(x_n) - f(x_{n-1}) f(xn​)−f(xn−1​),如果足够小,就可以结束迭代了。
(这貌似有点像梯度下降)(对于这个问题直接求导数,令导数等于 0 0 0 也可以。)

我这个问题得设计好像有点 bug 。继续迭代会出问题, f ( x 2 ) f(x_2) f(x2​) 处可能无法求导, x 3 x_3 x3​ 也不知道去到哪儿了。如果导数接近于 0 0 0 也可以结束迭代吧。
总之牛顿法的过程大概是这样。具体可以看百度百科或者其它资料。

贴一个维基百科的图:

在这里插入图片描述像这个例子,是对这种 f ( x ) + a = 0 f(x)+a=0 f(x)+a=0 的问题用牛顿法。


解释2

来自知乎:https://zhuanlan.zhihu.com/p/103724149

一维情况

迭代公式:

x n + 1 = x n − f ′ ( x n ) f ′ ′ ( x n ) x_{n+1}=x_n - \dfrac{f'(x_n)}{f''(x_n)} xn+1​=xn​−f′′(xn​)f′(xn​)​

牛顿法的推导基于二阶可微函数的泰勒展开,以一维函数为例,在 x 0 x_0 x0​ 处 f ( x ) f(x) f(x) 的泰勒展开:
f ( x ) ≈ f ( x 0 ) + f ′ ( x 0 ) ( x − x 0 ) + 1 2 f ′ ′ ( x 0 ) ( x − x 0 ) 2 \textcolor{#417991}{ f(x)} \approx \textcolor{#D97600}{f(x_0) + f'(x_0)(x-x_0) + \dfrac{1}{2} f''(x_0)(x-x_0)^2} f(x)≈f(x0​)+f′(x0​)(x−x0​)+

最优化--梯度下降法--牛顿法(详解) 阅读详情

相关推荐

匈牙利算法详解

参考: https://zhuanlan.zhihu.com/p/96229700 一、匈牙利算法概述 匈牙利算法(Hungarian algorithm),即图论中寻找最大匹配的算法,暂不考虑加权的最大匹配(用KM算法实现)。 匈牙利算法(Hungarian algorithm),主要用于解决一些与二分图匹配有关的问题。 概念点1——匹配。图G的一个匹配是由一组没有公共端点的不是圈的边构成的集合。 这里,我们用一个图来表示下匹配的概念: 如图所示,其中的三条边即该图的一个匹配。所以,匹配的.

lemonxiaoxiao的博客 11万+

最优化算法之牛顿法、高斯-牛顿法、LM算法

上一篇文章中主要讲解了最优化算法中的梯度下降法,类似的算法还有牛顿法、高斯-牛顿法以及LM算法等,都属于多轮迭代中一步一步逼近最优解的算法,本文首先从数学的角度解释这些算法的原理与联系,...

shandianfengfan的博客 1万+

牛顿法、拟牛顿法、高斯-牛顿法、共轭梯度法推导总结

原文:http://ihoge.cn/2018/newton1.html 前言: 线性最小二乘问题,我们可以通过理论推导可以得到其解析解,但是对于非线性最小二乘问题,则需要依赖迭代优化的方法,牛顿算法是解决非线性最优的常见算法之一。 最近整理了几篇关于牛顿法及其优化算法都不甚满意,网上大多相关技术博客很多是拼凑起来的,多数不全面(某些推导中间过程被省略),或者数学公式的符号表达方式不...

机器学习算法 1万+

Python实现高斯牛顿法

高斯牛顿法(Gauss-Newton Method)是一种用于求解非线性最小二乘问题的迭代算法。该算法结合了牛顿法的快速收敛特性和最小二乘法的误差最小化原则,广泛应用于非线性数据拟合和优化问题中。高斯牛顿法作为一种经典的非线性最小二乘优化算法,广泛应用于数据拟合和机器学习等领域。通过面向对象的Python实现,我们展示了如何利用高斯牛顿法来拟合非线性模型。尽管高斯牛顿法具有快速收敛的优点,但其对初始参数的敏感性和Jacobian矩阵的计算复杂度仍是需要注意的关键问题。

闲人编程的博客 2017

非线性优化整理-2.高斯牛顿法

基础 Jacobian矩阵 Hessian矩阵 最小二乘问题 高斯牛顿法的推导 结论 优点 缺点 总结 实例 输入 代码 有了牛顿法的基础(可参考非线性优化整理-1.牛顿法),即可进入非线性最小二乘法问题了。 基础 Jacobian矩阵 假设f:Rm→Rn,m≥n" role="presentation">f:Rm→Rn,m≥nf:

boksic的专栏 1万+

牛顿法、阻尼牛顿法和高斯牛顿法详解及Python实现

牛顿法(Newton’s Method),也叫做牛顿-拉夫森法,是一种在数值分析中用于寻找方程零点的迭代方法。它利用泰勒级数展开近似求解目标函数的零点(即求解方程的根),通过不断迭代逼近目标解。在本文中,我们详细介绍了牛顿法阻尼牛顿法和高斯牛顿法的原理与应用,比较了三者的优缺点,并提供了Python实现代码。在实际应用中,选择合适的优化算法对于解决不同类型的数学问题至关重要。此外,我们还结合了设计模式,提升了代码的灵活性和扩展性,为实际开发提供了可参考的解决方案。

闲人编程的博客 1390

你的OLED屏和MPU6050为啥通信失败?从IIC的7位地址冲突讲起

本文深入解析OLED屏与MPU6050传感器在I2C总线上的通信故障,重点探讨7位地址冲突问题。通过分析I2C协议中的地址分配机制,提供硬件调整和软件调试的完整解决方案,帮助开发者有效排查和解决设备无响应问题。

weixin_26876073的博客 151

Coze离线部署实战:从镜像拉取到服务启动的完整避坑指南

本文提供了一份详尽的Coze平台离线部署实战指南。针对无外网的生产环境,详细讲解了从Docker镜像拉取、打包传输到内网服务器加载的完整流程,并重点剖析了使用docker-compose启动服务时常见的配置错误与权限问题,如文件挂载缺失、网络绑定错误等,提供了经过验证的避坑解决方案,旨在帮助运维和开发人员一次性成功部署。

weixin_29310605的博客 328

深入AOSP构建系统:从BUILD_FINGERPRINT的生成逻辑,看如何定制你的Android设备标识

本文深入解析AOSP构建系统中的设备指纹生成机制,详细介绍了BUILD_FINGERPRINT的生成逻辑及其在Android设备中的关键作用。通过分析多个指纹属性的区别与联系,以及如何定制设备标识,帮助开发者更好地理解和掌握Android系统构建过程。

weixin_27017211的博客 224

三部对接 sora-2:OpenAI 最新视频模型快速接入指南

本文介绍OpenAI最新视频生成模型Sora-2的接入方案,重点解析其Chat格式调用功能。开发者可通过在提示词中嵌入"横屏/竖屏""时长""清晰度"等要求快速生成视频。文章分三部分:1)基础准备(环境配置与API密钥获取);2)核心调用(提供Python/Java示例代码);3)结果查询与优化建议。Sora-2支持多语言调用,简化了视频生成流程,适用于短视频、广告创意等场景。

2501_93565190的博客 3437

别再为SCI论文配图发愁了!手把手教你用PS+AI搞定从数据图到模式图的全流程

本文详细解析了如何利用Photoshop(PS)和Illustrator(AI)高效完成SCI论文配图的全流程,涵盖数据可视化、模式图设计及期刊适配性输出。通过实战案例,帮助科研人员掌握位图与矢量图的处理技巧,提升论文配图质量,满足不同期刊的出版要求。

weixin_28630185的博客 387

保姆级教程:用Python+OpenCV实现相移法与格雷码三维重建(从生成条纹到点云生成)

本文详细介绍了使用Python和OpenCV实现相移法与格雷码三维重建的全流程,从条纹生成到点云计算。通过结构光技术,结合相移法和格雷码,实现高精度的三维重建,适用于无纹理物体表面的密集对应点生成。教程包含环境搭建、条纹生成、相位计算、三维点云重建及常见问题排查,适合计算机视觉开发者和研究人员。

weixin_33443333的博客 352

D类功放几种常见“爆破音”问题根源与改善措施

在数字D类功放刚上电或功放播放状态切换时,人耳偶尔会听到“嘣”的声音,我们把这个爆破的Pop Noise。数字功放Pop Noise 出现的原因有很多,本文主要分析Pop Noise 出现原因,并提供相应解决方法。

qq_26815321的博客 3595

【从零开始学Skynet】实战篇《球球大作战》(一):功能设计

为了能把之前在基础篇中学习到的Skynet的各种知识结合起来,所以在实战篇中,我们准备开发一个完整的游戏案例《球球大作战》,介绍分布式游戏服务端的实现方法。

我是一条寻水的鱼 2986

lwip-2.0.3

lwip是瑞典计算机科学院(SICS)的Adam Dunkels 开发的一个小型开源的TCP/IP协议栈。实现的重点是在保持TCP协议主要功能的基础上减少对RAM 的占用。

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

上一篇: 各种梯度下降
下一篇: 共轭梯度法(Conjugate Gradients)(1)
Yemiekai
博客等级 码龄11年 269粉丝 28原创
评论 3
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值