这是一篇笔记,不是教程。 仅供参考,对与错自行甄别。
牛顿法(Newton’s method)
假如已知函数 f ( x ) f(x) f(x),想要求 f ( x ) = 0 f(x)=0 f(x)=0 的解(或者叫根)。
牛顿法(Newton’s method)大致的思想是:
(1)选一个初始位置 x 0 x_0 x0(这个位置最好是在根的附近);
(2)在这个位置上找一个 f ( x ) f(x) f(x) 的近似函数(通常用泰勒展开);
(3)令近似函数为 0 0 0 ,求解;
(4)以这个解为新的位置 x 1 x_1 x1;
(5)重复上述迭代,到第 n n n 次迭代得到 x n x_n xn,当 ∣ x n − x n − 1 ∣ |x_n - x_{n-1}| ∣xn−xn−1∣ 足够小,结束。
x n x_n xn 就是 f ( x ) = 0 f(x)=0 f(x)=0 的近似解。
下面的解释1是一个比较直观的过程,不过问题的设计不太合理。解释2会好一点。
例子: 求 f ( x ) f(x) f(x) 的极小值。
解释1
假如 f ( x ) f(x) f(x) 长这样:

首先,选一个初始值估计值 x 0 x_0 x0,由于函数已知,带入得到对应的函数值为 f ( x 0 ) f(x_0) f(x0)。
由于函数在该点处可导,可以求得该点的导数为 f ′ ( x 0 ) f'(x_0) f′(x0)。
该点的导数值,就是该点的切线的斜率。
已知一个点和斜率,可以求得直线方程: y − f ( x 0 ) x − x 0 = f ′ ( x 0 ) ⇓ y = f ′ ( x 0 ) ( x − x 0 ) + f ( x 0 ) (1) \dfrac{y-f(x_0)}{x-x_0} = f'(x_0) \\ \Downarrow \\ y = f'(x_0)(x-x_0) + f(x_0) \tag{1} x−x0y−f(x0)=f′(x0)⇓y=f′(x0)(x−x0)+f(x0)(1)
公式(1)即为图中红色直线的方程,其中 x 0 x_0 x0, f ( x 0 ) f(x_0) f(x0), f ′ ( x 0 ) f'(x_0) f′(x0) 都是已知量。
现在,求红色直线与 x x x 轴的交点: x 1 x_1 x1 的值。
往公式(1)带入 y = 0 y=0 y=0 即可。

求得 x 1 = x 0 − f ( x 0 ) f ′ ( x 0 ) x_1 = x_0 - \frac{f(x_0)}{f'(x_0)} x1=x0−f′(x0)f(x0)
把 x 1 x_1 x1 代回原方程,得到对应的函数值 f ( x 1 ) f(x_1) f(x1)。在该点处继续求切线方程,重复上述步骤。

求直线与 x x x 轴的交点,得到 x 2 x_2 x2:

从图中可以看到, f ( x 2 ) f(x_2) f(x2) 已经几乎是极小值了。
实际操作中会判断两次迭代的差值 f ( x n ) − f ( x n − 1 ) f(x_n) - f(x_{n-1}) f(xn)−f(xn−1),如果足够小,就可以结束迭代了。
(这貌似有点像梯度下降)(对于这个问题直接求导数,令导数等于 0 0 0 也可以。)
我这个问题得设计好像有点 bug 。继续迭代会出问题, f ( x 2 ) f(x_2) f(x2) 处可能无法求导, x 3 x_3 x3 也不知道去到哪儿了。如果导数接近于 0 0 0 也可以结束迭代吧。
总之牛顿法的过程大概是这样。具体可以看百度百科或者其它资料。
贴一个维基百科的图:
像这个例子,是对这种 f ( x ) + a = 0 f(x)+a=0 f(x)+a=0 的问题用牛顿法。
解释2
来自知乎:https://zhuanlan.zhihu.com/p/103724149
一维情况
迭代公式:
x n + 1 = x n − f ′ ( x n ) f ′ ′ ( x n ) x_{n+1}=x_n - \dfrac{f'(x_n)}{f''(x_n)} xn+1=xn−f′′(xn)f′(xn)
牛顿法的推导基于二阶可微函数的泰勒展开,以一维函数为例,在 x 0 x_0 x0 处 f ( x ) f(x) f(x) 的泰勒展开:
f ( x ) ≈ f ( x 0 ) + f ′ ( x 0 ) ( x − x 0 ) + 1 2 f ′ ′ ( x 0 ) ( x − x 0 ) 2 \textcolor{#417991}{ f(x)} \approx \textcolor{#D97600}{f(x_0) + f'(x_0)(x-x_0) + \dfrac{1}{2} f''(x_0)(x-x_0)^2} f(x)≈f(x0)+f′(x0)(x−x0)+
像这个例子,是对这种
11万+



被折叠的 条评论
为什么被折叠?



