深度学习笔记（四）

知命知录2025-08-222026-02-27

梯度下降法与局部最优解

在深度学习过程中，避免不了使用梯度下降算法。但是对于“非凸问题”，训练得到的结果往往可能陷入局部极小值，而非全局最优解。那么这里就以Himmelblau 函数为例，探究待优化参数的初始值对梯度下降方向的影响，从而得到不同的局部极小值。
首先介绍一下Himmelblau 函数：在这里插入图片描述

下图为 Himmelblau 函数的等高线，大致可以看出，它共有 4 个局部极小值点，并且局部极小值都是 0，所以这 4 个局部极小值也是全局最小值。我们可以通过解析的方法计算出局部极小值坐标，他们分别是(3,2), (−2 805,3 131), (−3 779,−3 283), (3 584,−1 848)。

在这里插入图片描述

在已经知道极小值解的情况下，我们现在来用梯度下降算法来优化 Himmelblau 函数的数值极小值解。

程序清单：

import tensorflow as tf
import numpy as np
import matplotlib.pyplot as plt
from mpl_toolkits.mplot3d import Axes3D

def himmelblau(x):
    return (x[0]**2 + x[1] - 11)**2 + (x[0] + x[1]**2-7)**2
x = np.arange(-6, 6, 0.1)
y = np.arange(-6, 6, 0.1)
print('x,y range:', x.shape, y.shape)
X, Y = np.meshgrid(x, y)  # 生成x-y平面网格点，方便可视化
print('X,Y maps:', X.shape, Y.shape)
Z = himmelblau([X, Y])  # 调用函数，计算函数值
fig = plt.figure('himmelblau')
ax = fig.gca(projection='3d')
ax.plot_surface(X, Y, Z)  # 绘制3D图形
ax.view_init(60, -30)
ax.set_xlabel('x')
ax.set_ylabel('y')
ax.set_ylabel('z')
plt.show()

x = tf.constant([4., 0.])  # 初始化参数（下面的实验只需要改这一行的参数）

for step in range(200):
    with tf.GradientTape() as tape:  # 梯度跟踪
        tape.watch([x])  # 加入梯度跟踪列表
        y = himmelblau(x)  # 向前传播
    grads = tape.gradient(y, [x])[0]  # 梯度计算
    x -= 0.01*grads  # 梯度下降
    if step % 20 == 19:
        print('step{}: x,y={}; H(x,y)={}'.format(step, x.numpy(), y.numpy()))