一、基础概念
-
人工神经元(节点)
- 核心结构:输入信号、权重(\(w_i\))、偏置(b)、激活函数(f)。
- 数学表达:\(z = \sum w_i x_i + b\),输出 \(a = f(z)\)。
-
网络架构
- 层类型:
- 输入层:接收原始数据。
- 隐藏层:多层非线性变换(核心计算层)。
- 输出层:产生预测结果(如分类概率、回归值)。
- 连接方式:全连接(前馈网络)、卷积(CNN)、循环(RNN)等。
- 层类型:
二、关键技术
1. 激活函数
- 作用:为网络引入非线性,解决线性模型的表达局限。
- 常见类型:
- sigmoid:输出压缩至 (0,1),早期用于分类,但存在梯度消失问题。
- tanh:输出压缩至 (-1,1),梯度表现优于 sigmoid。
- ReLU:修正线性单元(\(f(x)=\max(0,x)\)),缓解梯度消失,广泛用于深层网络。
- Softmax:多分类场景输出概率分布。
2. 反向传播算法(Backpropagation)
- 核心思想:通过链式法则计算损失函数对各层权重的梯度,迭代更新参数以最小化损失。
- 关键步骤:前向传播计算预测值 → 反向传播计算梯度 → 梯度下降更新权重。
3. 优化器
- 作用:更新网络参数以降低损失函数。
- 常见算法:
- 随机梯度下降(SGD)及变体(动量法、Adagrad、Adam 等)。
- 自适应学习率调整策略(如学习率衰减)。
4. 正则化技术
- 目的:防止过拟合,提升泛化能力。
- 方法:
- L1/L2 正则化:向损失函数添加权重的绝对值 / 平方和惩罚项。
- Dropout:训练中随机丢弃部分神经元,减少神经元间依赖。
- 批量归一化(Batch Normalization):标准化各层输入,加速训练并缓解梯度消失。
三、经典网络类型
-
多层感知机(MLP)
- 全连接前馈网络,用于简单分类 / 回归任务(如手写数字识别)。
-
卷积神经网络(CNN)
- 核心特性:
- 卷积层:通过滑动窗口提取局部特征(如图像边缘)。
- 池化层:下采样降低维度,保留关键特征。
- 应用:计算机视觉(图像分类、目标检测)。
- 核心特性:
-
循环神经网络(RNN)
- 结构特点:隐藏层神经元间存在循环连接,捕捉序列依赖(如时间或文本顺序)。
- 变体:LSTM(长短期记忆网络)、GRU(门控循环单元),缓解长序列中的梯度消失问题。
- 应用:自然语言处理(机器翻译、情感分析)、语音识别。
-
生成对抗网络(GAN)
- 对抗训练框架:生成器(生成逼真样本)与判别器(区分真实 / 生成样本)博弈优化。
- 应用:图像生成(如 DeepFake)、数据增强。
四、核心问题与挑战
-
过拟合
- 原因:模型复杂度高、训练数据少。
- 解决:正则化、数据增强、早停(Early Stopping)。
-
梯度消失 / 爆炸
- 深层网络中梯度在反向传播时逐渐衰减或激增。
- 缓解:使用 ReLU 等激活函数、残差连接(ResNet)、权重初始化策略(如 Xavier/Glorot 初始化)。
-
计算资源需求
- 深层网络训练需大量算力(GPU/TPU),模型压缩技术(剪枝、量化、知识蒸馏)成为研究热点。
五、应用场景
- 计算机视觉:图像分类(ResNet)、目标检测(YOLO)、语义分割(U-Net)。
- 自然语言处理:机器翻译(Transformer)、预训练模型(BERT/GPT)、文本生成。
- 语音处理:语音识别(DeepSpeech)、声纹识别。
- 其他领域:医疗诊断(医学影像分析)、自动驾驶(环境感知)、金融预测(时间序列分析)。
六、发展趋势
-
轻量化与边缘计算:模型压缩技术适配移动端设备(如 MobileNet)。
-
自监督学习:利用海量无标注数据预训练(如对比学习、掩码语言模型)。
-
神经符号结合:神经网络与符号逻辑融合,提升可解释性(如知识图谱嵌入)。
-
生物启发新架构:脉冲神经网络(SNN)模拟生物神经元脉冲信号,低功耗特性适用于物联网。
七、MLP简单实验
from sklearn.neural_network import MLPClassifier
from sklearn.model_selection import train_test_split
from sklearn.datasets import make_blobs
from sklearn.metrics import accuracy_score
import matplotlib.pyplot as plt
from matplotlib.colors import ListedColormap
import numpy as np
plt.rcParams["font.family"] = ["SimHei"]
# 生成数据
X, y = make_blobs(
n_samples=500, #生成 500 个样本点
cluster_std=2, #每个聚类的标准差为 2
random_state=9
)
X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=9)
#将数据按默认比例(75% 训练,25% 测试)划分
# MLPClassifier 类创建一个多层感知机分类器实例。
# solver='lbfgs':使用 L-BFGS 优化算法,适用于小数据集。
# alpha=1:L2 正则化参数,用于控制模型的复杂度,防止过拟合。
# fit(X_train, y_train) 方法使用训练数据对分类器进行训练
# 训练MLP模型
mlp = MLPClassifier(solver='lbfgs', alpha=1).fit(X_train, y_train)
# 计算准确率
train_acc = accuracy_score(y_train, mlp.predict(X_train))
test_acc = accuracy_score(y_test, mlp.predict(X_test))
# 定义颜色映射
cmap_light = ListedColormap(['#000000', '#888888', '#FFFFFF'])
cmap_bold = ListedColormap(['#0000FF', '#00FF00', '#FF0000'])
# 生成网格点
X_min, x_max = X_train[:, 0].min() - 1, X_train[:, 0].max() + 1
y_min, y_max = X_train[:, 1].min() - 1, X_train[:, 1].max() + 1
xx, yy = np.meshgrid(np.arange(X_min, x_max, 0.02), np.arange(y_min, y_max, 0.01))
# 预测网格点类别
Z = mlp.predict(np.c_[xx.ravel(), yy.ravel()])
Z = Z.reshape(xx.shape)
# 绘制图形并添加准确率到标题
plt.figure()
plt.pcolormesh(xx, yy, Z, cmap=cmap_light)
plt.scatter(X[:, 0], X[:, 1], c=y, cmap=cmap_bold, edgecolors='k', s=40)
plt.xlim(xx.min(), xx.max())
plt.ylim(yy.min(), yy.max())
# 设置字体大小
plt.title(f"MLP分类器\n训练集准确率: {train_acc:.2%}\n测试集准确率: {test_acc:.2%}", fontsize=12)
plt.xlabel('Feature 1', fontsize=14)
plt.ylabel('Feature 2', fontsize=14)
plt.xticks(fontsize=12)
plt.yticks(fontsize=12)
plt.show()
结果显示

508



被折叠的 条评论
为什么被折叠?



