title: “从认识人工智能到理解机器学习:我的 AI 入门第一课”
series: “人工智能学习笔记”
episode: 1
从认识人工智能到理解机器学习:我的 AI 入门第一课
人工智能学习笔记 · 第一篇
从行业全景到技术原理,记录我对人工智能入门知识的梳理与理解。
写在前面
正式开始学习人工智能之前,我对 AI 的认识其实比较模糊:知道 ChatGPT、知道大模型,也知道现在很多岗位都在谈 AI,但如果有人问我“人工智能到底是什么”“机器是怎么学会识别一只猫的”,我未必能从头到尾讲清楚。
我把入门阶段需要建立的知识分成两个层次:
- 先建立行业全景: 了解人工智能的发展、研究方向、NLP、岗位分工、学习路线和 AI Coding 工具。
- 再理解技术基础: 从机器学习的基本原理出发,逐步认识有监督学习、深度学习、模型训练与评估方法。
把这两个层次连起来,学习路径就比较清楚了:先知道 AI 是什么、能做什么,再理解机器如何从数据中学习规律。下面按照这个顺序梳理。
第一部分:先认识人工智能
1. 人工智能的发展:并不是一夜之间出现的
人工智能的发展经历了多次起伏,并不是从 ChatGPT 出现之后才开始的。
1.1 AI 发展的几个重要阶段
| 时间 | 阶段 | 主要事件 |
|---|---|---|
| 1950 年代 | AI 诞生 | 图灵测试、达特茅斯会议 |
| 1970 年代 | 第一次 AI 寒冬 | 算力与数据不足,技术成果未达到过高预期 |
| 1980 年代 | 专家系统 | 知识工程兴起,出现短暂繁荣 |
| 1990 年代 | 第二次 AI 寒冬 | 规则数量膨胀,系统难以维护 |
| 2000 年代 | 机器学习复兴 | SVM、随机森林和推荐系统逐渐应用 |
| 2012 年 | 深度学习爆发 | AlexNet 在 ImageNet 竞赛中取得突破 |
| 2017 年以后 | 大模型时代 | Transformer 出现,随后 BERT、GPT 等模型发展 |
1.2 两次 AI 寒冬带来的教训
两次 AI 寒冬的原因可以归纳为几个方面:
- 算力不足:当时的计算能力远不如现在。
- 数据不足:缺少大规模标注数据。
- 期望过高:技术还不成熟,投资方和行业却期待过高。
- 规则难以泛化:人工编写的规则无法覆盖现实世界的所有情况。
其中,1980 年代的专家系统是一个典型例子。
专家系统曾经取得过实际成果:
- MYCIN:用于血液病诊断,曾被报道取得了超过部分专科医生的准确率。
- XCON:用于计算机配置,曾为 DEC 节省数千万美元。
但专家系统也有明显局限:规则越来越多,知识更新和维护成本很高;遇到规则之外的情况时,也缺乏处理常识问题的能力。
我的理解: AI 的发展不仅需要技术突破,也需要对技术能力保持合理预期。规则可以解决一部分明确的问题,但现实世界太复杂,单纯依赖人工穷举规则很难覆盖所有情况。
2. 从深度学习到大模型
机器学习在 2000 年代逐渐复兴。之后,深度学习的发展又经历了几个关键节点:
- 2006 年:Hinton 的深度信念网络推动深度学习研究。
- 2009 年:ImageNet 发布,为大规模标注数据提供了条件。
- 2012 年:AlexNet 在 ImageNet 竞赛中取得突破,错误率从传统方法的 26.2% 降到 15.3%。
- 2017 年:Transformer 架构提出。
- 2018 年以后:BERT、GPT-3 等模型推动大模型发展。
- 2022 年:ChatGPT 引发广泛关注。
大模型发展过程中还有几个代表性节点:
- BERT:能够双向理解上下文。
- GPT-3:拥有 1750 亿参数,并展现出少样本学习能力。
- ChatGPT:上线后用户增长很快。
这一阶段的发展趋势是:参数规模扩大,模型能力增强,应用范围扩大,成本逐渐降低。
3. AI、机器学习、深度学习是什么关系?
这三个概念经常一起出现,但它们并不是同一个东西。
| 概念 | 含义 | 代表内容 |
|---|---|---|
| 人工智能(AI) | 让机器表现出智能行为的技术 | 专家系统、搜索算法、知识图谱、机器学习 |
| 机器学习(ML) | 让机器从数据中自动学习规律 | 决策树、SVM、随机森林、神经网络 |
| 深度学习(DL) | 使用多层神经网络学习 | CNN、Transformer、GPT、BERT |
它们之间是包含关系:深度学习属于机器学习,机器学习属于人工智能。
可以用一句话记忆:
- AI 关注的是让机器表现出智能。
- ML 是实现 AI 的一种主流方式,让机器从数据中学习规律。
- DL 是 ML 的一个子集,使用多层神经网络学习。
4. AI 能做什么:六大研究方向
AI 的研究方向可以归纳为六类。
| 研究方向 | 主要任务 | 应用举例 |
|---|---|---|
| 计算机视觉(CV) | 图像分类、目标检测、人脸识别 | 医学影像、人脸识别 |
| 自然语言处理(NLP) | 翻译、对话、摘要、信息抽取、代码生成 | 智能客服、文本生成 |
| 语音技术(ASR/TTS) | 语音识别、语音合成、声纹识别 | 语音助手、语音合成 |
| 强化学习(RL) | 决策序列、奖励反馈 | 游戏博弈、机器人控制 |
| 推荐系统(RecSys) | 协同过滤、内容召回、排序、CTR 预估 | 推荐流、内容推荐 |
| 多模态与具身智能 | 图文融合、视频理解、机器人感知与行动 | 视频理解、机器人 |
这些方向如今都在很大程度上建立在“深度学习 + 大规模预训练”的基础之上,底层技术栈存在较强的共通性。
5. 机器学习成功的三大支柱
机器学习的成功可以用一个公式概括:
AI 成功 = 算力(Compute)+ 数据(Data)+ 算法(Algorithm)
5.1 算力
- CPU 主要以串行方式处理任务,GPU 擅长并行计算。
- 神经网络训练涉及大量矩阵乘法。
- 推理阶段可以通过量化压缩降低成本。
- 代表性的算力硬件包括 A100、H100、TPU 和昇腾等。
5.2 数据
- 数据不仅要有数量,也要有质量。
- 脏数据可能影响模型效果。
- 数据标注仍然需要人工参与,例如 RLHF 中的人类打分。
- 常见的数据来源包括 ImageNet、Common Crawl 和企业私有数据等。
5.3 算法
相关算法与技术包括:
- 模型结构:CNN、RNN、Transformer。
- 损失函数:用于告诉模型应该学习什么。
- 优化器:例如 Adam、SGD。
- 正则化:例如 Dropout、BN,用于防止过拟合。
- 还包括 Scaling Law、Attention、LoRA 和 RLHF。
这三者缺一不可:算力提供计算能力,数据提供学习材料,算法决定模型如何学习。
6. 机器学习的几种学习范式
按照模型如何获得学习信号,可以将学习方式区分为以下几类。
6.1 监督学习(Supervised Learning)
使用带标签的数据训练模型,学习输入到输出的映射关系。
例如:
- 新闻分类。
- 垃圾邮件识别。
- 房价预测。
- 销量预测。
6.2 无监督学习(Unsupervised Learning)
数据没有标签,模型需要从数据自身结构中发现规律。
例如:
- 聚类:用户分群、相似文档归并。
- 降维:PCA、t-SNE。
- 异常检测:风控、故障预警。
6.3 自监督学习(Self-supervised Learning)
标签可以从数据本身构造出来,不需要人工逐条标注。
典型例子包括:
- BERT 的 MLM:挖空填词。
- GPT 系列的 Next-Token Prediction:预测下一个 Token。
自监督学习是大模型预训练的重要基础。
6.4 强化学习(Reinforcement Learning)
通过奖励与惩罚不断试错学习,常见应用包括游戏 AI、机器人控制和自动驾驶。
记忆重点: 监督学习有标签,无监督学习没有标签,强化学习通过奖励与惩罚进行试错,自监督学习则从数据本身构造学习目标。
7. NLP:让机器处理人类语言
NLP(自然语言处理)关注的是让计算机读懂、生成、翻译和处理人类语言,包括文字、语音和代码背后的意义。
7.1 NLP 的常见任务
| 任务 | 主要作用 | 例子 |
|---|---|---|
| 文本分类 | 判断文本属于哪一类 | 垃圾邮件识别、新闻分类 |
| 情感分析 | 判断文本表达的情绪 | 评论情绪、舆情监控 |
| 机器翻译 | 将一种语言转换为另一种语言 | 多语言翻译 |
| 问答系统 | 根据问题提供答案 | 知识库查询、智能客服 |
| 文本摘要 | 提取长文本中的主要内容 | 新闻摘要、会议纪要 |
| 信息抽取 | 从文本中提取结构化信息 | 命名实体识别、关系抽取 |
7.2 大模型给 NLP 带来的变化
大模型给 NLP 带来了四个明显变化:
| 过去 | 现在的趋势 |
|---|---|
| 专一模型 | 通用大模型,一个模型完成翻译、摘要、问答、代码等任务 |
| 需要大量标注 | 少样本或零样本学习 |
| 规则 + 机器学习 | 端到端生成 |
| 特征工程 | 提示工程 |
7.3 NLP 技术演进
| 时间 | 技术阶段 | 代表技术 |
|---|---|---|
| 1990s–2005 | 规则与统计 | 词袋模型、TF-IDF、HMM |
| 2013–2016 | 词向量 | Word2Vec、GloVe、FastText |
| 2014–2018 | 序列模型 | LSTM、GRU、Seq2Seq、Attention |
| 2018–2020 | 预训练 | BERT、GPT-2 |
| 2020 至今 | 大模型 | GPT-3/4、Claude、LLaMA、DeepSeek |
需要特别注意:2017 年提出的 Transformer 是重要转折点。并行训练与注意力机制,使训练超大模型成为可能。
7.4 为什么 NLP 很难?
语言本身存在歧义。
词汇歧义: 同一个词可能有不同含义。
- “他挂了”:可能指电话挂断,也可能有其他含义。
- “苹果最近很火”:可能指 Apple 公司,也可能指水果。
句法歧义: 同一句话,断句方式不同,含义也可能不同。
- “咬死了猎人的狗”可以有不同的断句理解。
- “乒乓球拍卖完了”也可能因为断句不同而产生不同含义。
7.5 从语言模型到大模型
语言模型可以描述为一个概率问题:
P(w1,…,wT)=∏tP(wt∣w<t) P(w_1,\ldots,w_T)=\prod_t P(w_t\mid w_{<t}) P(w1,…,wT)=t∏P(wt∣w<t)
其核心是根据前面的 Token,预测下一个 Token 的概率。
理解语言模型还需要掌握两个重要前置技术:
- Tokenizer / BPE: 将文本切分为子词,影响成本与中文处理效率。
- 预训练 + 微调: 先在通用语料上学习语言,再针对具体任务进行调整。
技术演进可以概括为:
RNN / LSTM → Attention → Transformer → BERT / GPT → 大模型。
这里的关键理解是:语言可以作为通用接口,许多任务都能表达成“输入一段话,输出一段话”。因此,NLP 中的预训练与微调范式后来也被推广到视觉、语音和多模态领域。
第二部分:了解 AI 行业与职业
8. AI 行业有哪些岗位?
AI 行业岗位大致可以分为四个方向。
8.1 算法方向
- NLP 算法工程师
- CV 算法工程师
- 推荐 / 广告算法工程师
- 强化学习工程师
- 大模型工程师
8.2 工程方向
- AI 基础架构工程师
- MLOps 工程师
- 数据工程师
- 模型部署工程师
- AI 平台工程师
8.3 产品与运营方向
- AI 产品经理
- AI 解决方案顾问
- AI 运营专员
- 算法商务 BD
- 数据产品经理
8.4 研究方向
- 机器学习研究员
- NLP 研究员
- CV 研究员
- 理论研究员
研究类岗位通常对科研能力要求较高,往往需要博士背景。
9. 不同 AI 工程师的日常工作
| 岗位 | 主要工作 | 常用工具 |
|---|---|---|
| NLP 算法 | 调研论文、复现实验、数据清洗与标注、模型微调、效果评估、A/B 实验 | Python、PyTorch、HF Transformers |
| CV 算法 | 数据采集与增强、目标检测、图像分割、模型量化与推理优化 | Python、PyTorch、TensorRT |
| 推荐算法 | 特征工程、离线实验、召回与排序模型迭代、指标分析、A/B 实验 | Python、Spark、TensorFlow、Hive |
| 大模型 | 提示工程、效果评估、LoRA/SFT 微调、RLHF、RAG 知识库搭建 | Python、Transformers、vLLM、PEFT |
这些岗位的共同点是:读论文、跑实验、构造和分析数据、写代码。
10. 一个 AI 项目如何协作?
一个典型 AI 项目的团队协作链路如下:
- 产品经理: 定义需求、安排优先级、编写用户故事。
- 数据工程师: 数据采集、清洗标注、特征工程。
- 算法工程师: 模型训练、效果评估、迭代优化。
- 平台工程师: 模型压缩、服务部署、性能调优。
- 测试工程师: 功能测试、压力测试、效果验收。
- 运营人员: 收集用户反馈、监控效果、持续迭代。
大团队与小团队的区别
| 对比 | 大团队(大厂) | 小团队(创业公司 / 小厂) |
|---|---|---|
| 分工 | 更细,专注某个模块 | 算法、部署、分析可能由同一人承担 |
| 流程 | 规范,基础设施完善 | 迭代快,边界相对模糊 |
| 资源 | 相对充足 | 资源可能有限 |
| 成长特点 | 工程规范训练较强 | 更容易接触完整业务链路 |
| 可能的短板 | 分工细,视野可能变窄 | 缺少系统性指导,技术深度可能不足 |
选择大团队还是小团队,并没有绝对答案,关键是看自己当前更需要工程规范训练,还是完整业务链路经验。
11. AI 行业现状与程序员的变化
AI 已经出现了许多国内外代表性企业与产品,应用领域也覆盖教育、医疗、法律、设计和编程等方向。
关于就业市场,可以关注以下几个趋势:
- 算法岗位仍有需求,大模型工程师受到关注。
- AI 应用层开发需求增加,会使用 AI 工具逐渐成为通用技能。
- 行业不只需要会调参的人,也需要理解业务的人。
关于 AI 是否会淘汰程序员,可以把相关工作分成三类:
- 可能被替代的工作: 重复性高、逻辑简单的代码,例如模板化 CRUD、简单脚本和纯翻译需求。
- 被增强的工作: 复杂架构设计、业务理解、调试排错和系统演进。
- 新机会: AI 应用开发、Prompt / Agent 工程、AI 产品经理、数据与评测、AI 工具链与平台。
我更愿意把 AI 理解为一种放大器:它会放大使用者原本的判断力与工程习惯。
12. 如何成为 AI 工程师?
12.1 必备能力
| 能力 | 具体内容 |
|---|---|
| 数学基础 | 线性代数、概率、微积分,先理解基本直觉 |
| 编程能力 | Python、PyTorch、SQL、Linux |
| 机器学习理论 | 经典模型、神经网络、评估指标、实验设计 |
| 工程能力 | 训练调参、模型部署、数据处理、特征工程 |
| 软技能 | 业务理解、读论文、沟通协作与表达 |
12.2 学习路线
- 编程基础: Python、NumPy、Pandas、Matplotlib、Git。
- 机器学习入门: 监督学习经典模型、Scikit-learn、Kaggle。
- 深度学习: PyTorch、CNN/RNN、注意力机制、读论文。
- 方向专攻: 选择 NLP、CV 或推荐方向,复现 SOTA、做项目。
- 工程落地: 部署、推理优化、大模型微调与应用。
12.3 学习资源
可以参考的学习资源包括:
- 入门书:《Python 编程》《统计学习方法》。
- 机器学习课程:Andrew Ng 机器学习课程(Coursera)。
- 深度学习课程:李沐《动手学深度学习》。
- NLP:Hugging Face 课程。
- LLM 实战:Andrej Karpathy 的 YouTube 系列。
- 实践平台:Kaggle、Hugging Face Hub。
- 论文与代码:Papers with Code、GitHub。
12.4 学习建议
- 每天写代码,哪怕只有 30 分钟。
- 用项目驱动学习,不要只停留在观看教学内容。
- 读论文可以先看 Abstract 和实验部分。
- 加入社群,寻找同伴与反馈。
- 不要只看不练,也不要等到 100% 理解之后才开始写代码。
第三部分:机器学习基本原理
了解 AI 的整体图景之后,还需要回答一个更基础的问题:
机器到底是怎么从数据中学会规律的?
13. 什么是机器学习?
先看一个例子:如何让电脑识别照片里是不是一只猫?
传统方式是人工写规则,例如:
“有尖耳朵 + 胡须 + 爪子 → 是猫”。
但猫可能躺着、背对镜头、只露出半张脸,也可能是幼猫或长毛猫。真实世界的情况太多,规则很难穷举。
机器学习换了一种方式:提供大量“猫 / 非猫”的照片,并给每张照片标注答案,让机器从这些例子中发现规律,再判断没见过的新照片。
13.1 传统编程与机器学习的区别
| 方式 | 输入 | 处理方式 | 输出 |
|---|---|---|---|
| 传统编程 | 数据 + 人工编写的规则 | 程序员写出规则 | 结果 |
| 机器学习 | 数据 + 正确答案(标注数据) | 模型自动寻找规律 | 模型 / 规则 |
13.2 机器学习的本质
机器学习的核心可以概括为:
机器学习 = 用数据训练出一个“函数”(模型)。
模型接收输入特征,经过计算,输出预测结果。
训练过程就是不断调整模型参数,让预测值与正确答案之间的差距越来越小。换句话说,就是用数据把一个函数拟合出来。
14. 回归与分类
机器学习中有两类常见任务:回归和分类。
14.1 回归:预测一个连续数值
例子:根据身高预测体重。
基本步骤:
- 收集身高与体重数据。
- 从数据中观察两者的关系。
- 拟合一条合适的直线。
- 输入新的身高,预测对应体重。
线性回归可以表示为:
y^=wx+b \hat{y}=wx+b y^=wx+b
这里的目标是找到合适的参数,使预测结果尽可能接近真实值。
14.2 分类:预测属于哪个类别
例子:判断一封邮件是不是垃圾邮件。
基本步骤:
- 收集邮件,并标记正常邮件和垃圾邮件。
- 提取邮件中的特征词。
- 训练分类器,让模型学习两类邮件的区别。
- 新邮件到来时,由模型判断类别。
分类的输出是离散类别,而不是连续数值。
记忆:回归预测“多少”,分类预测“属于哪一类”。
15. 机器学习的三大类型
| 类型 | 数据特点 | 学习方式 | 典型应用 |
|---|---|---|---|
| 有监督学习 | 有正确答案 / 标签 | 学习输入到输出的映射 | 猫狗分类、房价预测、垃圾邮件过滤 |
| 无监督学习 | 没有标签 | 自己发现数据规律 | 用户分群、异常检测、数据压缩 |
| 强化学习 | 通过奖励与惩罚反馈 | 不断试错学习 | 游戏 AI、机器人控制、自动驾驶 |
此外,还有两种与预训练相关的学习方式:
- 半监督学习: 少量标注数据 + 大量未标注数据。
- 自监督学习: 从数据本身构造标签,例如 BERT 的完形填空任务。
16. 有监督学习:特征与标签
有监督学习使用带有正确答案的数据训练模型。
每条数据可以拆成两部分:
- 特征(Feature): 用来描述数据的属性,是模型的输入。
- 标签(Label): 我们希望模型预测的目标值,也就是正确答案。
16.1 特征是什么?
以贷款审批为例:
| 特征 | 示例 |
|---|---|
| 年龄 | 35 岁 |
| 月收入 | 12,000 元 |
| 工作年限 | 5 年 |
| 是否有房 | 是 |
这几个属性共同构成一个样本的输入,可以表示为向量:
[35, 12000, 5, 1] [35,\ 12000,\ 5,\ 1] [35, 12000, 5, 1]
16.2 标签是什么?
在上面的例子中,“是否批准贷款”就是标签。
也就是说:
- 年龄、月收入、工作年限、是否有房:输入特征。
- 是否批准贷款:希望预测的输出标签。
有了特征和标签,模型就可以学习它们之间的映射关系。
17. 三种经典监督学习算法
17.1 线性回归(Linear Regression)
线性回归主要用于回归任务,也就是预测连续数值。
它的核心思想是:根据已有数据,找到一条合适的直线,再用这条直线预测新数据。
假设函数:
y^=w⋅x+b \hat{y}=w\cdot x+b y^=w⋅x+b
训练目标是最小化均方误差(MSE):
MSE=1n∑(y^i−yi)2 MSE=\frac{1}{n}\sum(\hat{y}_i-y_i)^2 MSE=n1∑(y^i−yi)2
误差越小,说明预测值与真实值越接近。
17.2 逻辑回归(Logistic Regression)
名字里有“回归”,但它主要用于分类任务。
逻辑回归有几个关键特点:
- 输出是 0 到 1 之间的概率值。
- Sigmoid 函数将任意实数压缩到 (0,1)。
- 可以设置阈值,例如 0.5,判断样本属于正类还是负类。
- 可以通过调整阈值改变精确率与召回率。
- 模型通过决策边界区分不同类别。
对比:线性回归预测数值,逻辑回归预测类别。
17.3 决策树(Decision Tree)
决策树可以理解为一系列 if-else 判断。
- 每个节点提出一个问题。
- 每条分支对应一个答案。
- 叶节点给出最终分类结果。
例如,判断今天是否去打网球:
- 先判断天气是否晴朗。
- 再根据湿度等条件继续判断。
- 最后得出打球或不打球的结果。
决策树直观、容易理解,可解释性强。但单棵决策树容易过拟合,因此还可以使用随机森林和梯度提升树等集成方法。
18. 有监督学习的完整流程
一个有监督学习项目通常可以分为六步:
- 收集数据: 尽量保证数据数量和质量。
- 标注数据: 为数据添加正确答案。
- 选择模型: 例如线性模型、树模型或神经网络。
- 训练模型: 反复迭代优化。
- 评估效果: 在测试集上评估模型。
- 部署使用: 将模型上线,提供服务。
需要特别注意:数据质量决定模型上限,模型只是工具;其中数据标注往往是成本较高、耗时较长的一步。
第四部分:深度学习
19. 深度学习从何而来?
深度学习发展过程中有几个重要节点:
| 时间 | 事件 |
|---|---|
| 1943 年 | McCulloch 与 Pitts 提出神经元数学模型 |
| 1986 年 | 反向传播算法提出,使多层网络可以训练 |
| 2012 年 | ImageNet 突破,深度学习一战成名 |
| 2016 年 | AlphaGo 击败冠军,强化学习受到广泛关注 |
| 2017 年 | Transformer 架构提出 |
| 2022 年 | ChatGPT 引发关注,大模型时代开启 |
深度学习发展的重要条件包括:大数据、强算力和更好的算法。
20. 从生物神经元到人工神经元
人工神经网络的设计受到人脑神经元连接方式的启发。
20.1 生物神经元的组成
- 树突(Dendrites): 接收来自其他神经元的信号。
- 细胞体(Cell Body): 处理和整合输入信号。
- 轴突(Axon): 将信号向外传递。
- 突触(Synapse): 将信号传给下一个神经元。
这里的关键机制是:输入信号经过加权求和,如果超过一定阈值,神经元就会激活并传递信号。
20.2 人工神经元
人工神经元包含三个重要部分:
| 名称 | 作用 |
|---|---|
| 权重(Weight) | 表示每个输入的重要程度,可以为正或负 |
| 偏置(Bias) | 调整激活阈值的常数项 |
| 激活函数(Activation) | 决定如何激活,并引入非线性 |
人工神经元可以表示为:
y=f(x1w1+x2w2+x3w3+b) y=f(x_1w_1+x_2w_2+x_3w_3+b) y=f(x1w1+x2w2+x3w3+b)
因此,人工神经元的核心可以概括为:
加权求和 + 非线性变换。
21. 从一个神经元到神经网络
神经网络由多个神经元连接组成,通常可以分为三层:
- 输入层: 接收原始数据,例如像素、文字等。
- 隐藏层: 自动提取特征和规律,可以有多层。
- 输出层: 给出最终预测结果,例如分类概率或数值。
每一层的神经元都会执行加权求和、激活,再把结果传给下一层。
网络层数越多,网络就越深,也就有机会学习更复杂的规律。以图像识别为例:特征可以从像素逐层抽象到边缘、部件,最后到物体。
浅层网络与深层网络
| 对比项 | 浅层网络 | 深层网络 |
|---|---|---|
| 隐藏层数量 | 1~2 层 | 数十甚至数百层 |
| 处理能力 | 简单任务 | 图像、语音、文本等复杂任务 |
| 特征提取 | 需要人工设计特征 | 自动学习并逐层抽象 |
| 代表算法 | 传统机器学习 | CNN、RNN、Transformer |
22. 神经网络如何学习?
神经网络如何学习,是理解深度学习的关键。完整训练过程可以串成:
正向传播 → 损失函数 → 反向传播 → 梯度下降 → 重复迭代。
22.1 正向传播(Forward Propagation)
正向传播的过程:
- 输入数据。
- 数据从输入层逐层传向隐藏层和输出层。
- 每一层进行加权求和,并经过激活函数。
- 最终得到预测结果。
需要注意:正向传播只负责算出答案,还不能判断答案是否正确。
22.2 损失函数(Loss Function)
损失函数用于衡量预测值与真实值之间的差距。
- 差距越大,说明预测越不准确。
- 损失函数把模型当前的错误程度量化成一个数值。
- 训练的目标是尽可能降低损失值。
常见的两种损失函数是:
回归:均方误差(MSE)
MSE=1n∑(y^−y)2 MSE=\frac{1}{n}\sum(\hat{y}-y)^2 MSE=n1∑(y^−y)2
分类:交叉熵损失
L=−∑y⋅log(y^) L=-\sum y\cdot\log(\hat{y}) L=−∑y⋅log(y^)
22.3 反向传播(Backpropagation)
反向传播根据损失值,从输出层向前计算各个权重的梯度。
反向传播可以分为几个步骤:
- 计算预测值与真实值之间的损失。
- 将误差信号从输出层向前传递。
- 通过链式法则计算每个权重对应的梯度。
- 根据梯度更新权重。
- 重复以上过程。
它的核心是:从输出层的误差出发,逐层向回计算每个权重的梯度。
22.4 梯度下降(Gradient Descent)
梯度下降负责根据梯度调整参数,让损失逐渐降低。
可以把梯度下降想象成“蒙着眼在山地里寻找最低点”:
- 感受当前位置的坡度,也就是梯度。
- 朝着下坡方向走一小步。
- 重复这个过程,逐渐接近最低点。
每一步的大小由**学习率(Learning Rate)**决定:
- 学习率太大:步子太大,可能跨过最低点,导致损失震荡。
- 学习率适中:能够比较稳定地下降。
- 学习率太小:每一步太小,训练速度很慢。
把正向传播、损失函数、反向传播和梯度下降连接起来,就是神经网络的完整训练循环。
23. 从神经网络到大语言模型
GPT 系列的发展中有几个代表性节点:
| 模型 | 时间 | 主要特点 |
|---|---|---|
| GPT-1 | 2018 年 | 基于 Transformer 的预训练语言模型 |
| GPT-2 | 2019 年 | 1.5B 参数,能够生成连贯文章 |
| GPT-3 | 2020 年 | 175B 参数,展现零样本学习能力 |
| ChatGPT | 2022 年 | GPT-3.5 + RLHF,对话能力大幅提升 |
ChatGPT 的对话能力提升,与大量人类对话数据和人类反馈强化学习(RLHF)有关。
深度学习部分的核心总结:
- 神经网络受到大脑启发,由神经元层层连接。
- 训练过程包括正向传播、反向传播和梯度下降。
- CNN 常用于图像任务,RNN/LSTM 常用于序列任务,Transformer 则具有较强的通用性和建模能力。
- 大语言模型是基于大量数据训练的 Transformer 模型。
第五部分:机器学习的核心概念
24. 数据集:训练、验证与测试
模型学习离不开数据集。“Garbage in, Garbage out”提醒我们:如果输入的数据质量不好,模型效果也会受到影响。
常见的数据集分为三类:
| 数据集 | 作用 | 是否用于学习参数 |
|---|---|---|
| 训练集(Training Set) | 让模型学习数据中的规律 | 是 |
| 验证集(Validation Set) | 监控训练效果、调整超参数 | 否 |
| 测试集(Test Set) | 最后评估模型的真实水平 | 否 |
数据集可以采用不同的划分比例,例如训练集 60%~70%、验证集约 15%、测试集 15%~25%;也给出了训练集 75%、测试集 25% 的简单划分示例。
需要记住三者的分工:
- 训练集用于学习模型参数,例如权重和偏置。
- 验证集用于选择超参数,例如学习率和网络层数。
- 测试集只用于最终报告模型表现,训练和调参过程中不应使用它。
25. 过拟合与欠拟合
25.1 过拟合(Overfitting)
过拟合可以类比为学生死记硬背:
- 训练题目和答案都记住了。
- 原题可以答对。
- 题目稍微变化,就无法正确回答。
在机器学习中,过拟合表现为训练集效果很好,但测试集效果较差。例如,训练集准确率达到 99%,测试集准确率却只有 65%。
原因是模型不仅学到了规律,还记住了训练数据中的噪声和特殊情况,导致泛化能力不足。
25.2 欠拟合(Underfitting)
欠拟合是模型太简单,没有学到有效规律,因此训练集和测试集上的效果都不好。
25.3 三种状态对比
| 状态 | 训练集表现 | 测试集表现 | 特点 |
|---|---|---|---|
| 欠拟合 | 差 | 差 | 没有学到有用规律 |
| 理想状态 | 好 | 好 | 学到规律,泛化能力较强 |
| 过拟合 | 好 | 差 | 记住训练数据,泛化能力不足 |
目标不是让模型无限复杂,而是找到模型复杂度与数据量、任务难度之间的平衡。
26. 偏差与方差
- 偏差(Bias): 预测值与真实值之间的系统性偏差。
- 方差(Variance): 模型对不同数据集的敏感程度。
偏差与方差可以组合成四种情况:
| 偏差 | 方差 | 状态 |
|---|---|---|
| 低 | 低 | 理想状态:预测准确且稳定 |
| 低 | 高 | 过拟合:平均表现较好,但波动大 |
| 高 | 低 | 欠拟合:结果稳定,但存在系统性偏差 |
| 高 | 高 | 较差状态:既有偏差,又不稳定 |
需要注意,模型越复杂,偏差通常越低、方差越高;模型越简单,偏差通常越高、方差越低。实际工程中需要找到平衡点。
27. 如何解决过拟合?
常见的缓解方法有五种:
- 获取更多数据: 增加训练数据,让模型不容易只记住少量样本。
- 数据增强: 例如对图片进行翻转、裁剪和旋转。
- 正则化(L1/L2): 对过大的权重进行惩罚,避免模型过于复杂。
- Dropout: 训练时随机关闭部分神经元,避免模型过度依赖某些路径。
- 早停(Early Stopping): 验证集效果不再提升时,提前停止训练。
一种可参考的尝试顺序是:获取更多数据 → Dropout → 正则化 → 早停。
28. 交叉验证(Cross-Validation)
K 折交叉验证会把数据分成 K 份,每次使用其中一份作为验证集,其余部分作为训练集。
重复 K 次之后,取多次结果的平均值。
优点:
- 更充分地利用数据。
- 评估结果通常更可靠。
- 数据量较少时尤其有用。
缺点:
- 需要训练 K 次模型。
- 计算开销会明显增加。
- 数据量和模型规模较大时,通常不一定采用交叉验证。
29. 参数与超参数
这两个概念容易混淆。
| 概念 | 含义 | 例子 |
|---|---|---|
| 参数(Parameter) | 模型训练过程中自动学习得到 | 权重、偏置、卷积核数值 |
| 超参数(Hyperparameter) | 训练前由人设定 | 学习率、隐藏层数量、每层神经元数量、Epoch、Batch Size |
记忆方式:
参数是模型“学”出来的,超参数是人“调”出来的。
30. Batch 与 Epoch
Batch(批次)
Batch 指每次更新权重时使用的数据量。
- Batch Size = 1:随机梯度下降(SGD),更新噪声较大。
- Batch Size = 32/64:Mini-batch,常用于平衡效率与稳定性。
- Batch Size = 全部数据:全批次训练,内存消耗较大,更新次数较少。
Epoch(轮次)
一个 Epoch 表示模型完整看过一次训练集。
它们之间的关系可以表示为:
权重更新次数=数据集大小Batch Size×Epoch 数 \text{权重更新次数}= \frac{\text{数据集大小}}{\text{Batch Size}} \times \text{Epoch 数} 权重更新次数=Batch Size数据集大小×Epoch 数
两者的区别:
- Batch Size 影响训练速度与稳定性。
- Epoch 影响训练是否充分。
31. 模型评估:混淆矩阵
分类任务中,可以通过混淆矩阵统计模型预测结果。
| 名称 | 含义 |
|---|---|
| TP(真正例) | 实际为正,预测也为正 |
| FN(假负例) | 实际为正,预测为负 |
| FP(假正例) | 实际为负,预测为正 |
| TN(真负例) | 实际为负,预测也为负 |
31.1 准确率(Accuracy)
Accuracy=TP+TN总样本数 Accuracy=\frac{TP+TN}{总样本数} Accuracy=总样本数TP+TN
准确率表示预测正确的样本占总样本的比例。
但当类别极度不平衡时,准确率可能产生误导。例如负样本占 99%,模型全部预测为负,也能得到 99% 的准确率。
31.2 精确率(Precision)
Precision=TPTP+FP Precision=\frac{TP}{TP+FP} Precision=TP+FPTP
它关注的是:所有被预测为正的样本中,有多少是真的正样本?
以垃圾邮件检测为例:不能轻易把正常邮件判成垃圾邮件。
31.3 召回率(Recall)
Recall=TPTP+FN Recall=\frac{TP}{TP+FN} Recall=TP+FNTP
它关注的是:所有实际为正的样本中,有多少被模型找出来了?
以癌症筛查为例:需要尽可能避免漏掉患者。
精确率和召回率通常需要根据业务场景进行权衡。调整分类阈值,可能使一个指标上升、另一个指标下降。
31.4 F1 分数
F1=2×Precision×RecallPrecision+Recall F1=2\times\frac{Precision\times Recall}{Precision+Recall} F1=2×Precision+RecallPrecision×Recall
F1 是精确率和召回率的调和平均数。它更重视两个指标中较低的那个,因此两个指标都高时,F1 才会比较高。
记忆口诀:
- 精确率:报得准不准。
- 召回率:有没有漏掉。
- F1:两者是否均衡。
第六部分:无监督学习简介
32. 什么是无监督学习?
有监督学习需要带标签的数据,而无监督学习使用没有标签的数据。
无监督学习的目标是:让机器自己从数据中发现结构和规律。
主要任务包括:
- 聚类。
- 降维。
- 异常检测。
33. 聚类:K-Means 算法
K-Means 是一种经典的聚类算法。
它的基本步骤:
- 随机初始化: 随机选择 K 个点作为初始聚类中心(Centroid)。
- 分配归属: 每个数据点归到距离最近的中心。
- 更新中心: 重新计算每组数据点的平均位置。
- 重复迭代: 重复分配和更新,直到聚类中心不再变化。
常见应用包括用户分群、新闻主题归类和图像压缩。
需要记住它的两个特点:
- K 需要人工指定。
- 聚类结果会受到初始中心的影响。
34. 降维:PCA(主成分分析)
为什么需要降维?
降维主要有三个原因:
- 维度灾难: 特征越多,需要的数据量可能快速增长。
- 冗余特征: 一些特征高度相关,提供的信息重复。
- 难以可视化: 人类更容易理解二维或三维数据,高维数据不容易直观观察。
PCA 的作用是:找到数据中最重要的方向(主成分),把高维数据压缩到低维,同时尽量保留大部分信息。
可以把它理解成将一个三维物体投影到二维平面:数据更容易处理和观察,但投影过程中可能损失一部分信息。
第七部分:AI Coding 工具与学习路线
35. AI 编程工具的三个阶段
AI Coding 工具的发展可以大致分成三代。
| 阶段 | 时间 | 代表工具 | 上下文与产出 | 人的角色 |
|---|---|---|---|---|
| 第一代:代码补全 | 2021–2023 | GitHub Copilot | 当前文件,生成一行或一段代码 | 人写主体,AI 猜下一行 |
| 第二代:对话式编程 | 2023–2025 | Cursor、Trae | 打开的文件与检索片段,生成多文件 diff | 人提需求,AI 修改多个文件 |
| 第三代:自主 Agent | 2025–2026 | Claude Code、Codex、dsh | 整个仓库与终端,交付可运行改动和验证结果 | 人设定目标,AI 读取代码、运行测试 |
真正的分水岭不只是模型能力,还包括 Harness。
Harness 涉及:
- 工具执行权: 能不能读取文件、写入文件、运行 Shell。
- 自主循环: 能不能多轮执行“思考—行动—观察”,直到任务完成。
可以用下面这个关系来理解:
Agent = 模型(负责推理)+ Harness(负责工具、权限、上下文和循环)。
36. 四类 AI Coding 工具
36.1 终端 CLI Agent
代表:Claude Code、Codex CLI、dsh、Kimi Code CLI、opencode。
- 上下文:整个代码仓库与 Shell。
- 产出:批量修改和测试结果。
- 适合:重构、修复 Bug、运行测试、提交 PR。
36.2 IDE 集成工具
代表:Trae、Cursor、GitHub Copilot、Windsurf。
- 上下文:打开的文件与代码索引。
- 产出:行内补全和多文件 diff。
- 适合:日常编码、细粒度调试和重构。
36.3 云端 / Web Agent
代表:Codex 云端、Copilot coding agent、Cursor Cloud。
- 上下文:用户授权的代码仓库。
- 产出:异步执行任务并提交 PR。
- 适合:分配一个 Issue,之后查看执行结果。
36.4 Agent 办公台
代表:WorkBuddy、CodeBuddy、Kimi Work。
- 上下文:本地文件、文档和多模态输入。
- 产出:文档、表格、PPT、图片等。
- 适合:非纯代码任务和多 Agent 并行工作。
需要注意:四类工具并不互斥,成熟的使用方式可以是“CLI 干重活 + IDE 干细活”。此外,还有 MCP、ACP、Skills 三个开放标准。
37. 代表性 AI Coding 工具
Claude Code、OpenAI Codex、DeepSeek Harness、Kimi Code CLI、Trae、WorkBuddy 等工具,在上下文、执行权限、子 Agent、沙箱、开源策略、模型支持和适用场景等方面各有侧重。
这里不展开做产品测评,先抓住它们各自的定位与特点:
- Claude Code:终端原生,强调全仓库上下文、工具执行权、子 Agent、Skills、Hooks 和 Plan Mode。
- OpenAI Codex:包括本地 CLI 与云端 Agent 两种形态,其特点包括沙箱执行、审批分级和异步交付。
- DeepSeek Harness(dsh):它可以被理解为可组装的 Agent 运行基座,强调插件化和实现的可读性。
- Kimi Code CLI:终端 Agent,其功能涉及多个子 Agent、视频输入、MCP 配置和 ACP 支持。
- Trae:AI IDE,其中还包括 SOLO 模式。
- WorkBuddy:桌面智能体工作台,主要面向办公任务,而不是单纯的编程工具。
38. AI 编程效率:不能只看乐观的一面
看待 AI 编程,既要看到积极的一面,也要保持清醒。
积极的一面包括:
- Stack Overflow 2025 调查中提到 84% 的开发者正在使用或计划使用 AI 工具。
- DORA 2025 报告中提到 AI 采用率较高的团队交付吞吐量更高。
- 真实仓库任务中的 Agent 能力也已经明显提升。
需要清醒的一面包括:
- METR 2025 年的一项随机对照实验显示:部分资深开发者使用 AI 后,完成真实 Issue 的耗时反而增加。
- 需要注意,AI 采用率较高的团队,交付不稳定度也可能上升。
- AI 带来的收益与任务类型有关:新项目脚手架和陌生技术栈可能收益较大,深层架构修改和遗留系统任务的收益可能较小。
目前,AI 仍较难独立处理的工作包括:
- 定义问题。
- 拆解任务与架构决策。
- 判断结果是否正确。
- 理解业务和遗留系统中的隐性约束。
因此,更合理的使用方式不是简单地“让 AI 替我写”,而是由人设定目标和验收标准,让 AI 执行,再由人进行 Review。
第八部分:后续学习路线与复习清单
39. 后续学习 Roadmap
接下来的学习可以围绕以下技术方向展开:
AI 全貌与技术底座
- AI 行业全景。
- AI / ML / DL 关系。
- 机器学习范式。
- AI 发展简史、两次寒冬、专家系统。
- 深度学习到大模型的发展。
深度学习原理
- 前向传播与反向传播。
- Softmax 与交叉熵。
- Embedding、池化、归一化、优化器。
语言模型与 NLP
- RNN / LSTM、困惑度。
- Tokenizer / BPE。
- Transformer、Self-Attention。
- BERT 预训练。
- 文本分类、序列标注、文本匹配。
LLM 工程化与 Agent
- OpenAI 兼容接口、流式输出、断路器、故障转移。
- KV Cache、vLLM、约束解码、量化。
- RAG:分块、本地 Embedding、混合检索、重排、幻觉控制。
- Function Call、MCP、CLI。
- Agent、Skills、ReAct 循环、记忆与自主调度。
- 自进化、GraphRAG、MoE/MLA、RLHF/GRPO。
还有三条值得贯穿后续学习的对比主线:
- 判别式 vs 生成式。
- 检索 vs 生成。
- 单轮工具调用 vs 多轮自进化 Agent。
40. 本篇复习清单
下面这份清单提取了本文的核心内容,方便之后自测。
核心掌握
- 能说清 AI、ML、DL 三者之间的包含关系。
- 能按时间梳理 AI 发展中的两次寒冬、深度学习爆发和大模型发展。
- 能说出 AI 的六大研究方向及典型任务。
- 能解释算力、数据、算法三大支柱分别发挥什么作用。
- 能区分监督学习、无监督学习、强化学习和自监督学习。
- 能解释 NLP 的常见任务,以及语言中的词汇歧义和句法歧义。
- 能说出机器学习与传统编程的区别。
- 能区分特征与标签。
- 能区分回归与分类,并说明线性回归、逻辑回归、决策树的基本作用。
- 能说出有监督学习的六步工作流程。
- 能解释人工神经元中的权重、偏置和激活函数。
- 能说清输入层、隐藏层和输出层的作用。
- 能按顺序讲清正向传播、损失函数、反向传播和梯度下降。
- 能区分训练集、验证集和测试集。
- 能区分过拟合与欠拟合,并说出常见的缓解方法。
- 能区分参数与超参数、Batch 与 Epoch。
- 能解释 Accuracy、Precision、Recall 和 F1。
- 能说出 K-Means 的基本步骤和 PCA 的作用。
- 能说出 AI Coding 三代工具的区别、四类工具的职责。
- 能解释 Agent = 模型 + Harness 这一关系。
拓展了解
- MYCIN、XCON、AlexNet、BERT、GPT-3 等发展案例。
- ImageNet、Common Crawl 等数据集名称。
- Adam、SGD、Dropout、BN、LoRA、RLHF 等技术名称。
- Word2Vec、GloVe、FastText、HMM、LSTM、GRU 等 NLP 技术。
- AI 行业岗位、团队协作方式和大厂 / 小厂差异。
- 了解代表性 AI Coding 产品及其特点。
- 了解后续 Roadmap 中的技术主题。
写在最后:这一篇,我应该带走什么?
回顾这一篇的内容,我认为最重要的不是记住多少模型名称,也不是把所有技术缩写背下来,而是先建立一张相对完整的知识地图:
- 从行业角度看: AI 有不同研究方向,也对应不同岗位和团队分工。
- 从学习原理看: 机器学习的核心是从数据中学习规律,而不是由人把所有规则写出来。
- 从深度学习看: 神经网络通过正向传播得到预测,再通过损失、反向传播和梯度下降不断调整参数。
- 从工程角度看: 数据、模型、评估和部署共同构成机器学习项目;AI Coding 工具也需要人的目标设定与结果检查。
这只是 AI 学习的起点。至少现在,当我再看到“机器学习”“深度学习”“大模型”这些词时,应该能够把它们放回到一张知识地图里,而不是只记得它们都很热门。
第一篇先到这里。下一步,继续深入理解深度学习的基本原理。
2万+



被折叠的 条评论
为什么被折叠?



