LLaMA 基本原理深度解析:从三处替换到过训练经济学

o1模型如何重塑LLM推理经济学:Moore’s Law反馈循环解析 大语言模型推理成本长期受制于上下文长度引发的超线性增长,核心瓶颈在于计算、内存与调度三重刚性。随着o1模型引入‘思考token’与‘输出token’解耦机制,首次实现内部推理开销不计费、KV缓存高复用、流式响应可细粒度控管——这标志着LLM推理正从‘按请求计费’迈向‘按有效token计费’。其驱动的Moore’s Law反馈循环,使单位token成本呈现指数级下降趋势,并在长上下文、高准确率、低延迟敏感型场景(如智能客服、法律文书分析)中释放显著技术价值。 阅读详情

0 · 导读:边界与逻辑链

一句话定位:LLaMA 没有发明新架构。它是一个标准的 decoder-only 自回归 Transformer,加上三处组件替换、一个反直觉的训练策略、以及开放权重——最后一点才是它改变行业的原因。

这个判断决定了本文的写法:如果只讲「什么是自回归、什么是注意力」,那是在复述通论;真正属于 LLaMA 的问题是为什么这三个替换能稳定 scale、为什么要用远超 Chinchilla 最优的 token 数去训一个更小的模型、以及这两件事在参数和显存上分别留下什么账。

与工作区已有篇目的分工

已有篇目 已覆盖 本文的做法
llm-deep-dive.md BPE→预训练→SFT→RLHF 全链路、decoder-only 为何赢、谱系对比 不重复链路,只在谱系表补 Llama 3 精确配置
attention-mechanism-deep-dive.md 缩放点积、dk\sqrt{d_k}dk​ ​ 方差论证、softmax 雅可比、多头、因果掩码 不推注意力数学,只讲 RoPE 如何替换位置编码
bpe-wordpiece-deep-dive.md BPE 合并算法与词表账 只提 LLaMA 的两条 tokenizer 工程约定
rlhf-dpo-deep-dive.md SFT / 奖励模型 / DPO 闭式解 只强调 base model 与 chat model 的分界
loss-optimizer-deep-dive.md AdamW 状态与显存账、解耦衰减 只给本文复现所需的超参,不展开优化器
next-token-prediction-deep-dive.md 自回归目标与解码 只写一行目标函数作为记号约定

逻辑链

  1. 定位:先把 LLaMA 拆成「通用骨架」与「LLaMA 特有」两半,避免把别人的贡献算到它头上。
  2. 三处替换:每一处都给数学形式与「为什么这么改」的推导,其中 23⋅4d\frac{2}{3}\cdot4d32​⋅4d 是参数量守恒的直接结果,不是调参玄学。
  3. 过训练经济学:用 D≈20ND\approx20ND≈20N 与 6ND6ND6ND 两把尺子,算清「训练一次的钱」和「部署后每个 token 的钱」之间的交换。
  4. 参数账 / 显存账:逐层加出 6,738,415,6166{,}738{,}415{,}6166,738,415,616,再算 KV cache,说明长上下文为什么倒逼 GQA。
  5. 谱系与边界:LLaMA-1 → 2 → 3 改了什么、没改什么,以及五条最常见的讲错之处。

本文约定:参数账一律忽略偏置与 dropout(LLaMA 的线性层本身无 bias);权重按 fp16 = 2 bytes;GiB = 2^{30} bytes;T = 10^{12} tokens;Chinchilla 最优取常用近似 D≈20ND\approx20ND≈20N。所有「示意」表格是量级说明,不是基准测试。


1 · 定位:LLaMA 不是新架构

1.1 通用骨架:decoder-only 自回归

训练目标只有一行,把序列的联合分布按链式法则拆成逐 token 条件概率:

L(θ)=−1T∑t=1Tlog⁡Pθ ⁣(xt+1∣x1,…,xt) \mathcal{L}(\theta) = -\frac{1}{T}\sum_{t=1}^{T}\log P_\theta\!\left(x_{t+1}\mid x_1,\dots,x_t\right) L(θ)=−T1​t=1∑T​logPθ​(xt+1​∣x1​,…,xt​)

推理时从这个分布里逐 token 采样,把已生成的 token 拼回输入——训练与推理是同构的,这是 decoder-only 相对 encoder-decoder 最大的工程优势。注意力为什么用缩放点积、为什么必须除 dk\sqrt{d_k}dk​ ​、因果掩码怎么加,见 attention-mechanism-deep-dive.md;本文默认这套骨架已知。

骨架上,一个 LLaMA block 的数据流是:

xl′=xl+Attn(RMSNorm(xl)),xl+1=xl′+FFN(RMSNorm(xl′)) x'_{l} = x_l + \mathrm{Attn}\big(\mathrm{RMSNorm}(x_l)\big), \qquad x_{l+1} = x'_{l} + \mathrm{FFN}\big(\mathrm{RMSNorm}(x'_l)\big) xl′​=xl​+Attn(RMSNorm(xl​)),xl+1​=xl′​+FFN(RMSNorm(xl′​))

注意归一化在残差分支之外(pre-norm),两条残差路径从输入到输出是恒等映射,梯度可以不经任何归一化层直接回传——这才是「提高训练稳定性」的确切含义,而不是「RMSNorm 本身更稳」。

1.2 LLaMA 没有发明什么

论文 2.2 节明确写了三处改动及其出处,全部是已有组件的组合:

替换 出处 LLaMA 的动作
pre-normalization + RMSNorm Zhang & Sennrich, 2019;GPT-3 用 pre-norm 把归一化放到子层输入,并换成 RMSNorm
SwiGLU Shazeer, 2020;PaLM 已用 隐藏维度取 23⋅4d\frac{2}{3}\cdot4d32​⋅4d 而非 PaLM 的 4d4d4d
RoPE Su et al., 2021;GPT-Neo 已用 移除绝对位置嵌入,每层给 Q/K 加旋转

所以「LLaMA 提出了新架构」是不准确的。它的贡献是三件事:证明这套组合在 65B 规模上训练稳定、用纯公开数据复现了闭源模型的能力、把权重放出来,让整个开源生态(微调、量化、推理引擎)有了共同的底座。

1.3 两条容易被忽略的 tokenizer 约定

论文 2.1 节:用 SentencePiece 实现的 byte-pair encoding,所有数字拆成单个数字位(1234 → 1,2,3,4),未知 UTF-8 字符回退到字节。前者让数值算术不必为每个数量级单独学一个 token,后者保证 OOV 为 0。词表大小 V=32000V=32000V=32000【官方实现口径】。

1.4 base model 不是助手

LLaMA-1 发布的是基座模型:它只会续写,不会「听话」。能按指令回答问题的是后训练产物(Llama 2-Chat / Llama 3 Instruct),多出来的是 SFT + 偏好优化,不是预训练里学到的知识。这条分界在选型时很实际:拿 base 权重直接当聊天机器人用,观测到的「答非所问」是用法错误,不是模型能力问题。


2 · 三处组件替换的数学

2.1 RMSNorm:省掉的那次均值归约换走了什么

LayerNorm 与 RMSNorm 的形式:

LN(x)=x−μσ2+ϵ⊙g+b,μ=1d∑ixi, σ2=1d∑i(xi−μ)2 \mathrm{LN}(x)=\frac{x-\mu}{\sqrt{\sigma^2+\epsilon}}\odot g + b, \qquad \mu=\frac1d\sum_i x_i,\ \sigma^2=\frac1d\sum_i(x_i-\mu)^2 LN(x)=σ2+ϵ ​x−μ​⊙g+b,μ=d1​i∑​xi​, σ2=d1​i∑​(xi​−μ)2

RMSNorm(x)=x1d∑ixi2+ϵ⊙g \mathrm{RMSNorm}(x)=\frac{x}{\sqrt{\frac1d\sum_i x_i^{2}+\epsilon}}\odot g RMSNorm(x)=d1​∑i​xi2​+ϵ ​x​⊙g

差别有两处:不做 re-centering(不减 μ\muμ)、不要偏置 bbb。ggg 是逐通道增益,可学习。少一次 mean reduce、少一份参数,在每层两次归一化、几十层的规模下是可观的算子开销节省。

代价是不变性的变化。第 8 节 A 组实跑给出:

变换 LayerNorm RMSNorm
x→3xx\to3xx→3x(缩放) ∥Δ∥=2.354×10−7\lVert\Delta\rVert=2.354\times10^{-7}∥Δ∥=2.354×10−7 2.346×10−72.346\times10^{-7}2.346×10−7
x→x+5x\to x+5x→x+5(平移) ∥Δ∥=0\lVert\Delta\rVert=0∥Δ∥=0 2.8409812.8409812.840981

两者对缩放都不敏感(残差 10−710^{-7}10−7 量级完全来自分母里固定的 ϵ\epsilonϵ,ϵ→0\epsilon\to0ϵ→0 时严格为 0);只有 LayerNorm 对加性平移不变。RMSNorm 主动放弃了这一点,赌的是「预激活的均值中心化对 Transformer 并非必要」——后续实践表明这个赌赢了。

2.2 SwiGLU:23\frac{2}{3}32​ 不是玄学,是一行参数量守恒

标准 FFN 与 SwiGLU:

FFNReLU(x)=W2 ReLU(xW1),FFNSwiGLU(x)=(Swishβ(xW1)⊙xW3)W2 \mathrm{FFN}_{\text{ReLU}}(x) = W_2\,\mathrm{ReLU}(xW_1), \qquad \mathrm{FFN}_{\text{SwiGLU}}(x) = \big(\mathrm{Swish}_\beta(xW_1)\odot xW_3\big)W_2 FFNReLU​(x)=W2​ReLU(xW1​),FFNSwiGLU​(x)=(Swishβ​(xW1​)⊙xW3​)W2​

Swish(z)=z σ(z)\mathrm{Swish}(z)=z\,\sigma(z)Swish(z)=zσ(z),σ\sigmaσ 是 sigmoid;⊙\odot⊙ 是逐元素乘,W3W_3W

大语言模型行为指纹:GPT-4、Claude、Llama-2反应逻辑对比 大语言模型的行为模式远不止输出质量,而是其底层架构、对齐机制与训练哲学在真实交互中的自然涌现。从‘模糊提问是否追问’到‘矛盾指令如何设限’,模型的响应选择揭示了RLHF、Constitutional AI与开源事实锚定等核心原理的技术分野。这种行为差异直接决定RAG系统稳定性、AI工作流容错性及提示工程有效性——例如Claude的显性假设机制提升可控性,Llama-2的事实边界声明降低幻觉风险,GPT-4的预判式服务优化人机协同效率。本文基于12个高复现性日常提示,构建可观察、可归因的模型行为对照体系,为产 阅读详情

相关推荐

2小时用RTX3090从零训练GPT级小模型MiniMind

GPT类大语言模型本质上是基于Transformer架构的自回归语言建模系统,其核心原理涵盖RoPE位置编码、SwiGLU激活、分组查询注意力等关键技术。通过模型结构精简(64M参数)、数据集压缩(GB级高质量t2t样本)与硬件精准匹配(RTX 3090+FP16混合精度),可在消费级显卡上实现端到端可复现训练。该技术路径显著降低LLM构建门槛,支撑本地化推理、Agent能力扩展及教育级白盒教学等场景,为开发者提供真正可调试、可理解、可演进的最小可行语言模型(MVP)。

weixin_30527323的博客 340

MMLU评测深度解析:大模型底座能力的诊断方法论

MMLU(大规模多任务语言理解)是当前评估大模型预训练知识覆盖与基础推理泛化能力的核心基准,其零样本、纯选择题、无外部知识的设计逻辑,旨在剥离微调与检索干扰,聚焦模型‘出厂认知底盘’。它不衡量场景可用性,而揭示概念性知识与程序性知识的结合强度,尤其在57个学科构成的认知经纬度网格中,可定位STEM、人文、社科等领域的结构性短板。作为开发者选型参照、产品能力边界解释工具和研究缺陷探测显微镜,MMLU正被广泛用于模型CT扫描式诊断——从子集热力图归因到错误模式聚类,再到与Gemini、GPT-4等主流模型横向对

weixin_30570101的博客 416

Grok 4技术解析:真实推理深度与工业级部署韧性

大语言模型的能力正从‘黑箱表现’转向可测量、可复现的工程化指标。真实推理深度指模型在复杂逻辑链中多步推演、跨知识域缝合的能力;工业级部署韧性则体现为高负载下的延迟稳定性、容错散热设计与API级确定性保障。二者共同构成新一代AI系统的核心技术价值,广泛应用于金融归因分析、工业故障诊断、法律风险推演等对准确性与可追溯性要求严苛的场景。本文深入拆解Grok 4在算力基建、混合专家架构与认知编排引擎三层能力栈中的关键突破,揭示其如何将抽象认知能力转化为可验证的工程输出。

diaocuiguo2493的博客 535

Anthropic Managed Agents架构解析:会话、执行器与沙箱的三层解耦

AI Agent运行时系统正从模型上下文依赖走向独立可控的工程化阶段。其核心在于将‘会话’抽象为持久化事件流,使状态可追溯、可重放;将‘执行器’降维为无状态函数接口,实现跨平台兼容与高可用;将‘沙箱’视为短暂牲畜,保障密钥不落地与零信任安全。这种分层解耦不仅解决了上下文溢出导致的静默失效,更支撑起企业级可观测性、治理策略与垂直场景落地。Anthropic Managed Agents正是这一范式的典型实践,代表了Agent基础设施从黑盒推理向可审计、可编排、可治理的技术演进方向。

weixin_34111790的博客 340

大模型知识层级化训练:从涡旋星系模型到结构化注意力与损失函数设计

在深度学习与自然语言处理领域,大模型的知识表征与组织是核心挑战。传统训练范式下,模型内部知识往往呈现无序状态,导致幻觉频发与逻辑混乱。其原理在于,标准Transformer架构的注意力机制与单一训练目标难以引导知识形成清晰的结构。为了解决这一问题,研究者借鉴了天体物理学的涡旋星系结构,提出了一种层级化知识组织范式。该范式的技术价值在于,通过引入结构化注意力机制与多任务损失函数,在模型内部构建了“核心通用知识”与“领域专业知识”分离协同的体系,从而显著提升模型输出的可靠性、可解释性与推理效率。在应用场景上,这

chulilang8944的博客 383

大模型调优实战:参数、Token、上下文与温度四大核心概念解析

在人工智能领域,大语言模型已成为核心技术之一。其工作原理基于Transformer架构,通过海量数据训练获得强大的语言理解和生成能力。从技术价值看,理解模型的内在机制能让开发者从被动调用者转变为主动的调优者,显著提升应用效果。在实际工程实践中,掌握关键参数调节是优化模型输出的核心。其中,**温度参数**控制着生成文本的随机性与创造性,类似一个“熵值旋钮”;而**上下文长度**则决定了模型单次交互能处理的信息量,是保障对话连贯性与任务完成度的关键。这些概念共同作用于内容生成、智能对话、文档分析等广泛场景。本文

cnmik42448的专栏 401

Deliberative Alignment:大模型安全对齐的审议式推理范式

大语言模型(LLM)的安全对齐长期面临黑箱决策、分布外泛化弱、评估不可见三大瓶颈。Deliberative Alignment并非传统微调或强化学习的延伸,而是一种将安全规范显式嵌入推理过程的结构化机制——它要求模型在生成回答前,必须完成政策定位、条款解析与决策映射三步可验证审议。该方法以‘审慎性’(deliberative)为核心,将抽象合规转化为可编程、可审计、可工程落地的推理模块,显著提升高风险场景(如金融、医疗、内容审核)下的OOD鲁棒性与决策一致性。本文深入解析其原理、三段式流程设计及轻量级落地实

diaocuiguo2493的博客 380

深入解析ffmpeg编码错误:avcodec_send_frame()返回-22的排查与修复

本文深入解析FFmpeg编码中avcodec_send_frame()返回-22(AVERROR(EINVAL))错误的根本原因与系统排查方法。核心问题通常在于编码器未正确打开或上下文传递错误。文章提供了从检查编码器查找、确认avcodec_open2()调用,到验证上下文传递的完整修复指南,并附有可运行的代码示例,帮助开发者快速定位并解决这一常见编码障碍。

weixin_28049429的博客 392

STM32F103新手必看:0.96寸OLED屏幕从接线到动态显示全攻略(附IIC避坑指南)

本文为STM32F103新手提供了0.96寸OLED屏幕从硬件接线到软件驱动的完整实战指南。重点解析了IIC通信的时序、设备地址(0x78/0x7A)的常见陷阱,并详细演示了如何实现字符显示与平滑滚动显示等动态效果,帮助开发者快速上手并避开常见调试难题。

stone的博客 557

QMI8658A与QMC5883L(9轴)评估板实战指南:从硬件连接到数据校准

本文提供了QMI8658A与QMC5883L九轴传感器评估板的完整实战指南。详细介绍了从硬件I2C/USART连接到传感器零偏与地磁校准的关键步骤,并利用上位机实现数据可视化,帮助开发者快速上手9轴姿态传感技术,应用于无人机、机器人等领域。

metaverse5vr的博客 481

在VSCode中使用LaTex+(grammarly语法检测,chatgpt翻译,Sumatra PDF 轻量级pdf阅读器)

整个文章分为以下几个内容,打 * 的是必须要安装的。

u011895157的博客 2万+

Docker 磁盘占用过多问题处理过程记录

Docker 磁盘爆满问题处理

MR.骑士道 3558

5G NR 帧结构

本节主要介绍5G NR中的帧结构[38.211-4.3]。5G帧结构(Frame Structure)为时域结构。其设计比其4G LTE更为灵活,这种灵活性使5G能够根据应用需求(如增强移动宽带eMBB,超高可靠低时延通信URLLC)进行调整,同时支持差异化的应用场景,提高了5G的利用效率与响应能力。具体而言,5G帧结构是基于时隙和OFDM符号设计的,且5G网络能够根据服务需求动态调整各时隙持续时长。

夫子喵的博客 5292

C#上位机+YOLOv8实战:摄像头/视频流实时目标检测(工业级优化+完整可运行源码)

纯C#实现,无Python依赖,适配工业工控机部署;工业级优化:解决帧率、内存、鲁棒性三大核心问题;代码完整可复用,支持摄像头/视频流/RTSP多源检测;避坑指南覆盖开发中90%的常见问题,降低落地成本。相较于传统方案,该方案兼顾实时性与易用性,成本仅为商用视觉库的1/10,可快速落地到工业质检、安防、物流等场景。后续可拓展方向包括:自定义数据集训练、GPU加速推理、工业通信(PLC/串口)对接等。

这里只有干货:从 Modbus 通信到 MES 对接,从 YOLO 训练到工控机部署,带你搞定工业软件开发全流程。 736

【深度学习】什么是自回归模型?

自回归模型是一种重要的时间序列模型,通过利用过去的值来预测当前或未来的值。它在统计学、经济学、自然语言处理等领域有广泛的应用。自回归模型的简单性和可解释性使其成为许多应用的首选,但在更复杂的情况下,可能需要结合其他模型如移动平均模型(MA模型)或混合模型(如ARIMA)来更好地捕捉时间序列中的模式。扩散模型(Diffusion Model)和自回归模型(Autoregressive Model)是两种不同的生成模型,各自有独特的特点和应用场景。

q742971636的博客 1675

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

上一篇: 监督学习、半监督学习、无监督学习
下一篇: 两视图几何与对极约束深度解析:本质矩阵 / 三角化 / 从两帧恢复深度
reset2021
博客等级 码龄5年 567粉丝 428原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

reset2021

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值