【深度学习】深度学习的四大组件

深度学习各层负责什么内容? 深度学习(Deep Learning)(也称为深度结构学习【Deep Structured Learning】、层次学习【Hierarchical Learning】或者是深度机器学习【Deep Machine Learning】)是一类算法集合,是机器学习的一个分支。深度学习方法近年来,在会话识别、图像识别和对象侦测等领域表现出了惊人的准确性。但是,“深度学习”这个词语很古老,它在1986年由Dechter在机器学习领域提出,然后在2000年有Aizenberg等人引入到人工神经网络中。 阅读详情

这四大组件就是:

  • 层
  • 输入数据和标签
  • 损失函数
  • 优化器

在这里插入图片描述

这四者的关系描述如下:

多层组合在一起形成了网络,网络的目的是将输入数据映射为预测值,通过损失函数将预测值和目标值比较,得出损失值,用来衡量网络的性能,而优化器的职责是迭代优化损失值来更新网络权重(BP算法)。

层:构建网络的乐高积木

深度学习模型的最常见用法是层的线性堆叠,将单一输入映射为单一输出,即数据从一端进,然后从另一端出。

但是这不是唯一,还有其他的网络拓扑类型,比如:

  • 双分支网络
  • 多头网络
  • Inception模块

在机器学习的定义中我们已经学过,机器学习是在一个预先定义好的假设空间中,利用反馈信号来寻找对输入数据的有用的表征。网络的拓扑结构定义了一个假设空间。

这个假设空间就被限定为一系列特定的张量计算,我们为了做好深度学习模型,就需要为这些张量计算的权重找到一组合适的值。

选择正确的网络架构更像是一门艺术而不是科学。虽然有一些最佳的实践和原则,但只有动手实践才能成为合格的神经网络架构师。

损失函数与优化器

在确定了网络架构以后,还需要选择两个参数:

  • 损失函数:也叫目标函数,训练的目标就是最小化这个函数,同时损失函数也是当前训练任务是否完成的衡量标准
  • 优化器:决定的是如何基于损失函数对网络进行更新,一般用随机梯度下降SGD或者某个变体

有多个输出的神经网络可能具有多个损失函数,即每个输出对应一个损失函数,但是梯度下降必须基于单个标量损失值。所以,针对具有多个损失函数的网络,我们需要将所有损失函数取平均,使其成为单个标量值。

**选择正确的目标函数对解决问题极其重要。**如果目标函数与完成当前任务不是完全相关,则网络得出的结果很可能不符合预期。

那选择损失函数有哪些经验指导呢?

对于分类、回归、序列预测等问题,都有很好的指导原则来帮助我们选择正确的损失函数。比如:

  • 二分类问题:可以用二元交叉熵(binary crossentropy)损失函数
  • 多分类问题:可以用分类交叉熵(categorical crossentropy)损失函数
  • 回归问题:可以用均方误差(mean-squared error)
  • 序列学习问题:可以用联结主义时序分类(CTC, connectionist temporall classification)损失函数

所以对于绝大部分问题,都已经有了损失函数的选择原则,除非是真的全新的问题,才需要自主开发目标函数。

换句话说,如果你开发的目标函数比现有的经验好,绝对是一篇重量级的论文。

END.

参考:

《Deep Learning with Python》

深度学习实战指南:基于Python与Keras的核心技术精讲 有时候你需要一些特殊功能,比如动态缩放某个分支的输出,或者实现某种注意力机制。这时候就得自己动手写层了。shape=(),用了啥技术?build():延迟初始化权重,根据输入形状决定;:添加可训练参数;call():定义前向逻辑;:确保模型能保存/加载。测试一下:print(output.numpy()) # [2. 4. 6.] (初始scale≈1)完美!而且这个层还能被正常序列化。 阅读详情

相关推荐

深度学习基础(四)—— 神经网络各层的意义

1 卷积层 稀疏交互:减少时间复杂度,提高运算时间。 参数共享: 降低模型参数的存储需求,提高统计效率。 参数共享的特殊形式使得神经网络层具有对平移等变(equivariance)的性质 1.1 卷积神经网络的感受野 1.1.1 感受野的概念 感受野就是视觉感受区域的大小。在卷积神经网络中,感受野的定义是 卷积神经网络每一层输出的特征图(feature map)上的像素点在原始图像上映射的区域大小 1.1.2 感受野的计算 第一层卷积层的输出特征图像素的感受野的大小等于滤波器的大小 计算感受野大小时,忽略了图像边缘的影响,不考虑padding的大小 strides的概念 stride(i\uff09=

深度学习各模块简介及作用

1、目录 1、目录 2、BatchNormalization 2.1 简介 2.2 作用 2、BatchNormalization 2.1 简介 2.2 作用   为什么要使用BatchNorm,因为效果好。经过这么简单的变换,不仅仅极大提升了训练速度,收敛过程大大加快,还提升效果。...

melon0014的博客 5860

别再手动配电脑了!手把手教你用Windows Server 2022搭建企业AD域(附DNS配置避坑指南)

本文详细介绍了如何使用Windows Server 2022搭建企业AD域,提升20+终端的管理效率。通过实战案例和避坑指南,解析AD域的核心价值、部署步骤及DNS配置技巧,帮助企业实现集中权限管理、安全策略统一部署,显著降低IT运维成本。

weixin_30652897的博客 353

深度学习需要的组件

scheduler 学习率调整器。loss_func 损失函数。optimizer 优化器。evaluator 评估器。

Aa_Lyang的博客 511

WSL2网络配置全攻略:如何让Windows和Linux子系统互相访问端口(附防火墙设置)

本文深入解析WSL2的网络架构,并提供详细的端口互通配置指南。针对WSL2与Windows宿主机之间常见的网络访问问题,文章从原理出发,逐步讲解如何识别网络环境、配置Windows防火墙规则、调整服务监听地址,并介绍镜像网络模式等进阶优化方案,最终实现稳定可靠的双向端口访问。

sony5的博客 1151

【UE4】Hierarchical Instanced Static Mesh——一种速度优于Spawn的实例化物体组件

最近需要在场景中实例出很多个相同的模型,位置也很有规律,并且要对它的位置信息进行更新。 但是一个个拖进去实在太麻烦,就发现了Spawn Actor这个蓝图方法,可以实例一个蓝图类在场景中。 但是由于数量较大,实例化的速度太慢,这时发现了一个神奇的组件——Hierarchical Instanced Static Mesh。 新建一个蓝图类,添加该组件,在细节里添加你要实例化的模型对象。 ...

ColorGalaxy 1万+

深度学习-基础网络组件介绍(六)

深度学习基础网络组件--全连接层、激活层、损失函数的常用介绍

青山的博客 1235

【RS】哨兵系列数据下载(哨兵2号Sentinel-2波段介绍、下载)

以哨兵二号为示例,分享如何下载欧空局的哨兵系列数据

Remote Sensing迷途小书童 1万+

深度学习基础知识

卷积层、池化层、激活函数的作用 参考:https://zhuanlan.zhihu.com/p/41696749 https://blog.csdn.net/qq_30979017/article/details/79506593 卷积神经网络(CNN)由输入层、卷积层、激活函数、池化层、全连接层组成 卷积层的作用 1、提取图像特征 2、“局部感知,参数共享”的特点大大降低了网络参数,保证了网络的稀疏性,防止过拟合 之所以可以“参数共享”,是因为样本存在局部相关的特性。 池化层的作用 1、压缩特征图像,简化

qq_33247897的博客 266

同步辐射材料科学应用指南:从XAFS原位实验到数据处理

材料结构分析是材料研究的核心环节,但传统实验室X射线受限于能量固定、亮度不足,往往难以回答原子局域配位、非晶结构及动态演变等关键问题。同步辐射光源以高通量、连续可调、偏振可控及脉冲时间结构等特性,将材料表征从静态观察推进到原位动态追踪层次。基于X射线吸收精细结构谱(XAFS)、原位实验、X射线衍射与散射、微区成像等技术,研究人员可实现元素选择性分析、近邻原子环境解析及真实工况下的结构演变监测。本文从技术原理出发,覆盖实验方案设计、样品制备、现场对光、数据处理与常见故障排查,并结合典型应用场景,为材料科学领域

weixin_32612263的博客 190

TI 实时操作系统SYS/BIOS使用总结

1:概述: SYS/BIOS 是一个可扩展的实时的操作系统。具有非常快速的响应时间(在中断和任务切换时达到较短的延迟),响应时间的确定性,强壮的抢占系统,优化的内存分配和堆栈管理(尽量少的消耗和碎片)。能够实现系统的模块化并可裁剪。 最大的特点就是:实时。 2:XDCtools: XDCtools 是SYS/BIOS引用的一种实时的软件组件技术(RTSC),它包括一些有用的工具,标准的AP

带头奋青的博客 5万+

【面试】vivo-java开发-安卓方向-技术一面

后悔了,,,应该好好准备的,vivo竟然就一次面试,而且问的不算难。。。难受了 1、深度学习,cnn和rnn的区别 2、如何判断训练的准确度 3、深度学习是否接触过其他平台 4、安卓的四大组件 5、activity的生命周期 6、安卓前端和后端的网络交互方式 7、http和https区别 8、tcp和udp的区别 9、如果想要用udp保持可靠、有序传输怎么办 10、tcp为什么...

qq_36807551的博客 1286

Linux下安装FastDFS及生成缩略图

1. 安装编译环境 yum install git gcc gcc-c++ make automake vim wget libevent -y 2. 安装libfastcommon基础库 mkdir /root/fastdfs cd /root/fastdfs git clone https://github.com/happyfish100/libfastcommon.git --depth 1 cd libfastcommon/ ./make.sh && ./make.sh ins

weixin_45234710的博客 1376

深度学习四大组件详解:残差连接、批标准化、注意力机制与深度可分离卷积

残差连接让梯度畅通,使网络可以极深。批标准化稳定训练,加速收敛。注意力机制让网络学会聚焦重要信息,提升性能。深度可分离卷积大幅降低计算成本,助力移动端部署。这些技术并非孤立存在,它们常常共同出现在现代网络架构中(如ResNet+BN,MobileNet+SE)。理解它们,就掌握了构建高效深度学习模型的基石。希望本文的数值示例和生活类比能帮你彻底弄懂这些概念!

chenghao429的博客 885

目标检测YOLO实战应用案例100讲-基于数据融合的SAR图像中海上目标检测与跟踪(中)

本文使用的数据集为欧空局(European Space Agency, ESA)提供的Sentinal-1 数据集,Sentinel-1是欧洲“哥白尼计划”的SAR卫星机群,主要是用于陆地和海 洋服务的极地轨道全天候昼夜雷达成像任务[ 34]。Sentinel-1A于2014年4月3日发 射升空,Sentinel-1B于2016年4月25日发射升空,每颗卫星都携带C波段SAR, 共同提供地球表面的全天候、昼夜图像。

qq_36130719的博客 366

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

Dynamic-Load-Apk与主流插件化框架对比:终极指南

Dynamic-Load-Apk(简称DL)是一款轻量级Android插件化框架,它允许应用在运行时动态加载和运行未安装的APK文件,实现模块化开发与热更新能力。作为Android插件化技术的重要实践,DL框架以其简洁的设计和高效的加载机制,为开发者提供了灵活的模块化解决方案。 ## 📌 什么是Android插件化框架? Android插件化是一种将应用拆分为可独立开发、测试和部署的模块(插

gitblog_00194的博客 1092

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

彻底搞懂深度学习-循环神经网络(RNN、LSTM、GRU)(动图讲解)

LSTM证明了门机制的有效性,但也暴露了一个问题:我们真的需要这么复杂吗? GRU的想法很直接:能不能在保持LSTM优点的同时,让结构更简单?

weixin_41560800的博客 345

ssm框架搭建

这个是一个在idea上成功跑起来的ssm框架项目,保存在这里方便以后使用直接下载

贝叶斯统计 [韦来生编]

贝叶斯(Bayes)统计是近几十年来迅速发展起来的数理统计的一个重要分支。贝叶斯方法与经典统计方法的主要不同之处是进行统计推断时除了利用样本信息外,还要利用参数的先验信息,因此可以提高统计推断或统计决策的效果。它在经济、金融、生物、医学、自然科学和社会科学等许多领域具有广泛的应用。贝叶斯方法的研究已渗透到了统计学的几乎所有领域。作者在给中国科学技术大学概率论与数理统计专业本科生开设的“数理统计”课程中有一章专门讲授“贝叶斯方法和统计决策理论”,近十年来也给中国科学技术大学概率统计专业研究生开设过几次“贝叶斯分析”课。本书是在对过去讲稿的内容作了适当的增减和调整的基础上完成的。  本书共分六章。第1章是绪论,介绍了贝叶斯统计的若干基本概念,同时对必要的数理统计的基础知识有重点地作了回顾。第二章介绍了确定先验分布的若干可供选择的方法。第三章介绍了几类常见统计模型参数的后验分布的主要结果和计算方法。第四章和第五章分别介绍了“贝叶斯统计推断”和“贝叶斯统计决策”的内容。第六章介绍了贝叶斯统计计算的若干方法,包括蒙特卡洛方法和马尔可夫链蒙特卡洛(MCMC)方法以及相关统计软件的简介。本书的每一章附右大量的例题和习题,书末附有常用的几个表格和部分习题解答供读者查用。  大约可在54学时内讲授本书的第1章至第六章的主要内容,教师可根据学时需要选讲本书第1章至第六章的部分内容。书中标“*”号的章节可略去不讲,留给读者作为阅读材料。第六章例题中的R代码和部分例题的数据文件等可从作者个人主页下载。  作者在编写本书的过程中参考了J.O.Berger教授的《统计决策论及贝叶斯分析》和茆诗松教授编写的《贝叶斯统计》等书中的一些内容,以及《贝叶斯分析》一书中由张伟平博士编写的有关贝叶斯统计计算的一些内容。在此表示衷心感谢。  本书编写准备过程中,中国科学技术大学统计与金融系的几个研究生帮助完成了本书部分中文的录入和排版,作者对他们的辛勤工作表示真诚的感谢。高等教育出版社为本书的出版给予了大力支持。在此一并致谢。

Android添加手机黑名单,手机来电拦截实现详解与Demo,一个不错的练手项目,涵盖Android四大组件。

简介这是一个小应用的详解,这个应用可以添加手机黑名单,拦截手机黑名单的来电。通过这个小demo,我们可以对Android四大组件的应用场景有个具体的了解,可以说是一个不错的练手项目。下面给出下载地址: 1.GitHub下载地址: https://github.com/Simon986793021/SafeCall2.CSDN下载地址:概述下面先来讲下Android四大组件在demo中的应用:Ac

Simon_Crystin的博客 5727

深度学习入门:从概念到实践,看懂 AI 时代的核心技术

在这个 AI 渗透生活方方面面的时代,深度学习早已不是晦涩的技术术语 —— 它藏在人脸识别考勤、短视频推荐、语音助手背后,甚至正在改变医疗、交通等行业的运作方式。今天我们从行业背景、核心概念、技术分类到实战工具,带你系统入门深度学习,搞懂它的本质与应用。

m0_74408245的博客 697

蒙特卡罗树搜索+深度学习 -- AlphaGo原版论文阅读笔记

蒙特卡罗树搜索+深度学习 -- AlphaGo原版论文阅读笔记 原版论文是《Mastering the game of Go with deep neural networks and tree search》,有时间的还是建议读一读,没时间的可以看看我这篇笔记凑活一下。网上有一些分析AlphaGo的文章,但最经典的肯定还是原文,还是踏踏实实搞懂AlphaGo的基本原理我们再来吹

1809

深度学习:从预备知识到未来展望

摘要:深度学习作为人工智能的核心技术,正深刻改变社会各领域。本文系统梳理了深度学习的知识体系,包括其工业文明背景、人工智能定义、机器学习基础(监督/无监督/强化学习)以及PyTorch框架特点。文章分析了数据爆炸和算力提升对深度学习的推动作用,列举了其在计算机视觉、自然语言处理等领域的成功应用案例,并展望了未来在伦理规范、跨学科融合和技术创新等方面的发展方向,指出深度学习将持续引领智能化变革。

2502_92785476的博客 941

RTX4090 云 GPU 如何结合 MLflow 管理实验

本文系统阐述了在RTX4090云GPU环境下,利用MLflow实现深度学习实验追踪、模型版本管理与自动化pipeline构建的完整实践方案,涵盖部署架构、核心组件集成及端到端工程化流程。

weixin_32251525的博客 1301

caffe学习(1)

1 作者:北川谦一 链接:http://www.zhihu.com/question/27982282/answer/39350629 来源:知乎 著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。 我是从Torch7转移到Caffe的人,仅供参考,当你阅读前你应该具备一些有关DL的基础知识,本文集中写Caffe代码结构而非介绍DL知识。 我是去年底开始看Ca

tian_ciomp的博客 1018

深度学习模型部署手册-模型复现-Pre-training with Fractional Denoising to Enhance Molecular

这次安装主要使用的还是whl安装,通过这两个网址下载whl文件然后pip安装的以下是每一个包的安装对应包 版本 方法。

qq_60309085的博客 1366

我在美团Android研发岗工作5年,当我第一次面试时我会这么问?面试官最注重人才哪些素质?

各行各样都会淘汰一些能力差的,不仅仅是IT这个行业,所以,不要被程序猿是吃青春饭等等这类话题所吓倒,也不要觉得,找到一份工作,就享受安逸的生活,你在安逸的同时,别人正在奋力的向前跑,这样与别人的差距也就会越来越遥远,加油,希望,我们每一个人,成为更好的自己。点击此处,与我们一起交流学习群文件夹有以下学习笔记,自行下载!BAT大厂面试题、独家面试工具包,自我介绍一下,小编13年上海交大毕业,曾经在小公司待过,也去过华为、OPPO等大厂,18年进入阿里一直到现在。

2401_84149765的博客 959
上一篇: 【深度学习基础】张量的描述与深度学习常见张量
下一篇: 【深度学习】使用Keras开发的流程概述
DrCrypto
DrCrypto 领域专家: 算法与数据结构技术领域 领域专家: 算法与数据结构技术领域
博客等级 码龄13年 2605粉丝 646原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值