深度学习-基础网络组件介绍(六)

深度学习中的经典基础网络结构(backbone)总结 深度学习中的经典基础网络结构总结 1. 深度学习发展历史回顾 在开始正式内容之前,首先回顾下深度学习发展史,这将使整体内容更为连贯。 上图主要展示了深度学习的 “史前文明”(这里仅仅是开玩笑的说法)。从图中可以看到整个历史始于1943年,有三个发展繁荣期和两个低谷。 1943年,心理学家麦卡洛克和数学逻辑学家皮兹发表论文《神经活动中内在思想的逻辑演算》,提出了MP模型。 1960年,... 阅读详情

网络组件

**释义:**一个大的人工智能模型,可以理解为搭积木,通过不同的组件组合构建成整个模型。本质上可以通过深度学习的流程图去划分,只是不同的部分,进行了不同层度的丰富而已。
在这里插入图片描述

网络结构-全连接层

介绍:

1.又叫线性层
2.计算公式: y = w*x +b
3.w、b都是可以训练的参数,并且不是简单的数字,而是矩阵或者是向量
4.w的维度决定了隐含层输出的维度,一般称为隐含层单元个数(hidden size)
举例:
输入:x (维度1 x 3)
隐含层1:w (维度3 x 5)
隐含层2:w (维度5 x 2)

在这里插入图片描述
代码示例:(待后续补充)

激活函数

作用:

1.前面的线性函数,我们知道图像是一个直线,这样的图像对于很多曲线的情况,没有办法去模拟这个规律,所以由激活函数
2.激活函数使得,模型通过前面的线性函数后,在进行激活函数,就可以模拟曲线的规律,即拟合非线性函数的能力
无激活函数时 y = w1(w2(w3 * x + b3) +b2) + b1 仍然是线性函数

举例: 例如原来的孩子学习理科的天赋不强,那么我通过给他装一个计算机,使得他的计算天赋增加,就和我们这里加激活函数一样。

如下图示例:
在这里插入图片描述

常见激活函数-Sigmoid

图像如下图:
在这里插入图片描述
公式为:
在这里插入图片描述
释义: 可以很明确的看到,线性层计算后,带入到激活函数中,即待入到公式中的x中,图像就是一个曲线。

常见激活函数-tanh

示意图:
在这里插入图片描述
公式如下:
在这里插入图片描述

常见激活函数-Relu

释义: 虽然看起来上述的激活函数,是由两条直线构成的,但是在较大的模型中,由于神经元层数较多,经过多轮的激活后,就能达到意想不到的效果。
举例: 就像没有锻炼和每天都锻炼10分钟,虽然看起来锻炼的不多,但是时间久了,与不锻炼却会有天壤之别;就和有上面的激活函数和没有一样。
在这里插入图片描述

常见激活函数-Gelu

在这里插入图片描述

常见激活函数-Softmax

释义: Softmax激活函数呢,又叫归一化操作,简单来说,就是把上一个输入的向量,通过归一化后,使得向量中的每一个数字的和为1;这就可以和概率结合了。

举例: 原来这个孩子只有讲中文的天赋,于是给他加了一个翻译器,使得他讲的中文可以转化为英文,这样就可以满足说英文的情况了;这个翻译器就是 Softmax。

作用:

归一化操作常用于涉及到概率的相关操作,因为有下面的公式可以知道,通过归一化后,值的和为一
应用场景: 当出现输出的向量中,每一个数字代表的是一种可能性时,比如[2,4,3];向量中第1号数字代表男、第2代表女、第3代表不男不女,那么模型判断结果更倾向于女,因为数字更大;但是不够准确,我们可以通过归一化,得到模型判断为三类的具体概率,这就是具体的作用

在这里插入图片描述
公式如下
在这里插入图片描述

损失函数

释义: 损失函数,就是计算loss值得,即模型得预测值和真实值之间得差距。
举例: 简单理解就是孩子得反思能力,让他去做一件事,他会比较一下完成之后的结果和要求达到的效果之间的差距。好方便他调整以后做相同事的方案。

损失函数-均方差

释义: 即模型预测值和真实值之间的差,进行平方;然后根据样本数量,求平均。有时候会求和而不是求平均,具体根据情况而定。对均方差开根号,可以得到根方差。

适合场景: 输出结果为浮点数的情况。

公式如下:
在这里插入图片描述

损失函数-交叉熵(Cross Entropy)

适用场景: 适用于分类任务,即分类任务中,网络输出的经常是所有类别上的概率。比如上面说的,使用了激活函数Softmax,那么得到的就是一个向量各个元素和为1的输出,即分别代表各位置的概率。

举例说明:

1.我们说的一个分类任务,区分的类型分别为男、女、不男不女;那么我们可以理解其输出肯定会通过Softmax,得到例如:[0.5,0.4,0.1]这样的情况。
2.那么如果这个真实的结果就是女,那么我们的真实值就是:[1,0,0];这个时候,我们就需要通过交叉熵去计算,预测值和输出值之间的差距了

公式:

在这里插入图片描述
上述例子的计算详情:
在这里插入图片描述
注意
在pytroch框架中,进行交叉熵计算前,会自动先进行softmax。

基于深度学习的信道估计(DL-CE)基础知识 基于深度学习的信道估计:Deep Learning - Channel Estimation(DL-CE) 目前把深度学习应用到无线通信系统中所存在的问题 (1)没有大量可靠的真实数据集,目前常用的训练数据大多都是使用仿真得到的 (2)当前深度学习的网络层数都较大(模型较大),还不能有效地运用到移动设备上 方案一、深度学习网络用在LS算法得到导频处信道特性(CFR)之后 DL-CE基本结构 基于深度学习的信道估计主要包括两个部分,即离线训练和在线估计(在线预测) 在离线训练阶段,利用先验的信道数据对学习网 阅读详情

相关推荐

Deeplearning4j【基础 01】初识Java深度学习框架DL4J_dl4j java

Deeplearning4j是当前最大、最流行的基于JAVA的深度学习框架,正式诞生于2013年,在2017年加入Eclipse基金会,由美国的Skymind开源并维护。支持神经网络模型的构建、模型训练和部署;能够与现有大数据生态进行无缝衔接(Hadoop、Spark等),也是可以原生态支持分布式模型训练的框架之一;支持多线程;跨平台(硬件:CUDA GPU,x86操作系统:Windows/Mac/Linux/Android)。

2401_86358637的博客 1845

深度学习需要的组件

scheduler 学习率调整器。loss_func 损失函数。optimizer 优化器。evaluator 评估器。

Aa_Lyang的博客 511

深度学习和神经网络介绍

深度学习和神经网络介绍 文章目录深度学习和神经网络介绍深度学习的介绍目标1. 深度学习的概念2. 机器学习和深度学习的区别2.1 区别1 :特征提取2.2 区别2:数据量3. 深度学习的应用场景4. 常见的深度学习框架神经网络的介绍目标1. 人工神经网络的概念2. 神经元的概念3. 单层神经网络4. 感知机5. 多层神经网络6. 激活函数6. 神经网络示例 深度学习的介绍 目标 知道什么是深度学习 知道深度学习和机器学习的区别 能够说出深度学习的主要应用场景 知道深度学习的常见框架 1. 深度学习的概念

CharlesDavid 6115

图解编码器与解码器:5分钟搞懂深度学习中的核心组件

本文通过生活化类比和代码示例,深入浅出地解析了深度学习中的编码器与解码器原理。从Transformer架构到自动编码器应用,详细展示了这两个核心组件在机器翻译、图像描述生成等场景中的协作机制,帮助读者快速掌握其核心功能与常见误区。

weixin_29090677的博客 176

人工智能AI 机器学习ML 深度学习DL 和 神经网络NN 的关系

人工智能 机器学习 深度学习 神经网络 的关系

自动驾驶汽车和机器人技术爱好者 1996

深度学习【DL介绍、神经网络介绍】

深度学习(deep learning)是机器学习的分支,是一种以人工神经网络为架构,对数据进行特征学习的算法。人工神经网络(英语:Artificial Neural Network,ANN),简称神经网络(Neural Network,NN)或类神经网络,是一种模仿生物神经网络(动物的中枢神经系统,特别是大脑)的结构和功能的数学模型,用于对函数进行估计或近似。和其他机器学习方法一样,神经网络已经被用于解决各种各样的问题,例如机器视觉和语音识别。这些问题都是很难被传统基于规则的编程所解决的。...

weixin_43923463的博客 2099

一文了解深度学习模型:CNN、RNN、GAN、transformer

深度学习是一种模仿人脑神经网络结构和功能的机器学习方法,通过构建多层神经网络模型,自动从大规模数据中学习复杂的特征表示。其核心原理包括和层次化特征提取:通过多层非线性变换,逐步提取数据的高级语义特征端到端学习:直接学习输入与输出间的映射关系,无需人工干预这种机制使深度学习能有效处理高维、非线性数据,在图像识别、语音识别和自然语言处理等领域展现出卓越性能。

Java_rich的博客 2万+

深度学习(Deep Learning, DL)简介

深度学习(Deep Learning, DL)是机器学习的一个子领域,主要使用多层神经网络来处理复杂的数据和任务。深度学习通过模拟人脑的神经网络结构,能够自动提取特征并进行高效的模式识别和预测。

qq_28791753的博客 1万+

【深度学习】深度学习的四大组件

这四大组件就是: 层 输入数据和标签 损失函数 优化器 这四者的关系描述如下: 多层组合在一起形成了网络,网络的目的是将输入数据映射为预测值,通过损失函数将预测值和目标值比较,得出损失值,用来衡量网络的性能,而优化器的职责是迭代优化损失值来更新网络权重(BP算法)。 层:构建网络的乐高积木 深度学习模型的最常见用法是层的线性堆叠,将单一输入映射为单一输出,即数据从一端进,然后从另一端出。 但...

Bing's Blog 2181

AIGC实战——深度学习 (Deep Learning, DL)

深度学习 (Deep Learning, DL) 是贯穿所有生成模型 (Generative Model) 的共同特征,几乎所有复杂的生成模型都以深度神经网络为核心,深度神经网络能够学习数据结构中的复杂关系,而不需要预先提取数据特征。在本节中,我们将介绍深度学习基本概念,并利用 Keras 构建深度神经网络。

盼小辉丶的博客 7万+

Java 人工智能应用:使用 DL4J 实现深度学习算法

本文介绍了如何使用Java深度学习库DL4J实现深度学习算法。DL4J是为Java开发者设计的开源分布式深度学习库,可与Hadoop和Spark集成处理大规模数据。文章详细讲解了DL4J开发环境的搭建步骤,包括Maven依赖配置和Java环境准备。重点演示了如何使用DL4J构建多层感知机(MLP)模型,涵盖数据准备、模型构建、训练和评估的完整流程。通过示例代码展示了如何实现数据预处理、神经网络配置、模型训练和性能评估,为Java开发者提供了深度学习应用的实践指南。文中采用的MLP模型适用于二分类问题,可作为

shrgegrb的博客 2516

深度学习之 4 深度学习框架

深度学习框架的核心组件,主流框架,以及pyTorch入门知识

水w的博客 3217

Deeplearning4j深度学习示例教程:DL4J, DL4J Spark, DataVec实战

神经网络是深度学习的基础,由大量的节点(或称为“神经元”)相互连接而成。每个神经元可以将输入转换为输出,并在此过程中应用一个非线性激活函数。通过多层的网络结构,复杂的非线性变换得以实现,使得神经网络能够学习数据中的层次结构。Deeplearning4j(DL4J)是针对Java虚拟机(JVM)的开源深度学习库,专为商业环境和生产需求设计。DL4J的特点之一是它的性能优化,在分布式计算、多线程和Hadoop或Spark集成方面表现出色。

weixin_29867767的博客 3482

【深度学习】Java DL4J 2024年度技术总结

在当今数字化浪潮中,深度学习作为人工智能领域的核心驱动力,正以前所未有的速度改变着我们的生活和工作方式。从图像识别到自然语言处理,从医疗诊断到金融预测,深度学习的应用场景无处不在,展现出巨大的潜力和价值。Java作为一门广泛应用于企业级开发的编程语言,以其稳定性、可移植性和丰富的类库资源,在软件开发领域占据着重要地位。然而,传统的Java开发在面对深度学习复杂的模型构建和大规模数据处理时,往往显得力不从心。的出现,为Java开发者打开了一扇通往深度学习世界的大门。DL4J是一个专为Java和Scala。

在技术的广袤天地里,本博客如精准罗盘。剖析前沿科技,深掘代码奥秘,以精炼笔触,带您穿越复杂技术迷宫,速达知识彼岸。 1万+

CANopen PDO 配置實戰:3步完成0x1800-0x1A00物件字典映射與事件觸發

本文详细解析CANopen PDO配置实战,通过3个关键步骤完成0x1800-0x1A00对象字典映射与事件触发设置。重点介绍COB-ID位域解析、映射参数配置及事件触发优化,帮助工程师实现工业自动化设备间毫秒级实时数据交换,提升系统通信效率。

weixin_33709609的博客 382

二次开发vba_CATIA VBA(VBS)二次开发:使用Search批量选择元素

在CATIA二次开发中很多在程序中进行自动交互的方法或函数都需要使用选择集作为参数,将几何元素按照要求批量添加到选择集中也是实现程序自动运行的有效方法。在前面的文章《CATIA使用VBA(VBS)二次开发时用户的交互选择》和《CATIA使用VBA(VBS)二次开发时工程图和草图位置的交互选择函数Indicate2D》中介绍了在CATIA VBA(VBS)二次开发中用户和选择集之间的交互操...

weixin_32497403的博客 1326

【DL】2023年你应该知道的 10 大深度学习算法

它们是训练有素的神经网络,可将数据从输入层复制到输出层。它们具有相同数量的输入和输出层,但可能有多个隐藏层,可用于构建语音识别、图像识别和机器翻译软件。无论您是初学者还是专业人士,这三大深度学习算法都将帮助您解决与深度学习相关的复杂问题:CNN 或卷积神经网络、LSTM 或长短期记忆网络和 RNN 或递归神经网络 (RNN)。是的,CNN 是一种深度学习算法,负责以网格模式的形式处理受动物视觉皮层启发的图像。深度学习算法几乎可以处理任何类型的数据,并且需要大量的计算能力和信息来解决复杂的问题。

sikh_0529的博客 2万+

Zephyr,设备树概述

Zephyr使用设备树(DTS)描述硬件配置,通过设备树源码和绑定文件生成C头文件供开发使用。设备树采用树状结构,节点对应硬件设备,属性描述硬件特性。示例展示了I2C总线及其外设的节点层级关系,包括单元地址、兼容性标识等关键属性。构建系统将设备树转换为devicetree.h中的宏,使开发者能通过DT_前缀宏访问硬件信息,同时保留Kconfig覆盖默认值的能力。

汽车电子软件领域知识分享 725

使用 ESP-DL 深度学习库基于 ESP32-S3 实现手势识别

用户基于乐鑫深度学习库 ESP-DL,能够在 ESP32-S3 上部署高性能的深度学习模型。

乐鑫 Espressif 1万+

AXI4-Stream FIFO IP核实战指南——从配置到跨时钟域处理

本文是AXI4-Stream FIFO IP核的实战指南,详细讲解了其作为数据流缓冲核心的作用。文章重点涵盖从Vivado环境下的IP核配置、关键参数(如深度与宽度)设定,到跨时钟域处理的完整流程。深入解析了TVALID/TREADY握手协议及TLAST等信号,并提供了常见问题排查与调试技巧,帮助开发者高效实现FPGA/SoC系统中可靠的数据流缓冲与同步。

weixin_29251567的博客 482

瑞萨RA6M5驱动ST7735屏幕避坑指南:从软件SPI到显示汉字与图形的完整流程

本文详细介绍了瑞萨RA6M5单片机驱动ST7735屏幕的完整流程,涵盖硬件连接、软件SPI控制、汉字显示及图形绘制优化等关键步骤。通过避坑指南和实用代码示例,帮助开发者解决屏幕初始化、时序控制、字库移植等常见问题,实现高效稳定的显示效果。

weixin_28705087的博客 277

【深度学习-Day 1】为什么深度学习是未来?一探究竟AI、ML、DL关系与应用

欢迎踏上深度学习(Deep Learning, DL)的探索之旅!近年来,人工智能(Artificial Intelligence, AI)浪潮席卷全球,而深度学习正是驱动这股浪潮的核心技术之一。无论你是对 AI 充满好奇的初学者,还是希望在技术领域深耕的开发者,理解深度学习都至关重要。本专栏旨在系统性地引导大家从零基础入门,逐步掌握深度学习的核心概念、关键技术和实战应用。

吴师兄大模型的博客 7402

goahead(嵌入式Web服务器)之文件传输篇

goahead文件上传原理: 使用html form即表单提交文件上传请求,web服务器核心处理接收客户端Post过来的文件数据(注意post的是二进制数据),最后,web服务器把接收到文件数据以二进制格式写到服务器本端存储系统。 goahead文件上传步骤: 1、创建upload.html文件,内容如下: <html> <head> <meta charset="utf-8"/> <title>Upload</title> </head&g

weixin_40732273的博客 3496

Deeplearning4j【基础 01】初识Java深度学习框架DL4J

初识Java深度学习框架DL4J

Java与大数据相关实践内容分享! 4151

PCB板设置20H 原则理解

20H原则是PCB设计中抑制EMI辐射的关键方法,要求电源层比相邻地层内缩20倍介质厚度(20H)。在四层板中实现20H原则需采用S-G-P-S层叠结构,确保GND与PWR紧邻。具体步骤包括:确定GND-PWR间介质厚度H,计算20H值(通常80-120mil),并在设计软件中将电源层四周内缩20H,同时保持地层完整不内缩。注意避免常见误区,如混淆介质厚度、地层内缩等。该原则能有效限制边缘场辐射,降低EMI干扰,是四层板EMC设计的重要规范。

qq_37999850的博客 703

单片机设计具备断电记忆功能的计时器

本文介绍了如何设计一款具备断电记忆功能的计时器,利用单片机和EEPROM存储器实现了计时器值的保存和恢复。当然,在实际的设计中还需要考虑其他因素,如电源管理、时钟精度等,以确保计时器的正常运行和准确性。选择合适的单片机:在设计计时器时,我们需要选择一款具备存储功能的单片机,以便在断电后能够保存计时器的状态。可以优化显示方式,使用更加直观的界面来展示计时器的值;函数中,我们首先从 EEPROM 中读取计时器的初始值,然后在一个无限循环中每秒钟增加计时器的值,并将新的值写入 EEPROM 中。

RlDart的博客 1096
上一篇: 深度学习-梯度下降算法-NLP(五)
下一篇: 深度学习组件优化器简介--AI(七)
青山瀚海
博客等级 码龄5年 528粉丝 70原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值