RNN循环神经网络——embedding的理解

神经网络算法 —— Embedding(嵌入)!! 本文将从 Embedding 的本质、Embedding的原理、Embedding的应用三个方面,详细介绍Embedding(嵌入)。1、Embedding的本质"Embedding" 在字面上的翻译是“嵌入”,但在机器学习和自然语言处理的上下文中,我们更倾向于将其理解为一种 “向量化” 或 “向量表示” 的技术,这有助于更准确地描述其在这些领域中的应用和作用。 阅读详情

一、RNN 循环神经网络_embedding替换独热码

以实现连续数据预测为例,在这里先引入几个概念

1. 1循环核:

具有记忆力,通过不同时刻的参数共享,实现了对时间序列的特征提取。

前向传播时:记忆体内存储的状态信息ht,在每个时刻被刷新,三个参数矩阵在时间展开步(一层循环)内保持不变。
反向传播时:参数w和b被梯度下降法更新。

在这里插入图片描述
更新方法如下:

在这里插入图片描述

1.2 循环核按时间步展开

实质上就是按时间轴方向展开,同层同一个循环核完成的操作。

在这里插入图片描述
注意与增加循环核(增加循环层区分开)

1.3循环计算层

在这里插入图片描述
增加循环核,增加循环曾,向输出方向增长。

二、tf描述一个循环计算层

2.1基本函数

tf.keras.layers.SimpleRNN(记忆体个数, activation='激活函数',
return_sequences='是否每个时刻都输出ht到下一层')

##############解释
activation='激活函数' # 默认为tanh
return_sequences=True #中间循环层用True,每个ht都输出给下一层,最后时间步输出时False,仅在最后时间步输出ht。

在这里插入图片描述
中间循环层每个时间步传递ht给下层神经元,供下一层神经元使用。
在这里插入图片描述
只在最后时间步输出ht计算最后输出值。

2.1进入RNN时,x_train的维度

API对循环层的数据维度是由要求的

[送入样本数,循环核时间展开步数,每个时间步输入的特征个数]
在这里插入图片描述
第一个图:两个样本,时间步:1,每个样本3个特征
第二个图:一个样本,时间步:4,一个样本中含有(带有两个特征的)四个输入,每个时间步输入一个,一个输入中有两个特征。

2.3循环计算过程

import numpy as np
import tensorflow as tf
from tensorflow.keras.layers import Dense, SimpleRNN
import matplotlib.pyplot as plt
import os

input_word = "abcde"
w_to_id = {'a': 0, 'b': 1, 'c': 2, 'd': 3, 'e': 4}  # 单词映射到数值id的词典
id_to_onehot = {0: [1., 0., 0., 0., 0.], 1: [0., 1., 0., 0., 0.], 2: [0., 0., 1., 0., 0.], 3: [0., 0., 0., 1., 0.],
                4: [0., 0., 0., 0., 1.]}  # id编码为one-hot

x_train = [id_to_onehot[w_to_id['a']], id_to_onehot[w_to_id['b']], id_to_onehot[w_to_id['c']],
           id_to_onehot[w_to_id['d']], id_to_onehot[w_to_id['e']]]
y_train = [w_to_id['b'], w_to_id['c'], w_to_id['d'], w_to_id['e'], w_to_id['a']]

np.random.seed(7)
np.random.shuffle(x_train)
np.random.seed(7)
np.random.shuffle(y_train)
tf.random.set_seed(7)

# 使x_train符合SimpleRNN输入要求:[送入样本数, 循环核时间展开步数, 每个时间步输入特征个数]。
# 此处整个数据集送入,送入样本数为len(x_train);输入1个字母出结果,循环核时间展开步数为1; 表示为独热码有5个输入特征,每个时间步输入特征个数为5
x_train = np.reshape(x_train, (len(x_train), 1, 5))
y_train = np.array(y_train)

model = tf.keras.Sequential([
    SimpleRNN(3),
    Dense(5, activation='softmax')
])

model.compile(optimizer=tf.keras.optimizers.Adam(0.01),
              loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=False),
              metrics=['sparse_categorical_accuracy'])

checkpoint_save_path = "./checkpoint/rnn_onehot_1pre1.ckpt"

if os.path.exists(checkpoint_save_path + '.index'):
    print('-------------load the model-----------------')
    model.load_weights(checkpoint_save_path)

cp_callback = tf.keras.callbacks.ModelCheckpoint(filepath=checkpoint_save_path,
                                                 save_weights_only=True,
                                                 save_best_only=True,
                                                 monitor='loss')  # 由于fit没有给出测试集,不计算测试集准确率,根据loss,保存最优模型

history = model.fit(x_train, y_train, batch_size=32, epochs=100, callbacks=[cp_callback])

model.summary()

# print(model.trainable_variables)
file = open('./weights.txt', 'w')  # 参数提取
for v in model.trainable_variables:
    file.write(str(v.name) + '\n')
    file.write(str(v.shape) + '\n')
    file.write(str(v.numpy()) + '\n')
file.close()

###############################################    show   ###############################################

# 显示训练集和验证集的acc和loss曲线
acc = history.history['sparse_categorical_accuracy']
loss = history.history['loss']

plt.subplot(1, 2, 1)
plt.plot(acc, label='Training Accuracy')
plt.title('Training Accuracy')
plt.legend()

plt.subplot(1, 2, 2)
plt.plot(loss, label='Training Loss')
plt.title('Training Loss')
plt.legend()
plt.show()

############### predict #############

preNum = int(input("input the number of test alphabet:"))
for i in range(preNum):
    alphabet1 = input("input test alphabet:")
    alphabet = [id_to_onehot[w_to_id[alphabet1]]]
    # 使alphabet符合SimpleRNN输入要求:[送入样本数, 循环核时间展开步数, 每个时间步输入特征个数]。此处验证效果送入了1个样本,送入样本数为1;输入1个字母出结果,所以循环核时间展开步数为1; 表示为独热码有5个输入特征,每个时间步输入特征个数为5
    alphabet = np.reshape(alphabet, (1, 1, 5))
    result = model.predict([alphabet])
    pred = tf.argmax(result, axis=1)
    pred = int(pred)
    tf.print(alphabet1 + '->' + input_word[pred])

abcde的预测,输入a输出b 输入b输出c以此类推。
编码方式为独热码。

三、Embedding编码代替独热码

独热码:数据量大,过于稀疏,映射之间相互独立,没有表现出相关性。
Embedding编码:是一种单词编码方式,用低维向量实现了编码,可以通过NN的训练不断优化。

3.1思想:

将0 ,1, 2, 3, 4等数值标签用多维可更新向量表示,不再是一维独热码的形式。

3.2代码实现:

tf.keras.layers.Embedding(词汇表大小,编码维度)

在循环层前加入Embedding层,编码维度:表示多少个数字表示一个单词。


# API对输入Embedding的x_train维度也是有要求的
# [送入样本数,循环核时间展开步长]
x_train = np.reshape(x_train,(len(x_train),1))# 可抽象理解为样本数个行 1列 
#如果是2的话 就是每一个样本对应两个输入也就是两个时间步

##########定义网络结构时
model = tf.keras.Sequential([
	Embedding(5,2),#Embedding层,对输入数据进行编码,五个样本,每个用两个数字表示。则5代表样本数,2代表特征数
	SimpleRNN(3),#三个循环核的循环神经网络,按上述输入RNN需要[送入样本数,循环核时间展开步数,每个时间步输入的特征个数],
	#则Embedding中2代表了特征数,x_train经过reshape维度后的1代表了时间展开步数,len(x_train)代表了样本数,。
	#由此可通俗理解Embedding的参数和使用。
	])

3.3参数理解

    见注释。RNN最终还是会获取到 [送入样本数,循环核时间展开步数,每个时间步输入的特征个数] 
由此可以反过来捋清楚Embedding函数和参数代表的含义。

感谢北京大学曹健老师的《tensorflow笔记》,收益良多,基本属于课上内容,搬砖至此,作为笔记。

0基础跟德姆(dom)一起学AI 深度学习05-RNN循环神经网络 AI全流程带你玩 0基础带你学人工智能相关软件,讲解机器学习、深度学习、大模型等人工智能领域核心知识。 帮助想了解,或者正在AI赛道成长的你。 阅读详情

相关推荐

神经网络 Embedding层理解; Embedding层中使用预训练词向量

Embedding:高维稀疏特征向量到低维稠密特征向量的转换;嵌入层将正整数(下标)转换为具有固定大小的向量 Embedding 字面理解是 “嵌入”,实质是一种映射,从语义空间到向量空间的映射,同时尽可能在向量空间保持原样本在语义空间的关系,如语义接近的两个词汇在向量空间中的位置也比较接近。 应用: 在深度学习推荐系统中,Embedding主要的三个应用方向: 1、在深度学习网络中作为Embedding层,完成从高维稀疏特征向量到低维稠密特征向量的转换; 2、作为预训练的Embedding特征向量,与其

weixin_42357472的博客 1万+

RNN变种-----Embedding、LSTM、GRU的介绍

一般来说,NLP任务的基本流程包括以下方面:(1)文本预处理:文本清理、标准化、纠错、改写等。(2)Tokenzing:分字、分词、分子词等。(3)构造数据:将 Token转为模型需要的输入。(4)文本特征表征:将输入的数据转换为向量表征(One-Hot、TF-IDF、Embedding)。(5)结果输出:将向量表征转换为最终输出。对于自然语言因其输入是一段文本,在中文中也即一个个字或一个个词,而行业内把这个字或词叫Token。如果要使用模型,拿到一段文本的第一件事就是把他Token化。

m0_54180573的博客 1336

AI架构师必知必会系列:循环神经网络

作者:禅与计算机程序设计艺术 1.背景介绍 循环神经网络(Recurrent Neural Networks,RNN)是一种与人类类似的神经网络结构,能够对序列数据进行建模学习。它将上一次输出的信息作为本次输入的一部分,通过这种处理方式可以帮助解决序列数据的标注问题、语言模型等相关任务。它的特点在于

AI天才研究院 796

RNN(embedding编码、LSTM、GRU)

三个门限:它们都是当前时刻的输入特征 xt 和上一时刻的短期记忆的 ht-1 的函数。wi,wo ,wf 是待训练参数矩阵,bi,bo,bf 是待训练参数矩阵。它们都经过sigmoid激活函数使门限的范围在0-1之间。细胞态表示长期记忆,等于上个时刻的长期记忆 Ct-1 乘以遗忘门 + 当前时刻归纳出的新知识*输入门。(通俗讲:过去记忆留存下的知识+新知识)记忆体表示短期记忆,属于长期记忆的一部分。

799喵的博客 775

从零实现字符级RNN文本生成:原理、训练与踩坑指南

在自然语言处理与深度学习的实践中,序列建模始终是理解智能系统如何感知时间与上下文的关键。循环神经网络(RNN)作为处理变长序列的经典架构,通过时间步与隐状态机制,将历史信息压缩为可传递的语义记忆,从而为文本生成、语音识别等任务提供了高效的建模范式。然而,RNN在实际训练中常面临梯度消失与梯度爆炸等技术挑战,而BPTT(时间反向传播)揭示了其数学根源,也催生了LSTM、GRU等门控机制的诞生。与此同时,Transformer凭借自注意力机制实现了全局建模与并行计算,成为大规模语言模型的主流选择,但RNN仍在低

weixin_29038155的博客 367

VisionMaster位置修正功能深度解析:如何让找圆工具自动跟随移动目标?

本文深度解析海康威视VisionMaster平台的位置修正功能,重点介绍如何通过模板匹配与找圆工具的智能联动实现移动目标的动态追踪。文章详细阐述了工业视觉检测中的坐标系同步原理、模板匹配配置技巧及异常处理策略,为工程师提供了一套完整的工业级解决方案。

uu89012的博客 290

从理论和Pytorch代码 一步步了解RNN(Recurrent Neural Network)循环神经网络+EmBedding层通俗理解

从理论和Pytorch代码 一步步了解RNN(Recurrent Neural Network)循环神经网络+EmBedding层通俗理解

weixin_43920520的博客 380

详解机器人标定

这里是机器人在取料之前,先把自己的角度补正到与 物料当前角度一致,到(X’,Y’)位置处,然后移动 CDx,Cdy,与物料位置也重合,然后去取料。可以使用实物标定,机器人抓住工件摆放9个位置,得到9个机械坐标,相机也得到9个像素坐标,(机器人每次需要回到固定位置拍照),然后标定。(X0,Y0)为旋转中心, (X1,Y1)及(X2,Y2)为工件在视野中旋转角度a的前后坐标,(Xt,Yt)为两点连线的延长。(rx0, ry0)为旋转中心,( x, y)为被旋转的点,(x0,y0)旋转后的点。

weixin_56819992的博客 7637

Pytorch -- 简单的rnn 记不住的 api

也不太简单的流程图 encoder数据vectorRNN/ LSTM/ GRUdecoderoutput layer api 流程图看到,需要几个 layer, encoder 这里就选择 nn.Embedding, 循环神经 nn.Embedding torch.nn.Embedding(num_embeddings, embedding_dim, padding_idx=None, max...

Yif_Zhou 2575

金融学习之十三——数据去极值和标准化处理

拿到数据后,数据中可能会存在一些超大或极小的值,这些值与其他的值离得较远,显得格格不入,我们称其为离群点,有时也称为异常点。对于这些值,它的存在会导致影响最终的分析结果,带偏我们的分析。举个简单的例子,10个人的收入分别为2000,2500,2300,2425,2512,2375,2700,2265,2345,10000000,只算前9个,平均值就是2380,但加上最后一个,平均值就是1002144.2,就可能严重带偏最后分析的结果。因此,对于这样的数据,我们需要将其去除或修改。 (一)数据去极值 数据去极

ryo007gnnu的博客 7170

基于微信小程序的垃圾分类系统,附源码

垃圾分类小程序管理员功能有个人中心,管理员管理,意见反馈管理,视频类型管理,垃圾类型管理,新闻类型管理,论坛信息管理,环保视频管理,环保知识管理,垃圾信息管理,环保新闻管理,用户管理,知识问答试卷管理,试题管理,测试管理,轮播图管理。用户可以在微信小程序上面注册登录,查看各种环保信息和垃圾信息,还可以参加知识问答等操作。垃圾分类小程序的开发根据操作人员需要设计的界面简洁美观,在功能模块布局上跟同类型网站保持一致,程序在实现基本要求功能时,也为数据信息面临的安全问题提供了一些实用的解决方案。

Java徐师兄的博客 2079

PyTorch深度学习实践 Lecture12 RNN基础篇

《PyTorch深度学习实践》 Lecture 12 Basic_RNN 文章目录 Basic_RNN(RNN基础),概述了RNN循环神经网络和RNN Cell,并利用PyTorch搭建了RNN Cell和RNN实现hello字符的转换,最后利用Embedding进行了实验,对比Softmax结果,相关资料和代码详见:

A_John 的博客 1650

ANSYS 有限元分析 支架拓扑优化设计 分析过程及常见问题解决

1.确定分析类型,所用模块包括两种 static structural Topology Optimization。3.通过草图建立几何模型,建好的几何模型如图1所示。2.工程材料采用默认的Q235。

m0_68737530的博客 1971

循环神经网络RNN

自然语言处理(Nature language Processing, NLP)研究的主要是==通过计算机算法来理解自然语言。==对于自然语言来说,处理的数据主要就是**人类的语言**,例如:汉语、英语、法语等,该类型的数据不像我们前面接触过的结构化数据、或者图像数据可以很方便的进行数值化。NLP的目标是让机器能够“听懂”和“读懂”自然语言,并进行有效的交流和分析。NLP涵盖了从文本到语音、从语音到文本的各个方面,它涉及多种技术,包括语法分析、语义理解、情感分析、机器翻译等。

2301_79605464的博客 412

DC/DC开关电源EMC仿真红宝书

本红宝书系统性介绍开关电源EMC仿真方法,包括仿真原理、仿真思路、仿真工具以及仿真效率提升与仿测一致性的实战经验。从理论到仿真,从仿真到应用,真正帮你实现一文掌握开关电源EMC仿真!全文约14000字,适读人群:开关电源设计、电磁兼容EMC相关从业者,电磁相关专业研究生及CST仿真爱好者等。

电磁学社 2505

LAMMPS模拟新合金没势函数?手把手教你用`pair_style hybrid`混合势函数(附FeCMnSiTi案例)

本文详细介绍了在LAMMPS中如何使用`pair_style hybrid`混合势函数模拟新型高熵合金(如FeCMnSiTi),解决缺乏现成势函数的问题。通过实战案例,涵盖参数查找、命令编写、错误排查等关键步骤,特别适合处理多组元体系的复杂相互作用。文章还提供了EAM势函数与LJ势的组合技巧,帮助研究者准确模拟合金性能。

weixin_30635053的博客 246

PyTorch循环神经网络入门:从RNN原理到名字分类实战

序列数据广泛存在于文本、语音、传感器等场景,其长度不固定且顺序本身携带语义。循环神经网络(RNN)专为建模此类顺序依赖而设计,通过隐藏状态在时间步间传递历史信息。在PyTorch中,RNNCell与nn.RNN提供了从底层到高层的实现,配合Embedding层将离散字符映射为稠密向量,是处理NLP任务的基础组件。以外国人名国籍预测为实战案例,RNN能有效捕捉字符序列中的语言风格,验证了序列建模的技术价值。该实践还延伸到双向RNN与注意力机制,并涉及梯度消失与裁剪等工程问题。掌握RNN的输入格式、前向传播与训

weixin_29061821的博客 228

【AI智能体】AI 编程 + 飞书CLI + Skills 重塑开发新范式实战操作详解

AI 编程 + 飞书CLI + Skills 重塑开发新范式实战操作详解

congge 3668

循环神经网络-RNN和简单的例子

本文用通俗易懂的方式讲解了RNN和词嵌入的工作原理及其在文本生成中的应用。RNN被比喻为"会记忆的神经网络",能够记住之前的信息来处理序列数据;词嵌入则是将词语转换为数字向量,使计算机能理解语义关系。两者结合可构建文本生成模型,文中提供了一个完整的唐诗生成项目实例,包含数据处理、模型训练(使用LSTM)、诗歌生成和Web界面展示。项目采用字符级建模避免分词难题,支持普通生成和藏头诗模式,通过Gradio实现交互式体验。技术亮点包括LSTM处理长距离依赖、温度采样控制多样性等,并提出了使用

jidangrensheng的专栏 793

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

RNN原理与实战:理解序列建模中的时间记忆机制

循环神经网络(RNN)是深度学习中处理时序数据的基础架构,其核心在于通过隐藏状态h实现对历史信息的动态压缩与传递。不同于CNN的局部感知或ANN的无序映射,RNN以状态递归更新的方式建模序列依赖关系,解决了语言理解、时序预测等任务中‘上下文敏感’这一根本问题。它虽受限于梯度消失与长程依赖瓶颈,但为LSTM、GRU乃至Transformer的位置编码思想埋下伏笔。本文结合数学推导、PyTorch手写实现与工业级调优经验,系统解析RNN如何将‘记住前情’转化为可训练的参数化过程,并覆盖词预测、客服对话建模等典型

weixin_32771907的博客 358

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

人工智能实践:Tensorflow笔记 Class 6:循环神经网络

目录 6.1 循环核 1.循环核 2.按时间步展开 6.2 循环计算层 1.层数 2.Tensorflow描述循环计算层 6.3 循环计算过程(Ⅰ) 步骤 ​代码 6.4 循环计算过程(Ⅱ) 步骤 代码 6.5 Embeddng编码 ​输入一个字母 6.6 RNN实现股票预测 6.7 LSTM实现股票预测 6.8 GRU实现股票预测 6.1 循环核 复习:卷积就是特征提取器(CBAPD),借助卷积核提取空间特征后,送入全连接网络 1.循环核 参数时间共享,循环层..

m0_49939117的博客 1856

怀旧版电脑GBC模拟器

再现原版GBC掌机的界面,电脑运行连游戏界面都一样大小,很怀旧,很真实,(英文版)强烈推荐,很小的文件,很难才找到的。

rnn基本介绍,词嵌入,循环网络侧层

本文通过jieba分词与PyTorch实现RNN模型的词嵌入层,将文本“北京冬奥的进度条已经过半……”切词并构建词汇表,利用nn.Embedding将词语映射为4维向量。随后搭建RNN网络,输入维度128、隐藏层维度256,处理5个时间步、32批次的序列数据,输出隐藏状态与预测值,展示循环神经网络在自然语言处理中的基本流程。

2302_81702953的博客 171

rnn中嵌入(embedding)层的理解

首先,我们有一个one-hot编码的概念。 假设,我们中文,一共只有10个字。。。只是假设啊,那么我们用0-9就可以表示完 比如,这十个字就是“我从哪里来,要到何处去” 其分别对应“0-9”,如下: 我  从  哪  里  来  要  到  何  处  去 0    1    2    3   4&n...

liangbaqiang的博客 3486

【HCIA- AI(正课)】2.4 循环神经网络

技术定位:RNN 是 Transformer 的技术鼻祖,核心应用场景为自然语言处理,是理解 Transformer 运行逻辑的必要前置知识。运行逻辑:RNN 本质为单个神经网络在不同时刻的复用,通过将上一时刻输出传递至下一时刻,实现上下文信息的留存。公式规则:公式中 U、V、W 为不同传播路径的权重标识,仅为区分传播逻辑便于记忆,本质均为神经网络的权重参数。RNN 核心原理与学习要求。CNN 核心逻辑与优化方案。自然语言输入编码方案演进。RNN 现存核心问题。

m0_55845928的博客 248

RNN文本生成-想为女朋友写诗(一)

亮出效果 世界上美好的事物很多,当我们想要表达时,总是感觉文化底蕴不够。 看到大海时,心情舒畅,顿时感觉激情澎湃,想了很久,说了句:真大啊! 看到鸟巢时,心情舒畅,顿时感觉激情澎湃,想了很久,说了句:真大啊! 看到美女时,心情舒畅,顿时感觉激情澎湃,想了很久,说了句:真大啊! 是的,没有文化底蕴就是这样。 但是,你生在这个数字时代,中华五千年的文化底蕴,你触手可及! 这篇教程就是让人工智能学习大量的诗句,找到作诗的规律,然后你给他几个关键字,他给你一首诗。 看效果: 输入的关键词 输出的诗句

济南-人工智能-小韩 719

NOTE_北大Tensorflow_Chapter6

输入至RNN时,x_train为3D数组。 简记:维度从前向后依次为,每个圈输入几次数据,有几个圈,每个圈几个数据。

LLABVIEW的博客 251
上一篇: FCNN和CNN笔记
下一篇: RNN学习记录——预测代码实现
plus_left
博客等级 码龄9年 353粉丝 29原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

plus_left

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值