目录
自注意力机制(Self-Attention Mechanism)
前馈神经网络(Feed-Forward Neural Network)
4.1 计算Query 向量,Key 向量,Value 向量
6、多头注意力机制(multi-head attention)
1、简介
Transformer是起源于 NLP领域,然后在图像、视频、声音等领域都得到了广泛应用的基础架构,是继MLP、CNN、RNN’后的公认的第四大基础模型结构。
Transformer技术凭借其卓越的表现和广泛的应用前景,已经成为了机器学习领域的一个关键技术。自从2017年Google提出《Attention is All You Need》一文以来,Transformer架构的出现彻底改变了机器学习和深度学习的格局,尤其是在处理语言模型、生成模型以及多模态学习等领域,Transformer几乎成为了不可或缺的技术基石。之前一直也没详细地进行学习和了解,本次进行全面的图解,进而对transformer有一个简单的认识。
<
订阅专栏 解锁全文
9427



被折叠的 条评论
为什么被折叠?



