一、本文介绍
💡本文给大家介绍一种BRAttention注意力模块创新改进点。💡 针对Vision Transformer中全局注意力带来的高计算量和内存占用问题,本文提出了一种通过双层路由(Bi-level Routing)实现动态、查询感知稀疏注意力的新机制。💡图像分类、COCO目标检测与实例分割以及ADE20K语义分割等多个计算机视觉任务上,展现出卓越的性能和计算效率。
目录
五、创建涨点配置文件yolov13n_BiLevelRoutingAttention.yaml
二、BRAttention模块介绍

摘要:作为 Vision Transformer 的核心构建块,注意力是捕获长期依赖性的强大工具。然而,这种能力是有代价的:它会产生巨大的计算负担和沉重的内存占用,因为要计算所有空间位置的成对令牌交互。一系列作品试图通过将手工制作和内容无关的稀疏性引入 attention 来缓解这个问题,例如将 attention 操作限制在局部窗口、轴向条纹或扩张窗口内。与这些方法相反,我们提出了一种通过双层路由的新型动态稀疏注意力,以实现具有内容感知的更灵活的计算分配。具体来说,对于查询,首先在粗略区域级别过滤掉不相关的键值对,然后在剩余候选区域(即路由区域)的联合中应用细粒度的 token-to-token 注意。我们提供了一种简单而有效的双级路由注
订阅专栏 解锁全文
1万+



被折叠的 条评论
为什么被折叠?



