【今日CV 计算机视觉论文速览 第101期】Wed, 17 Apr 2019

CoordConv:An intriguing failing of convolutional neural networks and the CoordConv solution 阅读详情

今日CS.CV 计算机视觉论文速览
Wed, 17 Apr 2019
Totally 65 papers
?上期速览✈更多精彩请移步主页

在这里插入图片描述

Interesting:

?Pyramid-context ENcoder Network (PEN-Net)基于金字塔编码器的高质量图像修复, 利用Unet结构通过编码图像内容信息并解码,训练了具有高层级语义特征图注意力的编码器,并可将这些注意力转移到低层级特征图上,可以将缺失的部分特征从深层向浅层转移,并在视觉和语义上修复缺失部分。最后通过金字塔损失和对抗损失训练解码器实现快速训练和有效infer。(from 中山大学 微软亚研)
在这里插入图片描述
一些结果:
在这里插入图片描述
code:https://github.com/researchmm/PEN-Net-for-Inpainting

?超分辨综述,基于结构不同来进行算法解构,并基于参数量、算法设置和训练细节、结构创新等来分析了模型的各方面能力。并在6个公开数据集上进行了公开评测。未来可能的研究方向:与先验(场景、传感器、拍摄条件等)结合、目标函数和度量、通用解决方案、非监督、高/任意SR比例,真实/仿真的退化过程。 (from CSIRO, Australia)
在这里插入图片描述
各种模型架构:
在这里插入图片描述
六个公开数据集:
在这里插入图片描述
计算量参数量的影响:
在这里插入图片描述
各种属性总结:
在这里插入图片描述

?RIDNet基于特征注意力的真实图像去噪, 深度图像去噪在真实非均匀噪声上表现不佳,需要多级神经网络处理。研究人员利用残差单元促进了低频信息的流动,并应用特征注意力来探索了通道依赖性,实现了单阶段的真实图像去噪模型。(from 澳大利亚国立)
在这里插入图片描述
在这里插入图片描述在这里插入图片描述
相关方法:NLM [11] and BM3D [16], SADCT [24], SAPCA [18], NLB [34], and INLM [26]

?Objects as Points基于中心点检测的高效CenterNet, 在先前的目标检测工作中模型几乎会遍历每个可能的位置给出边界框并分类,浪费了大量的算力。CenterNet则使用了单个点为物体建模,基于关键点估计来获取中心点,并基于中心点回归出框大小、3D位置和位姿以及方向等属性。研究人员还基于相同的方法估计了3Dbbox和人体位姿。实现了很高的mAP(from 德克萨斯奥斯丁)
基于中心的检测方法和一些结果:
在这里插入图片描述在这里插入图片描述
不同检测任务:
在这里插入图片描述
速度和表现:
在这里插入图片描述在这里插入图片描述
与其他方法比较:
在这里插入图片描述
位姿估计和3Dbbox:
在这里插入图片描述
code:https://github.com/xingyizhou/CenterNet


?音视频分离,通过从视频中分离相似物体的声音,同时为每一个训练对产生精确的视频级音频,解耦了视频和音频间的关系,并最终实现了视觉引导的音频分离和去噪。(from 德克萨斯奥斯丁)
在这里插入图片描述
训练过程:
在这里插入图片描述
dataset:MUSIC, AudioSet, and AV-Bench datasets

?低功耗视觉综述, Low-Power Image Recognition Challenge (LPIRC) 挑战赛,综述。基于TFlite在移动端实现、coffe2在tx2上实现、线上实现。(from 普渡)
在这里插入图片描述

?Total Denoising无监督三维点云去噪, 在流型空间上进行去噪,将不合符随机分布的点云噪声进行整体考虑。(from 德国乌尔姆大学)
在这里插入图片描述
点云流型和点云非结构化编解码:
在这里插入图片描述

?RS-CNN相关形状CNN用于点云分析, 主要集中于学习点之间的几何拓扑相关性,并基于几何先验学习出高层级的相关性。局部准确的空间布局可以被精确表示。(from 中科院自动化所)
在这里插入图片描述
用于分类和分割的不同配置,分割包含了长程链接:
在这里插入图片描述

?Complexer-YOLO语义点云实时3D识别追踪, 提出了结合三维检测和语义分割的联合模型,利用语义分割辅助了三维点云检测和追踪。并利用规模化旋转变化SRTs提高了推理速度。(from valeo.com )
架构图和效果图:
在这里插入图片描述
在这里插入图片描述

?Fashion-AttGAN基于多主体GAN的时尚元素编辑, AttGAN可以用于时尚元素的编辑和生成,通过隐空间编辑可保持其他属性不变的情况下改变服饰的样式,并提出了包含22属性的14221个图像的数据集。(from VIPSHOP US Inc唯品会美国)
重建的一些结果,3-6列改变袖子,后面改变颜色:
在这里插入图片描述
code and dataset:https://github.com/ChanningPing/Fashion_Attribute_Editing

?基于贝叶斯的图像先验, 在先前深度图像先验Deep Image prior的基础上研究人员将高斯过程引入了图像修复、重建和去噪的任务中,研究发现深度图像先验在每一层通道趋于无穷时将渐近高斯过程,并能得到对应的高斯核。研究人员在infer过程中引入了贝叶斯方法,通过随机梯度郎之万动力学实现后验推理避免了过早停止,并改善了重建和去噪的结果。(from 麻省大学)
在这里插入图片描述
一些实验结果及不确定性图:
在这里插入图片描述在这里插入图片描述
project:https://people.cs.umass.edu/~zezhoucheng/gp-dip/
code:https://github.com/ZezhouCheng/GP-DIP

?人群运动估计, 通过监控信息估计人群的流动方向,将有效避免群体拥堵和事故的发生。(from Indian Institute of Technology Bhubaneswar)
人群建模和提出的网络结构:
在这里插入图片描述在这里插入图片描述
在这里插入图片描述
分割与抽取:
在这里插入图片描述
在这里插入图片描述

?防瞌睡数据集和方法, 用于检测瞌睡早期迹象,给出了数据集和基于层级多尺度长短时神经网络HM-LSTM的方法。 (from 德克萨斯阿灵顿)
数据集/判断指标和提出的HM-LSTM方法:
在这里插入图片描述在这里插入图片描述
在这里插入图片描述
RLDD dataset: sites.google.com/view/utarldd/home
code:https://github.com/rezaghoddoosian

?Focus Is All You Need事件相机的损失函数,用一系列运动补偿函数为事件相机更好的应用。提出了聚焦损失函数用于事件对齐,可用于旋转移动、深度和光流估计。 (from 苏黎世大学)
在这里插入图片描述


Daily Computer Vision Papers

Matrix and tensor decompositions for training binary neural networks
Authors Adrian Bulat, Jean Kossaifi, Georgios Tzimiropoulos, Maja Pantic
本文是关于改进二元神经网络的训练,其中激活和权重都是二元的。虽然用于神经网络二值化的现有方法独立地对每个滤波器进行二值化,但是我们建议使用矩阵或张量分解来参数化每个层的权重张量。然后通过量化函数,例如量化函数,使用这种潜在的参数化来执行二值化处理。符号函数应用于重建的权重。我们的方法的一个关键特征是,当重建被二值化时,潜在分解空间中的计算在真实域中完成。这具有若干优点,潜在因子分解在二值化之前强制执行滤波器的耦合,这显着提高了训练模型的准确性。 ii,在训练时,使用实值矩阵或张量分解对每个卷积层的二进制权值进行参数化,在推理期间,我们仅使用重构的二进制权重。因此,我们的方法在模型压缩和加速推理方面不会牺牲二进制网络的任何优势。作为进一步的贡献,不是像在先前的工作中那样分析地计算二元权重缩放因子,而是建议通过反向传播来区别地学习它们。最后,我们表明,当对人体姿态估计的挑战性任务进行测试时,我们的方法明显优于现有方法,超过4项改进,而ImageNet分类最多可达5项性能提升。

Objects as Points
Authors Xingyi Zhou, Dequan Wang, Philipp Kr henb hl
检测将对象标识为图像中的轴对齐框。大多数成功的物体探测器列举了潜在物体位置的几乎详尽的列表并对每个物体进行分类。这是浪费,低效,并且需要额外的后期处理。在本文中,我们采取了不同的方法。我们将对象建模为其边界框中心点的单个点。我们的探测器使用关键点估计来查找中心点并回归到所有其他对象属性,例如大小,3D位置,方向甚至姿势。我们的基于中心点的方法CenterNet比相应的基于边界框的检测器端到端可微,更简单,更快
CoordConv(坐标卷积)深度解析 ​,弥补了传统CNN在空间定位任务中的不足,成为图像生成、目标检测等领域的有效工具。其变体进一步扩展了在3D数据、动态形变等场景的应用。CoordConv是Google Brain在2018年提出的改进卷积操作,​。标准卷积操作 → 输出 [B, C_out, H_out, W_out]拼接坐标通道 → [B, C+2, H, W]其中 x(p,q) 和 y(p,q) 为坐标通道。原始输入 [B, C, H, W]CoordConv通过​。​解决传统CNN的​。 阅读详情

相关推荐

[yolo系列:YOLOV7改进-添加CoordConv,SAConv.]

在传统的卷积操作中,卷积核在图像上滑动并执行卷积操作,但是它们对于图像中的位置信息是不敏感的。CoordConv 的目标是使卷积操作变得位置敏感,它在输入特征图中加入了位置信息作为额外的通道。CoordConv 引入了位置信息通道,使得网络对位置信息更敏感,而 SAConv 引入了空间注意力机制,使得网络能够动态地调整卷积核的权重,提高了对不同位置信息的关注度。传统的卷积操作在所有位置都应用相同的卷积核,而SAConv 具有可学习的空间注意力权重,这意味着它能够动态地调整不同位置的卷积核权重。

weixin_47869094的博客 2270

CoordConv卷积改进yolov5-6.1

CoordConv改进yolov5-6.1

qq_41920323的博客 1007

改进YOLOv5:结合位置编码CoordConv,提升行人目标等预测能力 | 卷积加上坐标,从而使其具备了空间感知能力

所以为什么网络很难定位一个像素呢?是因为从小空间到大空间的所以为什么网络很难定位一个像素呢?是因为从小空间到大空间的转换很困难吗?如果朝一个方向会不会容易点呢?如果我们训练卷积网络将图像信息转换成标量坐标,是否与普通图像分类更相似呢?结果模型在这种监督式回归的任务上同样表现得不好。在图10中,左边图中的点表示正确的像素坐标,中间图中的点表示模型的预测。模型在测试集上表现得不好,并且在训练集上也差强人意。简单地说,方向根本不重要。

qq_44224801的博客 1883

CoordConv在深度学习中的实践应用

在深度学习领域,卷积神经网络(CNNs)已经取得了巨大的成功,尤其在计算机视觉任务上。然而,传统卷积网络在处理那些需要明确空间位置信息的任务时,却面临着挑战。CoordConv(Coordinate Convolution)的出现,为这一领域带来了新的视角,其通过引入坐标信息,强化了网络对位置信息的理解和利用能力。本章将从基础概念讲起,详细解读CoordConv的原理、优势,并对其在深度学习领域的应用前景进行展望。

weixin_42527589的博客 1206

coord-conv-pytorch:卷积神经网络的一个令人着迷的失败和PyTorch中的CoordConv解决方案

卷积神经网络的一个令人着迷的失败和CoordConv解决方案 该存储库在实现了CoordConv模块。 博客文章可以在找到。 coord_conv.py包含模块,而test.py包含显示模块用法的方法。 添加坐标 Coordinate Adder Module as defined in 'An Intriguing Failing of Convolutional Neural Networks and the CoordConv Solution' (https://arxiv.org/pdf/1807.03247.pdf). This module concatenates coordinate information (`x`, `y`, and `r`) with given input tensor. `x` and `y`

一个响应ping包延迟偏大的问题

前段时间客户反馈一个使用pc上的命令行ping无线设备(WiFi4)时,设备平均响应时间(测试时长2小时,1秒Ping一次)相比其它机型偏慢的问题,并上传上具体的时间的Log.从log中看到,大多数包的响应还是比较快的,只是个别响应时间较长,且响应时间长的包时间几乎都是一样的100多ms.如下是部分响应时间截图. 整个2小时的测试时间里,总是时不时的出这么上102,104ms的响应时间,这直接导致了平均响应时间被拉大.于是本地测试,也发现了类似的延迟.本地测试时,现象略有...

流风回雪的博客 1万+

三菱FX3U PLC红绿灯ST编程实战:从基础逻辑到急停功能完整实现

本文以十字路口红绿灯控制为例,详细讲解了三菱FX3U PLC使用ST编程的完整实战过程。内容涵盖从基础时序逻辑、状态机设计,到急停功能、黄灯闪烁、昼夜模式切换等高级功能的实现,并提供了代码优化与调试技巧,帮助工程师掌握结构化文本在工业控制中的清晰、结构化应用。

weixin_29070861的博客 537

【VisDrone数据集】YOLOX训练VisDrone数据集步骤与结果

YOLOX训练VisDrone数据集步骤与结果。

Gorgeous_wxd 2236

【测开求职】面试题:数据结构 吐血整理

本篇文章是笔者为准备研究生复试以及校招而写,因此主要针对问答,注重理解,而不在于细节计算。涵盖考研范围内的所有知识内容,读者可以先查看上面的链接走一遍数据结构的整体框架结构。其中,重点难点以及易混淆的知识点,笔者用其他近30篇文章进行了详述,在知识点处贴好了链接,有需要的可以查阅。

vector的博客 7068

最优控制 (Optimal Control) 算法详解及案例分析

最优控制是一种通过优化控制输入,使系统在满足约束条件的情况下达到最优性能的控制方法。其目标是最小化或最大化一个性能指标。

闲人编程的博客 2094

PR工具timing report中setup time的计算过程

然后去pr工具里报告report_delay_calculation/reportDelayCalculation -from related_pin -to constraint_pin。这里constraint pin就是D pin (D0 D1 D2 D3),related pin就是 CK pin。我正在「拾陆楼」和朋友们讨论有趣的话题,你⼀起来吧?

m0_61544122的博客 462

Aurix TC3xx系列MCU DMA模块配置方法(二)

本文主要基于英飞凌Aurix TC3xx系列MCU,通过EB tresos配置工具,介绍DMA驱动模块的配置方法。

m0_38045338的博客 2852

项目管理知识体系(PMBOK)中的质量规划详解

你是否遇到过这些场景?软件上线后用户投诉“功能漏洞多”,团队连夜返工;装修完的房子墙面开裂,施工方和业主互相推诿;新研发的手机电池续航不达标,被迫延迟发布。这些问题的根源,往往是项目启动时没有做好质量规划。本文聚焦PMBOK中“质量规划”(Plan Quality Management)过程,覆盖其核心概念、操作步骤、工具技术与实战应用,适用于IT、建筑、制造等各类项目场景。

项目管理的博客 1122

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

贝叶斯统计 [韦来生编]

贝叶斯(Bayes)统计是近几十年来迅速发展起来的数理统计的一个重要分支。贝叶斯方法与经典统计方法的主要不同之处是进行统计推断时除了利用样本信息外,还要利用参数的先验信息,因此可以提高统计推断或统计决策的效果。它在经济、金融、生物、医学、自然科学和社会科学等许多领域具有广泛的应用。贝叶斯方法的研究已渗透到了统计学的几乎所有领域。作者在给中国科学技术大学概率论与数理统计专业本科生开设的“数理统计”课程中有一章专门讲授“贝叶斯方法和统计决策理论”,近十年来也给中国科学技术大学概率统计专业研究生开设过几次“贝叶斯分析”课。本书是在对过去讲稿的内容作了适当的增减和调整的基础上完成的。  本书共分六章。第1章是绪论,介绍了贝叶斯统计的若干基本概念,同时对必要的数理统计的基础知识有重点地作了回顾。第二章介绍了确定先验分布的若干可供选择的方法。第三章介绍了几类常见统计模型参数的后验分布的主要结果和计算方法。第四章和第五章分别介绍了“贝叶斯统计推断”和“贝叶斯统计决策”的内容。第六章介绍了贝叶斯统计计算的若干方法,包括蒙特卡洛方法和马尔可夫链蒙特卡洛(MCMC)方法以及相关统计软件的简介。本书的每一章附右大量的例题和习题,书末附有常用的几个表格和部分习题解答供读者查用。  大约可在54学时内讲授本书的第1章至第六章的主要内容,教师可根据学时需要选讲本书第1章至第六章的部分内容。书中标“*”号的章节可略去不讲,留给读者作为阅读材料。第六章例题中的R代码和部分例题的数据文件等可从作者个人主页下载。  作者在编写本书的过程中参考了J.O.Berger教授的《统计决策论及贝叶斯分析》和茆诗松教授编写的《贝叶斯统计》等书中的一些内容,以及《贝叶斯分析》一书中由张伟平博士编写的有关贝叶斯统计计算的一些内容。在此表示衷心感谢。  本书编写准备过程中,中国科学技术大学统计与金融系的几个研究生帮助完成了本书部分中文的录入和排版,作者对他们的辛勤工作表示真诚的感谢。高等教育出版社为本书的出版给予了大力支持。在此一并致谢。

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

上一篇: 【今日CV 计算机视觉论文速览 第100期】Mon, 15 Apr 2019
下一篇: 【Ablation Studies 理解】深度学习模型组件的对比实验/性能分析
hitrjj
博客等级 码龄13年 3950粉丝 748原创
评论 2
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值