大数据基础工程技术团队4篇论文入选ICLR,ICDE,WWW

近日,由阿里云计算平台大数据基础工程技术团队主导的四篇时间序列相关论文分别被国际顶会ICLR2024、ICDE2024和WWW2024接收。

论文成果是阿里云与华东师范大学、浙江大学、南京大学等高校共同研发,涉及时间序列与智能运维结合的多个应用场景。包括基于Pathways架构的自适应多尺度时间序列预测模型Pathformer;基于扰动技术的时间序列解释框架ContraLSP;多正常模式感知的频域异常检测算法MACE;轻量数据依赖的异常检测重训练方法LARA。此次,时间序列相关模型等多篇论文的入选,表明阿里云在大数据基础技术领域的研究得到了国际学术界的认可,不仅展示了阿里云的技术竞争力,也创造了更多国际合作交流的可能性。

  • ICLR(International Conference on Learning Representations)会议是机器学习和深度学习领域的顶级国际会议,与NeurIPS、ICML并称为机器学习三大顶级会议,在谷歌的全领域学术指标排行榜中位列前十,以展示人工智能、统计学和数据科学领域的深度学习各个方面的前沿研究以及机器视觉、计算生物学、语音识别、文本理解、游戏和机器人等重要应用领域而闻名全球。
  • ICDE(IEEE International Conference on Data Engineering) 是数据库研究领域历史悠久的国际会议,与SIGMOD、VLDB并称为数据库三大顶级会议,会议聚焦于设计,构建,管理和评估高级数据密集型系统和应用等前沿研究问题。
  • WWW(The Web Conference)是为交叉,新兴,综合领域的顶级会议,CCF-A类,会议关注万维网的未来发展,汇聚全世界相关的科研工作者、从业者和领域专家,共同讨论互联网的发展、相关技术的标准化以及这些技术对社会和文化的影响。

Pathformer:基于Pathways架构的自适应多尺度时间序列预测模型

现实场景中的时间序列在不同的时间尺度展现出不同的变化,如云计算场景中的CPU,GPU,内存等资源需求呈现出日、月、季节等独特尺度的时间模式。这为时间序列预测带来一定的困难。一个好的时间序列预测模型需要考虑完备的时序多尺度建模能力以及进一步自适应选择多尺度的能力。

基于Transformer模型的多尺度建模,主要有两个挑战。

1. 不完备的多尺度建模。只是针对时间分辨率不能有效地捕捉不同范围的时间依赖关系,相反,考虑时间距离虽然能提取不同范围的时间依赖,但全局和局部间隔受到数据划分的影响,单一的时间分辨率并不完备。

2. 固定地多尺度建模过程。对所有时序采用固定的多尺度建模阻碍了每个时序的重要特征捕捉,然而为每个数据集或每个时序手动调整最佳尺度非常耗时且难以处理。

针对这些问题,我们提出了一个基于Pathways架构的自适应多尺度Transformer模型 Pathformer,它整合了时间分辨率和时间距离提出了一个多尺度Transfomer模块,使用双重注意力机制建模局部和全局的时间依赖关系,使模型具备完备的多尺度建模能力。其次,我们提出自适应pathways,激活Transformer的多尺度间建模能力。它基于输入时序逐层地路由和聚合多尺度特征形成了自适应pathways的多尺度建模,可以提升模型的预测效果和泛化性。

ContraLSP:基于对比稀疏扰动技术的时间序列解释框架

在智能运维等领域,为机器学习模型所做的预测提供可靠的解释具有极高的重要性。现有的解释方法涉及使用显著性方法,这些方法的解释区分取决于它们与任意模型的交互方式。一些工作建立了显著图,例如,结合梯度或构造注意力机制,以更好地处理时间序列特征,而它们难以发现时间序列模式。其他替代方法,包括Shapley值或LIME,通过加权线性回归在局部近似模型预测,为我们提供解释。这些方法主要提供实例级别的显著图,但特征间的互相关常常导致显著的泛化误差。在时间序列中最常见的基于扰动的方法通常通过基线、生成模型或使数据无信息的特征来修改数据,但这些扰动的非显著区域并不总是无意义的并且存在不在数据分布内的样本,导致解释模型存在偏差。

基于此,本文提出了ContraLSP框架,该框架如图所示。这是一个局部稀疏解释模型,它通过引入反事实样本来构建无信息扰动同时保持样本分布。此外,我们融入了特定于样本的稀疏门控机制来生成更倾向于二值化且平滑的掩码,这有助于简洁地整合时间趋势并精选显著特征。在保证标签的一致性条件下,其整体优化目标为:

论文在白盒时序预测,黑盒时序分类等仿真数据,和真实时序数据集分类任务中进行了实验,ContraLSP在解释性能上超越了SOTA模型,显著提升了时间序列数据解释的质量。

MACE:多正常模式感知的频域异常检测算法

异常检测是智能运维领域的重要研究方向。近来,基于重构类方法的异常检测模型独占鳌头,在无监督异常检测中达到了很高的准确度,涌现了大量优秀的神经网络模型,例如:基于RNN类的神经网络OmniAnomaly, MSCRED; 基于transformer类的神经网络AnomalyTransformer, DCdetector等,但这类方法一个模型只能较好地捕捉一种或少数几种正常模式。因此,涌现出了一批以元学习为辅助,快速适应不同正常模式的异常检测模型,例如PUAD, TranAD等。但这些方法依然要求对不同的正常模式定制不同的模型,当存在十万级不同正常模式的服务时,很难维护这么多神经网络模型。

与其他神经网络直接从数据样本中判断当前样本是否为异常不同,MACE从数据样本与该数据样本对应的正常模式的关系中提取异常。在MACE中,我们首先提出使用频域表征机制提取出正常模式的频域子空间,并使用频域表征技术把当前数据样本映射到该频域子空间中。若该数据样本离这个正常模式的频域子空间越远则在映射后,映射点与原始样本距离越远,重构误差越大。若该数据样本离这个频域子空间的频域子空间越近,则在映射后,映射点与原始样本距离越近,重构误差越小。因此,我们可以根据当前数据样本与其对应的正常模式频域子空间的关系,令对于当前正常模式而言的正常数据重构误差远小于异常数据的重构误差,以此检测异常。更进一步,我们提出上下文感知的傅里叶变换和反变换机制,有效利用频域的稀疏性提升计算效率,在频域上不存在时序依赖,可以对该模型进行细粒度的高并发实现,进一步减少异常检测的时间开销。另外,我们提出Peak Convolution与Valley Convolution机制对短期异常进行增强使其更容易被检测到。

LARA:轻量数据依赖的异常检测重训练方法

在云服务的监控场景中,经常出现正常模式随时间不断变化,且在变化初期观测数据数量不足以支撑模型训练的问题。目前,可以解决正常模式更替变化的方法主要有迁移学习、元学习、基于信号处理的方法。但同时他们也存在一些弊端,并不完全适配当前问题。例如迁移学习未考虑本问题中多个历史正常模式之间存在的时序关系。元学习同样未考虑历史正常模式之间的时序关系,同时,需要存储大量的历史数据。基于信号处理的方法,这类方法推理阶段时间开销太大,无法在流量峰值处进行实时异常检测。

因此,我们提出方法LARA解决上述问题。为了解决重训练新观测数据不足的问题,我们提出反刍模块,该模块使用老模型恢复历史分布中与新观测数据相似的数据,并使用历史数据与新观测数据一起估计每一个新观测数据的隐藏状态z。为了解决重训练计算开销大的问题,我们使用映射函数M_z和M_x分别把老模型输出的隐藏状态和重构数据映射为当前分布的隐藏状态估计值与新观测数据,并数学证明了映射函数令映射误差最小的最优形式为线性,极大降低了重训练开销。更进一步,我们根据M_z 与M_x的形式,提出一种相应的损失函数设计范式,可以保证重训练问题是一个凸问题,具有唯一全局最优解,从而保证较快的收敛速率,降低重训练计算开销,避免陷入过拟合。

论文链接

1.论文标题:Pathformer: Multi-Scale Transformers With Adaptive Pathways For Time Series Forecasting

2.论文标题:Explaining Time Series via Contrastive and Locally Sparse Perturbations

3.论文标题:Learning Multi-Pattern Normalities in the Frequency Domain for Efficient Time Series Anomaly Detection

4.论文标题:LARA: ALight and Anti-overfitting Retraining Approach for Unsupervised Time Series Anomaly Detection

原文链接

本文为阿里云原创内容,未经允许不得转载。

相关推荐

基于对比稀疏扰动技术的时间序列解释框架 ContraLSP

论文在白盒时序预测,黑盒时序分类等仿真数据,和一个真实时序数据集分类任务中进行了实验,ContraLSP在解释性能上超越了SOTA模型,显著提升了时间序列数据解释的质量。

阿里云云栖号 3321

Spring AI 抢先体验,5 分钟玩转 Java AI 应用开发

Spring Cloud Alibaba AI 以 Spring AI 为基础,并在此基础上提供阿里云通义系列大模型全面适配,让用户在 5 分钟内开发基于通义大模型的 Java AI 应用。

阿里云云栖号 4775

无需重新学习,使用 Kibana 查询/可视化 SLS 数据

本文演示了使用 Kibana 连接 SLS ES 兼容接口进行查询和分析的方法。

阿里云云栖号 2606

PolarDB-X V2.4 列存引擎开源正式发布

PolarDB-X 采用 Shared-nothing 与存储分离计算架构进行设计,系统由5个核心组件组成。

阿里云云栖号 3063

Apache RocketMQ ACL 2.0 全新升级

RocketMQ ACL 2.0 不管是在模型设计、可扩展性方面,还是安全性和性能方面都进行了全新的升级。旨在能够为用户提供精细化的访问控制,同时,简化权限的配置流程。欢迎大家尝试体验新版本,并应用在生产环境中。

阿里云云栖号 3086

SLS 查询新范式:使用 SPL 对日志进行交互式探索

像 Unix 命令一样支持多级管道级联,像加工预览一样实时处理查询结果,更便捷的交互,更丰富的算子,更灵活的探索半结构化日志,快来试试使用 SPL 语言查询日志数据吧~

阿里云云栖号 2912

得物 ZooKeeper SLA 也可以 99.99%

在本文中,作者探讨了ZooKeeper(ZK)的一个内存占用问题,特别是当有大量的Watcher和ZNode时,导致的内存消耗。

阿里云云栖号 2845

RocketMQ 事件驱动:云时代的事件驱动有啥不同?

本文深入探讨了云时代 EDA 的新内涵及它在云时代再次流行的主要驱动力,包括技术驱动力和商业驱动力,随后重点介绍了 RocketMQ 5.0 推出的子产品 EventBridge,并通过几个云时代事件驱动的典型案例,进一步叙述了云时代事件驱动的常见场景和最佳实践。

阿里云云栖号 2646

Higress 全新 Wasm 运行时,性能大幅提升

本文介绍 Higress 将 Wasm 插件的运行时从 V8 切换到 WebAssembly Micro Runtime (WAMR) 的最新进展。

阿里云云栖号 6033

更优性能与性价比,从自建 ELK 迁移到 SLS 开始

本文介绍了 SLS 基本能力,并和开源自建 ELK 做了对比,可以看到 SLS 相比开源 ELK 有较大优势。

阿里云云栖号 2896

All in One:Prometheus 多实例数据统一管理最佳实践

当管理多个Prometheus实例时,阿里云Prometheus托管版相比社区版提供了更可靠的数据采集和便捷的管理。本文比较了全局聚合实例与数据投递方案,两者在不同场景下各有优劣。

阿里云云栖号 2653

云原生最佳实践系列 6:MSE 云原生网关使用 JWT 进行认证鉴权

本文档介绍了如何在 MSE(Microservices Engine)云原生网关中集成JWT进行全局认证鉴权。

阿里云云栖号 2848

Higress 基于自定义插件访问 Redis

本文介绍了Higress,一个支持基于WebAssembly (WASM) 的边缘计算网关,它允许用户使用Go、C++或Rust编写插件来扩展其功能。文章特别讨论了如何利用Redis插件实现限流、缓存和会话管理等高级功能。

阿里云云栖号 2751

云原生最佳实践系列 7:基于 OSS Object FC 实现非结构化文件实时处理

阿里云OSS对象存储方案利用函数计算FC,在不同终端请求时实时处理OSS中的原图,减少衍生图存储,降低成本。

阿里云云栖号 2792

让你的文档从静态展示到一键部署可操作验证

通过函数计算的能力让阿里云的文档从静态展示升级为动态可操作验证,用户在文档中单击一键部署可快速完成代码的部署及测试。这一改变已在函数计算的活动沙龙中得到用户的认可。

阿里云云栖号 2833

日志服务 HarmonyOS NEXT 日志采集最佳实践

鸿蒙操作系统(HarmonyOS)上的日志服务(SLS)SDK 提供了针对 IoT、移动端到服务端的全场景日志采集、处理和分析能力,旨在满足万物互联时代下应用的多元化设备接入、高效协同和安全可靠运行的需求。

阿里云云栖号 3379

提升团队工程交付能力,从“看见”工程活动和研发模式开始

本文从统一工程交付的概念模型开始,介绍了如何将应用交付的模式显式地定义出来,并通过工具平台落地。

阿里云云栖号 2812

RocketMQ 之 IoT 消息解析:物联网需要什么样的消息技术?

RocketMQ 5.0 是为应对物联网(IoT)场景而发布的云原生消息中间件,旨在解决 IoT 中大规模设备连接、数据处理和边缘计算的需求。

阿里云云栖号 2814

云原生最佳实践系列 5:基于函数计算 FC 实现阿里云 Kafka 消息内容控制 MongoDB DML 操作

在大数据 ETL 场景,将 Kafka 中的消息流转到其他下游服务是很常见的场景,除了常规的消息流转外,很多场景还需要基于消息体内容做判断,然后决定下游服务做何种操作。

阿里云云栖号 2548

云原生最佳实践系列 4:基于 MSE 和 SAE 的微服务部署与压测

云原生应用平台为基于 Spring Cloud / Dubbo 开发的微服务应用提供了完善的能力支撑,例如服务注册发现、Serverless 无服务部署、实例弹性伸缩、微服务链路跟踪、全链路压力测试等,应用能够方便快捷的部署在阿里云上。

阿里云云栖号 2009

RocketMQ 流数据库解析:如何实现一体化流处理?

目前,消息中间件在国内许多行业的关键应用中扮演着至关重要的角色。随着数字化转型的深入,客户在使用消息技术的过程中往往同时涉及交叉场景。

阿里云云栖号 1384

云原生最佳实践系列 3:基于 SpringCloud 应用玩转 MSE

本实践基于云原生应用产品提供微服务注册配置中心、微服务治理和云原生网关等一系列高性能和高可用的企业级云服务能力。

阿里云云栖号 1499

适应多样化需求:WASM 插件在全链路灰度发布中的应用

据调研数据显示,约 70% 的生产故障是由变更引起的。为了消除变更过程存在的风险,在发布过程中,我们总是希望能够用小部分特定流量来验证下新发布应用是否正常。

阿里云云栖号 1826

微调工程师岗位可能并不存在,但使用 AI 编码工具已经成为刚需

智能编码工具的快速普及是否会带来全新的编程模式?“大力出奇迹”的规律还将继续适用吗?

阿里云云栖号 1461

通过阿里云向量检索 Milvus 版和通义千问快速构建基于专属知识库的问答系统

本文展示了如何使用阿里云向量检索 Milvus 版和灵积(Dashscope)提供的通用千问大模型能力,快速构建一个基于专属知识库的问答系统。在示例中,我们通过接入灵积的通义千问 API 及文本嵌入(Embedding)API 来实现 LLM 大模型的相关功能。

阿里云云栖号 1715

MaxCompute 近实时增全量处理一体化新架构和使用场景介绍

随着当前数据处理业务场景日趋复杂,对于大数据处理平台基础架构的能力要求也越来越高,既要求数据湖的大存储能力,也要求具备海量数据高效批处理能力,同时还可能对延时敏感的近实时链路有强需求,本文主要介绍基于 MaxCompute 的离线近实时一体化新架构如何来支持这些综合的业务场景,提供近实时增全量一体的数据存储和计算(Transaction Table2.0)解决方案。

阿里云云栖号 2189

运维人少,如何批量管理上百个微服务、上千条流水线?

云效 AppStack 平台针对微服务和云原生环境下的应用管理难题,提供了以应用为中心的资源、流水线和权限管理解决方案。

阿里云云栖号 1502

云原生最佳实践系列2:基于 MSE 云原生网关同城多活

通过使用阿里云的云原生微服务引擎 MSE,可以实现注册中心的同城容灾多活微服务应用。MSE 提供了云原生网关和注册中心,支持机房级故障的秒级自动转移、非对等部署下的全局流量负载均衡以及流量精细化管控。

阿里云云栖号 1921

RocketMQ 流存储解析:面向流场景的关键特性与典型案例

流存储是流处理的基石,流存储也是 RocketMQ 从应用架构集成走向数据架构集成的基础,为大数据架构的数据组件提供异步解耦的能力。

阿里云云栖号 1675

全新架构!日志服务 SLS 自研免登录方案发布

很多用户在使用日志服务 SLS 时,采用 STS 这种免登的方式,能够快速将日志服务的页面集成到三方的系统中。STS 模式是非常经典且成熟的免登方案,它的优点非常多。

阿里云云栖号 1882
上一篇: PolarDB-X V2.4 列存引擎开源正式发布
下一篇: 无需重新学习,使用 Kibana 查询/可视化 SLS 数据
阿里云云栖号
阿里云云栖号 企业官方账号 企业官方账号
博客等级 码龄9年 2万+粉丝 5464原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值