【机器学习】图神经网络(NRI)模型原理和运动轨迹预测代码实现

VIP【机器学习】图神经网络(NRI)模型原理和运动轨迹预测代码实现
NRI模型利用VAE和GNN从观测数据中学习系统动态和交互图,展现出在无监督学习、图结构建模、多步预测和连续松弛方面的强大能力。未来工作可探索动态图结构学习、应用于更复杂系统、提高模型泛化能力和计算效率,以及与其他模型的结合。NRI作为新兴的图神经网络方法,在理解和预测相互作用系统方面潜力巨大,有望在各领域发挥重要作用。
开通可读全文 ·2.7k 人阅读
最低0.47元/天 解锁文章

1.引言

1.1.NRI研究的意义

在许多领域,如物理学、生物学和体育,我们遇到的系统都是由相互作用的组分构成的,这些组分在个体和整体层面上都产生复杂的动态。建模这些动态是一个重大的挑战,因为往往我们只能获取到个体的轨迹数据,而不知道其背后的相互作用机制或具体的动态模型。

以篮球运动员在球场上的运动为例,运动员的动态显然受到其他运动员的影响。作为观察者,我们能够推断出场上可能发生的各种交互,如防守、掩护等。然而,手动标注这些交互不仅繁琐,而且耗时。因此,一个更有前景的方法是在无监督的条件下学习这些底层的交互模式,这些模式可能在多种不同的任务中都具有通用性。
在这里插入图片描述

1.2.主要内容

本文将介绍一种基于图结构潜在空间的变分自编码器模型——神经关系推理(Neural Relational Inference)模型。这种模型在相关论文中被详细阐述,并配备了代码库以便于实现和实验。

神经关系推理模型旨在解决预测粒子运动轨迹的问题,特别是在存在未知粒子间相互作用的情况下。设想我们有一组粒子(例如带电粒子),它们因某种相互作用(如电磁力)而在空间中移动。我们观察到每个粒子在一段时间T内的运动轨迹,包括其位置和速度。每个粒子的新状态不仅由其当前状态决定,还受到其他粒子的影响。我们拥有一组粒子的轨迹数据,但粒子间的确切相互作用未知。

模型的目标是通过学习粒子的动态行为,基于已知的轨迹样本来预测未来的轨迹。如果已知粒子间的相互作用形式(即它们如何以图的形式相互连接),预测粒子的动态将更为直接。在这种理想情况下,每个粒子对应于图中的一个节点,而节点间的连接强度可以通过边的权重来表示。然而,在这个问题中,我们并没有获得这样的交互图。

因此,神经关系推理模型采用了变分自编码器的编码器部分,以从给定的轨迹数据中采样潜在的交互图。具体来说,编码器部分使用图神经网络(GNN)技术来捕捉粒子间的潜在关系,并生成一个能够代表这些关系的图结构。这个图结构随后被用作解码器部分的输入,以预测粒子的未来轨迹。

通过这种方式,神经关系推理模型能够同时学习粒子间的潜在交互和粒子的动态行为,从而实现更准确的轨迹预测。在训练过程中,模型通过最大化给定轨迹数据下的似然函数(即证据下界ELBO)来优化其参数,以使得生成的潜在交互图能够最好地解释和预测观察到的轨迹。

2.神经关系推理模型(NRI)原理

2.1.NRI的基本原理

神经关系推理(NRI)模型是一个专注于从观察到的轨迹中推断对象间相互作用和动态行为的模型。它由两个核心组件组成:编码器和解码器,这两个组件是联合训练的。

2.1.1.编码器:

编码器负责根据观察到的轨迹数据 x x x 来预测对象间的相互作用,即潜在的图结构 z z z。这里的轨迹数据 x x x 包括 N 个对象在 T 个时间步上的特征向量集合,具体地,我们用 x i t x^t_i xit​ 表示第 t 个时间点上对象 v i v_i vi​ 的特征向量(如位置和速度)。所有对象在时间点 t 的特征集合记作 x t = ( x 1 t , … , x N t ) x^t = (x^t_1, \ldots, x^t_N) xt=(x1t​,…,xNt​),而对象 v i v_i vi​ 的完整轨迹是 x i = ( x i 1 , … , x i T ) x_i = (x^1_i, \ldots, x^T_i) xi​=(xi1​,…,xiT​)。

编码器 q ( z ∣ x ) q(z|x) q(z∣x) 的目标是输出一个分布,该分布描述了给定轨迹 x x x 下潜在图结构 z z z 的可能性。特别是, z i j z_{ij} zij​ 表示对象 v i v_i vi​ 和 v j v_j vj​ 之间的离散边类型,用于表示它们之间的交互类型。编码器使用 K 种可能的交互类型对 z i j z_{ij} zij​ 进行一位有效编码。

2.1.2.解码器:

解码器则基于编码器输出的潜在图结构 z z z 和已知的轨迹数据 x x x 来学习并预测对象的动态行为。具体来说,解码器通过以下公式定义:
p ( x ∣ z ) = ∏ t = 1 T p ( x t + 1 ∣ x t , x 1 , z ) p(x|z) = \prod_{t=1}^{T} p(x_{t+1}|x^t, x^1, z) p(x∣z)=t=1∏T​p(xt+1​∣xt,x1,z)
它使用图神经网络(GNN)来模拟给定潜在图 z z z 和历史轨迹 x t x^t xt 下,下一个时间步 t + 1 t+1 t+1 的轨迹 x t + 1 x_{t+1} xt+1​ 的分布。

2.1.3.模型优化:

整个模型基于变分自编码器(VAE)框架进行优化,目标是最大化证据下界(ELBO):
L = E q ( z ∣ x ) [ log ⁡ p ( x ∣ z ) ] − KL [ q ( z ∣ x ) ∣ ∣ p ( z ) ] L = \mathbb{E}_{q(z|x)}[\log p(x|z)] - \text{KL}[q(z|x) || p(z)] L=Eq(z∣x)​[logp(x∣z)]−KL[q(z∣x)∣∣p(z)]
其中,KL 表示 Kullback-Leibler 散度,用于衡量两个概率分布之间的差异。先验 p ( z ) p(z) p(z) 假设边类型是均匀分布的,但也可以根据需要采用其他先验分布,比如鼓励稀疏图的先验。

NRI 模型通过编码器和解码器的联合训练,能够无监督地从观察到的轨迹中学习对象间的相互作用和动态行为,这对于理解复杂系统的运动规律和交互模式具有重要意义。

2.2.与VAE编码器的差异

与原始的变分自编码器(VAE)模型相比,我们的神经关系推理(NRI)模型确实存在几个显著的不同之处。以下是对这些差异的详细改写和描述:

  1. 多时间步预测:
    在原始的VAE中,解码器通常被训练来根据潜在变量(z)重构单个数据点。然而,在我们的NRI模型中,为了捕捉系统动态的连续性和交互的长期影响,我们训练解码器来预测多个时间步的轨迹,而不仅仅是单个时间步。这种设置使得解码器在预测过程中能够充分利用潜在交互图(z)中的信息,从而避免了解码器忽略潜在变量(z)的问题。

  2. 离散潜在变量与连续松弛:
    原始的VAE通常处理连续的潜在变量,而我们的NRI模型则使用离散的潜在变量(z)来表示对象之间的交互类型。为了能够在反向传播过程中优化离散的潜在变量,我们采用了连续的松弛方法,如Gumbel-Softmax或Straight-Through(ST)估计器,以便能够利用重参数化技巧进行梯度传播。这种方法允许我们在保持潜在变量离散性的同时,有效地优化模型参数。

  3. 未建模的初始状态:
    在原始的VAE中,通常会对整个数据序列(包括初始状态)进行建模。然而,在我们的NRI模型中,我们主要关注于对象之间的动态交互和这些交互如何影响对象的轨迹。因此,我们没有对初始状态的概率(p(x^1))进行显式建模。尽管如此,如果需要,我们可以轻松地扩展模型以包含对初始状态的建模,但这通常不会显著影响模型在动态和交互预测方面的性能。

  4. 图神经网络(GNN)的引入:
    除了上述差异外,我们的NRI模型还引入了图神经网络(GNN)来捕捉对象之间的交互。GNN能够处理图结构的数据,并通过在节点和边之间传递信息来更新节点的表示。在我们的模型中,GNN被用作解码器的一部分,它根据潜在交互图(z)和历史轨迹来预测未来的轨迹。这种图结构的数据处理方法使得我们的模型能够更好地捕捉对象之间的复杂交互和依赖关系。

NRI模型通过引入多时间步预测、离散潜在变量与连续松弛、以及图神经网络等方法,在保持原始VAE框架灵活性的同时,针对动态系统和交互推理问题进行了有效的改进和优化。

模型的概览图如图 1 所示。接下来,我们将详细介绍模型的编码器和解码器部分。
在这里插入图片描述图 1. NRI模型由两个共同训练的部分构成:一个编码器,它根据输入轨迹预测潜在交互的概率分布 q ( z ∣ x ) q(z|x) q(z∣x);以及一个解码器,它根据编码器的潜在编码和轨迹的前一时间步生成轨迹预测。编码器采用具有多轮节点到边(v → e)和边到节点(e → v)消息传递的GNN形式,而解码器则并行运行多个GNN,每个GNN对应编码器潜在编码 q ( z ∣ x ) q(z|x) q(z∣x)提供的一种边类型。(图引用自论文:Neural Relational Inference for Interacting Systems
)

2.3.编码器

编码器在NRI模型中的核心任务是,在观察到轨迹数据 x = ( x 1 , … , x T ) x = (x_1, \ldots, x_T) x=(x1​,…,xT​) 的基础上,推断出对象间潜在的成对交互类型 z i j z_{ij} zij​。由于真实世界的图结构通常是未知的,我们利用一个在全连接图(即每对对象之间都存在潜在的边)上运作的图神经网络(GNN)来预测这种潜在的图结构。

具体地,我们构建编码器模型如下:

q ( z i j ∣ x ) = softmax ( f enc ( x ) i j 1 : K ) q(z_{ij}|x) = \text{softmax}(f_{\text{enc}}(x)_{ij}^{1:K}) q(zij​∣x)=softmax(fenc​(x)ij1:K​)

其中, f enc ( x ) f_{\text{enc}}(x) fenc​(x) 是我们的编码器函数,它在一个不包含自环的全连接图上应用GNN操作。给定输入轨迹 x 1 , … , x T x_1, \ldots, x_T x1​,…,xT​,编码器执行以下消息传递操作来逐步构建对象的表示和边的嵌入:

  1. 初始化节点嵌入:
    h j 1 = f emb ( x j ) h^1_j = f_{\text{emb}}(x_j) hj1​=femb​(xj​)
    这里, f emb f_{\text{emb}} femb​ 是一个嵌入函数,它将原始轨迹数据 ( x_j ) 映射到初始的节点表示 h j 1 h^1_j hj1​。

  2. 边嵌入的第一层更新:
    h ( i j ) 1 = f e 1 ( [ h i 1 , h j 1 ] ) h^1_{(ij)} = f^1_e([h^1_i, h^1_j]) h(ij)1​=fe1​([hi1​,hj1​])
    对于每对节点 ( i , j ) (i, j) (i,j), f e 1 f^1_e fe1​ 是一个边更新函数,它接受两个相邻节点的嵌入 h i 1 h^1_i hi1​ 和 h j 1 h^1_j hj1​,并输出一个更新的边嵌入 h ( i j ) 1 h^1_{(ij)} h(ij)1​。

  3. 节点嵌入的第二层更新:
    h j 2 = f v 1 ( ∑ i ≠ j h ( i j ) 1 ) h^2_j = f^1_v\left(\sum_{i \neq j} h^1_{(ij)}\right) hj2​=fv1​⎝⎛​i​=j∑​h(ij)1​⎠⎞​
    这里, f v 1 f^1_v fv1​ 是一个节点更新函数,它聚合所有指向节点 j j j 的边嵌入 h ( i j ) 1 h^1_{(ij)} h(ij)1​,并据此更新节点 j j j 的嵌入 h j 2 h^2_j hj2​。

  4. 边嵌入的第二层更新(可选):
    h ( i j ) 2 = f e 2 ( [ h i 2 , h j 2 ] ) h^2_{(ij)} = f^2_e([h^2_i, h^2_j]) h(ij)2​=fe2​([hi2​,hj2​

VIP 图神经网络基础入门+GNN细胞视频轨迹示踪论文复现(一) 随着人工智能的CNN、RNN各种模型的不断发展,基于非欧式空间距离的图数据结构的建模问题尤为突出,2016年图卷积GCN出现,直到近两年现在GCN才开始火爆,图神经网络应用在深度度量学习(DML)技术的也是越来越热门,它与深度学习(DL)有所不同,DML学习特征更加多维化,详细化。 开通可读全文·1.6k 阅读·4 点赞·9 收藏 阅读全文

相关推荐

【重读经典】轨迹预测迈向工业落地第一文:VectorNet

对于智能体,其轨迹是关于时间的有向样条曲线形式。是在2020年由Waymo提出的轨迹预测网络.它的矢量化场景表征方法极大的提高了模型的性能和效率,直至今天仍然是主流的表征方法,可谓是轨迹预测迈向工业落地的里程碑论文.本文将重新梳理VectorNet.其他交通参与者采用的是相对偏移,起点是上一帧对目标agent的观测,并且基于上一帧目标agent观测位置的heading建立相对坐标系。归一化:为了使输入节点特征相对位置不变,对于目标智能体,作者以目标智能体最后的观测时间下的位置,对所有向量的坐标进行归一化。

自动驾驶小白说 1381

NRI神经关系推理:从图结构潜变量到轨迹预测的PyTorch实现

图神经网络在实际任务中常默认图结构已知,但在物理系统、多智能体轨迹预测等场景里,物体间的交互关系往往需要从观测数据中自动推断。神经关系推理(NRI)通过将离散图结构视为潜变量,在端到端框架中同时完成关系推理与动力学预测。其编码器基于消息传递输出边类型后验分布,解码器按边类型使用独立消息函数结合GRU实现多步轨迹预测,训练中利用Gumbel-Softmax实现离散采样的反向传播。在弹簧质点系统上的PyTorch实现表明,NRI不仅能显著提升轨迹预测精度,还能恢复出超过九成的真实连接关系,为复杂系统建模、因果发

weixin_34059951的博客 362

基于GNN的3D MOT和轨迹预测联合框架论文阅读

Joint 3D Tracking and Forecasting with Graph Neural Network and Diversity Sampling 论文下载地址 这篇文章联合训练3D追踪和预测网络,同时完成追踪和预测任务,本篇读书笔记主要研究MOT任务。 本文仅仅使用了运动特征,没有使用表观特征。本文使用双层LSTM获取历史轨迹的运动特征,双层MLP获取识别结果的运动特征,使用两层GNN网络融合节点特征,GNN网络的特征融合不独立计算,最终使用匈牙利算法得到匹配结果。 亮点: 与AB3

xyq1212的博客 1584

轨迹预测算法vectorNet调研报告

传统的行为预测方法是规则的,基于道路结构的约束生成多个行为假设。最近,很多基于学习的预测方法被提出。他们提出了对于不同行为假设的进行概率解释的好处,但是需要重构一个新的表示来编码地图和轨迹信息。有趣的是,虽然高精度地图是高度结构化的,但是目前大多数预测方法选择将高精度地图渲染成颜色编码的属性,并且采用感受野有限的卷积神经网络对场景信息进行编码。这带来一个疑问:能否直接从结构化的高精度地图中学习到有意义的场景信息表示?

weixin_44077556的博客 1万+

【动手学轨迹预测】1.4 基于Sequential Network的预测模型

基于深度学习的轨迹预测模型, 既能考虑目标的物理特性, 也能考虑目标与环境, 地图的联系, 还能考虑智能体之间的交互关系. 因此不管是在工业界还是学术界, 目前都是轨迹预测的主流方法. 本节将介绍基于深度学习的轨迹预测模型的基本架构.本节将总体性的介绍Sequential Network的预测模型.Sequential Network, 是一种线性的、顺序的模型,由一系列层按照顺序堆叠而成. 各层之间按照先后顺序进行堆叠. 前面一层的输出就是后面一层的输入, 通过不同网络层的堆叠, 构建出神经网络.

自动驾驶小白说 2478

基于深度学习的无人机轨迹预测

随着无人机技术的不断发展,无人机在农业、物流、监控等领域的应用日益广泛。精准的轨迹预测不仅能够提高无人机飞行的效率和安全性,还能在应对复杂环境下的突发状况时做出迅速反应。因此,基于深度学习的无人机轨迹预测已成为当前研究和应用的热门方向。

crasher123的博客 2475

使用循环神经网络(RNN)对车辆轨迹数据进行建模和预测,采用长短期记忆网络(LSTM)模型

在实际应用中,可以将模型的实时预测结果进行动态展示,以实时监测车辆的运动路径和预测效果。可以将实时的车辆位置和预测的轨迹路径显示在地图上,并随着时间的推移更新显示,使用户能够实时了解车辆的行驶情况。:如果你想要一个包含来自自动驾驶汽车的大量传感器数据的数据集,用于训练和评估自动驾驶算法,那么选择 Waymo 的开放数据集可能是一个很好的选择。:如果你想要一个广泛用于自动驾驶汽车开发的数据集,包括车辆行驶轨迹、传感器数据等,那么选择 Udacity 提供的数据集可能是一个不错的选择。

MGHYN的博客 2226

导航与定位:基于特征的导航_(6).运动模型与预测

在基于特征的导航系统中,运动模型与预测是关键的组成部分。运动模型用于描述机器人或车辆在环境中的运动状态,而预测则基于当前的运动模型和传感器数据来估计未来的位置和姿态。这一部分将详细介绍运动模型的基本原理和预测方法,并通过具体的代码示例来说明如何实现这些技术。

zhubeibei168的博客 948

Brainstorm简单分析近红外数据(fNIRS)(一)

Brainstorm分析fNIRS数据

weixin_43604817的博客 1353

大模型应用开发面试全流程实录:RAG、上下文工程与多Agent协作技术深度解析

Transformer 依靠多头自注意力和位置编码实现高效序列建模。Prompt Engineering包含多种设计思路,如 Zero-shot、Few-shot、Chain-of-thought,提升模型泛化和推理。Token 和上下文窗口直接影响模型性能与成本,选择需结合实际业务场景(如客服对话需长窗口)。Embedding 技术是 RAG 的基础,决定了语义检索效果。向量数据库如 FAISS、Milvus等分别适用于本地/分布式检索。

m0_52114506的博客 832

运算放大器测试方法-输入失调电压

由于运放输入回路的不对称性,在输入端将产生一定的误差信号,从而限制运放信号灵敏度。通常用输入失调电压(VOS)、输入失调电流(Ios)和输入偏置电流(IB)表示。运放有四个主要特征:输入失调特征、开环特征、共模特征及输出特征。其放大倍数较大,由于外界的影响,即使运放的输入端产生较小的输入信号,经过放大,在输出端也会产生较大的误差。为能精确测量其性能,一般采用辅助运放进行测试。下面着重讲了运放的主要参数及如何精确测量这些参数。文中DUT代表被测运放,A代表辅助运放。

weixin_46135931的博客 1万+

生存网络与mlr3proba

通过结合生存网络和mlr3proba,可以使用生存网络模型来预测个体在给定时间点发生事件的概率,并使用mlr3proba提供的工具进行模型的训练、评估和选择最佳模型。iii)基本的机器学习(ML)方法,如重新排序和调整。在本文中,我们将只讨论前五种,因为它们在文献中得到了更好的建立,并且它们具有相同的接口,这简化了调优,我们将在下面看到。我们不会为模型指定自定义架构,而是使用默认架构,如果你熟悉PyTorch,那么你可以选择创建自己的架构,如果你愿意的话,通过将其传递给模型中的custom_net参数。

weixin_46587777的博客 1367

深入IR2104数据手册:被忽略的SD引脚用法和死区时间调节实战

本文深入解析IR2104半桥驱动芯片的SD引脚用法和死区时间调节技巧,帮助硬件工程师优化电机控制和电源转换系统。通过详细的电路设计、实测数据和调试方法,揭示SD引脚的多重保护机制和死区时间的精密调节策略,提升系统安全性和效率。

weixin_30342363的博客 392

Ubuntu 24.04 高效部署Slurm集群:从零到生产环境实战

本文提供了一份在Ubuntu 24.04 LTS系统上从零开始部署生产级Slurm高性能计算集群的完整实战指南。内容涵盖网络配置、Munge安全认证、Slurm核心组件安装与配置,并深入讲解了cgroups资源隔离、NFS共享存储、配置无感知模式等生产环境优化技巧,最后通过实例演示如何提交与管理Slurm作业,帮助用户构建高效、稳定的计算平台。

weixin_29213655的博客 568

C#与欧姆龙PLC 通信——fins udp协议

该调试助手专门为了帮助大家学习以及测试Fins-Udp通信,下面进行详细介绍。

qq_34059233的博客 2877

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

怀旧版电脑GBC模拟器

再现原版GBC掌机的界面,电脑运行连游戏界面都一样大小,很怀旧,很真实,(英文版)强烈推荐,很小的文件,很难才找到的。

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

上一篇: 【机器学习】基于Gumbel-Sinkhorn网络的“潜在排列问题”求解
下一篇: 【深度学习】基于因果表示学习的CITRIS模型原理和实验
MUKAMO
博客等级 码龄10年 2666粉丝 179原创
评论 26
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

MUKAMO

你的鼓励是我们创作最大的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值