0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看威廉希尔官方网站 视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

介绍一个用于点云生成的概率模型

工程师邓生 来源:CVPR 2021 作者:Luo, Shitong, and Wei 2022-09-09 10:18 次阅读

摘要ce912ae4-2fcc-11ed-ba43-dac502259ad0.png  

我们提出了一个用于点云生成的概率模型,它可以被用于多种 3D 视觉任务的基础,例如形状补全、上采样、合成和数据增强。受非平衡热力学中扩散过程的启发,我们将点云中的点视为与热库(heat bath)接触的热力学系统中的粒子,其从原始分布扩散成为噪声分布。因此,点云生成相当于学习将噪声分布转换为所需形状分布的反向扩散过程。

具体来说,我们提出将点云的反向扩散过程建模为以某种隐式形状(shape latent)为条件的马尔可夫链。我们推导出训练时封闭形式的变分边界,并提供了模型的实现。实验结果表明,我们的模型在点云生成和自动编码方面取得了有竞争力的表现。

主要贡献ce912ae4-2fcc-11ed-ba43-dac502259ad0.png  

文章受非平衡热力学中的扩散过程启发,提出了一种新的点云概率生成模型。 • 作者从点云基于形状的条件似然的变分下限推导出一个易于处理的训练目标。

大量实验表明我们的模型实现了在点云生成和自动编码有竞争力的性能

方法概述
ce912ae4-2fcc-11ed-ba43-dac502259ad0.png       
本文中作者将点云看作是从概率分布中取样生成的,每一个点都是该概率分布的独立同分布(i.i.d)采样。类似于图像的扩散概率模型,当我们向点云引入噪音时,点云会逐步从与形状有关的复杂分布变为高斯分布的噪音,这一过程被称作正向扩散过程。点云的生成模型可以被视作是如图二所示的逆向扩散过程:根据一个高斯分布取样作为噪音点云,训练一个神经网络以形状为条件逐步对该噪音点云减噪,直至点云恢复其本来的形状。
cebcd392-2fcc-11ed-ba43-dac502259ad0.png    

Figure 2 展示了从噪音点云逆扩散生成点云的过程可以由一个马尔科夫链模型表示。点云中的每一个点由 x(T) 开始以转移概率 p****θ(x(t-1)|x(t),z) 逐步减噪(逆扩散)为目标点云 x(0)。其中 θ 表示可学习的神经网络参数参数,z 表示与形状有关的潜变量。

生成点云时,从正态分布取样w,经先验flow模型映射为形状变量z。同时从正态分布取样噪音点云 x(T)。通过一系列逆向扩散过程,噪音点云以形状z为条件逐渐减噪为目标点云 x(0)。

cee42bb8-2fcc-11ed-ba43-dac502259ad0.png     

训练时,数据集中的点云经过编码器 φ 编码为形状潜码 z 正态分布的均值和方差,再使用与变分编码器(VAE)中的重新参数化技巧相同的方式取样形状潜码 z。如下图所示,输入点云随后经过一系列前向扩散过程逐渐变为噪音点云。训练目标函数采用条件似然概率的变分下限,以最大化似然训练数据集的似然概率。

cf070a48-2fcc-11ed-ba43-dac502259ad0.png     

需要注意的是,变分自动编码器VAE的先验概率选用正态分布,本文应用 Flow 模型将简单的正态分布映射 p(w) 到更复杂的分布模型 p(z)。训练时,q(z|x(0) 经过逆向的 Flow 映射回 w, 损失函数包含 w 的先验概率分布和后验概率分布之间 KL 散度。

实验结果

ce912ae4-2fcc-11ed-ba43-dac502259ad0.png       

文章选用 ShapeNet 数据集进行点云生成实验、点云重建以及点云特征提取实验。 Table 1 总结了扩散概率模型与包括GAN、Flow模型在内的其他点云生成方法相比在最小匹配距离 (MMD), 覆盖分数 (COV), 最近邻分类器准确率(1-NNA)以及 Jenson-Shannon 散度 (JSD) 上可以 SOTA 方法媲美。

cf3b756c-2fcc-11ed-ba43-dac502259ad0.png     

下图展示了一些生成点云的样例,包含了飞机和椅子两个分类。

cf546a18-2fcc-11ed-ba43-dac502259ad0.png    

Table 2 列出了扩散概率模型自动编码重建性能。其重建点云与原始点云之间的 Chamfer 距离(CD) 和 动土距离 (MD) 也可以达到与 SOTA 相近的数值。 cf7df432-2fcc-11ed-ba43-dac502259ad0.png     

下图给出了几个点云重构的例子,最左侧一列是真实点云,然后依次是扩散模型、ShapeGF 以及 AtlasNet。

cfa2ace6-2fcc-11ed-ba43-dac502259ad0.png    

Table 3 显示扩散概率模型与其他模型在表征学习方面的比较。只使用一个线性SVM作为分类器,扩散概率模型学习的表征在ModelNet10和ModelNet40数据集上分别可以达到94.2%和87.6%的准确率,与SOTA方法相近或更好。 cfc3e776-2fcc-11ed-ba43-dac502259ad0.png    

Figure 6展示在潜变量空间插值变换获得相应点云的变化:

cfe43382-2fcc-11ed-ba43-dac502259ad0.png


总结

文章将扩散概率模型用于点云生成,推理时以形状采样为条件将噪音点云逆向扩散为目标点云;训练时将输入正向扩散为噪音点云,以从点云似然变分下限推导出的损失函数训练模型。• 实验表明这样的扩散模型实现了在点云生成、自动编码以及表征学习任务实现了有竞争力的性能。



审核编辑:刘清

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 编码器
    +关注

    关注

    45

    文章

    3640

    浏览量

    134467
  • GaN
    GaN
    +关注

    关注

    19

    文章

    1935

    浏览量

    73372
  • MMD
    MMD
    +关注

    关注

    0

    文章

    3

    浏览量

    6691

原文标题:3D点云生成的扩散概率模型(CVPR 2021)

文章出处:【微信号:3D视觉工坊,微信公众号:3D视觉工坊】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    大语言模型优化生成管理方法

    大语言模型的优化生成管理是系统工程,涉及模型架构、数据处理、内容控制、实时响应以及伦理监管等多个层面。以下,是对大语言
    的头像 发表于 12-02 10:45 79次阅读

    NVIDIA推出全新生成式AI模型Fugatto

    NVIDIA 开发了全新的生成式 AI 模型。利用输入的文本和音频,该模型可以创作出包含任意的音乐、人声和声音组合的作品。
    的头像 发表于 11-27 11:29 351次阅读

    阿里开源Qwen2.5-Coder代码模型系列

    Qwen2.5-Coder-32B-Instruct,在代码生成领域取得了显著成就。据官方介绍,该模型在EvalPlus等十多个主流的代码生成基准测试中,均刷新了开源
    的头像 发表于 11-14 11:28 349次阅读

    NVIDIA Nemotron-4 340B模型帮助开发者生成合成训练数据

    Nemotron-4 340B 是针对 NVIDIA NeMo 和 NVIDIA TensorRT-LLM 优化的模型系列,该系列包含最先进的指导和奖励模型,以及
    的头像 发表于 09-06 14:59 310次阅读
    NVIDIA Nemotron-4 340B<b class='flag-5'>模型</b>帮助开发者<b class='flag-5'>生成</b>合成训练数据

    lpm模型里的zi是什么

    关键的参数,用于表示个体特征或协变量。 LPM模型的基本概念 2.1 Logit模型 Logit模型
    的头像 发表于 07-09 10:09 447次阅读

    北京灵奥科技基于亚马逊科技打造大模型中间件

    助力企业加速应用生成式AI 北京2024年6月27日 /美通社/ -- 北京灵奥科技基于亚马逊科技的生成式AI、数据库和容器等服务,打造大模型
    的头像 发表于 06-27 21:21 561次阅读

    AD8275 spice模型“AD8275.cir”自动生成LTspice模型用来仿真,仿真时弹出图片所示窗口如何处理?

    我用官网的AD8275 spice模型“AD8275.cir”自动生成LTspice模型用来仿真,仿真时弹出图片所示窗口,如何处理?
    发表于 06-04 12:27

    基于stm32h743IIK在cubeai上部署keras模型模型输出结果都是同概率数组,为什么?

    基于stm32h743IIK,在cubeai上部署keras模型模型输出结果都是同概率数组,一点也搞不明白,看社区也有相同的问题,但没
    发表于 05-20 08:18

    ISEDA首发!大语言模型生成的代码到底好不好使

    在大模型席卷切、赋能百业的浪潮里,“码农”也没能独善其身。各种代码自动生成的大模型,似乎描绘了一个人人都能像资深工程师
    发表于 05-16 13:41 332次阅读
    ISEDA首发!大语言<b class='flag-5'>模型</b><b class='flag-5'>生成</b>的代码到底好不好使

    阿里通义大模型助力“小爱同学”强化多模态AI生成能力

    小米的人工智能助手“小爱同学”近期与阿里通义大模型达成战略合作,共同提升其多模态AI生成能力,特别是在图片生成与理解方面。这次合作不仅将强化“小爱同学”的功能,还将在小米的多个产品线
    的头像 发表于 05-13 09:19 813次阅读

    阿里视频生成威廉希尔官方网站 创新!视频生成使用了哪些AI威廉希尔官方网站 和算法

    电子发烧友网报道(文/李弯弯)日前,阿里宣布通义实验室研发的视频生成模型EMO正式上线通义App,免费对所有人开放。借助这功能,用户可以在歌曲、热梗、表情包中任选
    的头像 发表于 05-08 00:07 3369次阅读

    【大语言模型:原理与工程实践】大语言模型的基础威廉希尔官方网站

    概率推断,利用共现矩阵学习每个词的主题分布,进而将其作为词的表示向量。在大规模语料库中进行模型训练,使语义相似的词具有相似的主题分布。然而,这类方法存在问题,即
    发表于 05-05 12:17

    生成式 AI 进入模型驱动时代

    随着ChatGPT和大型语言模型(LLM)呈现爆炸式增长,生成式人工智能(GenerativeAI)成为近来的大热词。由此引发了场争论:哪种AI
    的头像 发表于 04-13 08:12 531次阅读
    <b class='flag-5'>生成</b>式 AI 进入<b class='flag-5'>模型</b>驱动时代

    基于深度学习的方法在处理3D进行缺陷分类应用

    背景部分介绍了3D应用领域中公开可访问的数据集的重要性,这些数据集对于分析和比较各种模型至关重要。研究人员专门设计了各种数据集,包括用于
    的头像 发表于 02-22 16:16 1134次阅读
    基于深度学习的方法在处理3D<b class='flag-5'>点</b><b class='flag-5'>云</b>进行缺陷分类应用

    【爱芯派 Pro 开发板试用体验】人体姿态估计模型部署前期准备

    模型,会先生成针对关键的heatmap图像,来预测关键的位置;同时也会PAF图像,也叫做关节的亲和力场,哪些关节的亲和力大,那么把它们划分为同
    发表于 01-01 01:04