0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看威廉希尔官方网站 视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

PiCO核心点—对比学习引入PLL

深度学习自然语言处理 来源:圆圆的算法笔记 作者:圆圆的算法笔记 2022-08-22 11:35 次阅读

今天给大家介绍ICLR 2022最佳论文PICO: CONTRASTIVE LABEL DISAMBIGUATION FOR PARTIAL LABEL LEARNING,这篇文章解决的是Partial Label Learning(PLL)问题,即训练数据中一个图像不是一个确定的label,而是一组可能的label集合,需要预测出每个样本的真实label。

2e372fe2-21c8-11ed-ba43-dac502259ad0.png

下载地址:https://openreview.net/pdf?id=EhYjZy6e1gJ

1什么是Partial Label Learning(PLL)

有监督学习是最常见的一种机器学习问题,给定一个输入样本,预测该样本的label是什么。Partial Label Learning(PLL)问题也是预测一个样本对应的label,但是和有监督学习问题的差异是,PLL问题的训练数据中,一个输入样本对应多个候选label,真正的label是候选label中的一个。

为什么会有PLL这样的问题呢?因为在现实问题中,label来自于人工标注,而有的样本人工标注比较困难,只标注一个label会造成噪声较大的问题。例如下面的例子中,比较难区分这张狗对应的类别是哈士奇、雪橇犬还是萨摩耶,强行让人工标注成一个确定的label容易在数据中引入噪声。PLL放宽了这种限制,在标注的label中可以引入一些不确定性,给一个样本赋予多个候选label,模型学习从这些label中预测ground-truth对应的那个label。

poYBAGMC-4eAYRYNAACACdSoxmk001.png

2PLL问题的难点

PLL的效果目前和有监督学习还有一定差距。PLL问题的难点在于标签消歧,也就是从候选label集合中预测出样本的真实label。业内一般的解法是学习样本高质量的表示,然后根据在特征空间中距离近的样本更可能属于同一类别这个假设,实现标签消歧。

然而,这种方法的问题在于,当label是一个不确定的集合而不是一个确定值时,这种不确定性也会对表示学习的过程造成负面影响。表示学习效果不好,又会对标签消歧的效果造成负面影响。

为了解决这个问题,ICLR 2022的最佳论文提出了基于对比学习的PLL问题求解方法。利用对比学习提升表示学习的效果,再利用良好的表示对label进行消歧,消歧后的label又有助于进一步生成良好的样本表征,形成良性循环,提升整体效果。

这篇文章提出的Partial label learning with COntrastive label disambiguation (PiCO) framework主要包括利用对比学习提升表示生成质量,以及基于聚类的label消歧两个核心模块。下面,我们走进这篇最佳论文,理解其背后的思想。

3PiCO核心点1—对比学习引入PLL

第一个核心点是为了提升PLL中的表示生成效果,作者将对比学习的方法引入到PLL问题中。对比学习在有监督问题上已经取得广泛的应用,但是在PLL问题上目前还没有相关研究。将对比学习应用到PLL的一个最主要的问题是正样本对如何构造。在有监督学习中,每个样本都有其对应的确定性label,天然可以构造出正样本。而PLL问题中,每个样本的label是不确定的,无法直接获取正样本对。

为了解决上述问题,本文提出利用分类器对样本的预测结果作为样本真实label(也就是伪标签persudo label),根据这个label构造正样本对。在得到正样本对后,利用MoCo对比学习框架进行表示学习,将样本的两种view分别输入两个参数共享的Encoder,其中key侧的Encoder使用动量更新的方式减小计算开销。对比学习loss作为一个辅助任务和主任务联合学习。对MoCo等对比学习框架不了解的同学,可以参考我之前的文章:对比学习中的4种经典训练模式。利用对比学习,可以让样本在特征空间形成类簇,这也为后续的标签消歧奠定了基础。

2e652a6e-21c8-11ed-ba43-dac502259ad0.png

4PiCO核心点2—标签消歧

本文采用了一种类似EM算法的思路实现标签消歧。首先,对于每个类别维护一个embedding向量u,它可以视为类的类簇中心。对于每个样本的label,在PLL中也用一个N维向量表示s,N代表类别数量,表示了该样本属于每个类别的概率。接下来为了实现标签消歧,在训练过程中不断更新s,更新方法是看样本表示和哪个类别向量最近,就用滑动平均的方式对s的那一维进行更新,公式可以表示为:

2e78dd8e-21c8-11ed-ba43-dac502259ad0.png

相应的,类别向量u也利用滑动平均的方式进行更新,公式如下:

2e83af52-21c8-11ed-ba43-dac502259ad0.png

通过这两个步骤的迭代进行,逐步实验标签消歧。这其实和Kmean以及Kmeans++这种方法类似,本质上就是一个聚类过程。从PiCO框架整体来看,对比学习提升表示学习效果,表示质量的提升又促进了下游基于聚类的标签消歧效果,标签的确定性增加又进一步提升了表示生成的质量,形成了良性循环。

5实验结果

本文进行了大量实验从多个角度验证了PiCO解决PLL问题的效果。在样本表示的学习上,从下面的t-SNE向量可视化分析图可以看出,PiCO生成不用类别的向量表示非常清晰,类内的内聚性和类间的差异性相比其他方法都是更好的。

2e92e1a2-21c8-11ed-ba43-dac502259ad0.png

下面的实验结果对比了PiCO和和其他方法在PLL问题上的效果,可以看出PiCO要比其他方法效果有非常显著的提升。

2ea22838-21c8-11ed-ba43-dac502259ad0.png

6总结

本文介绍了ICLR 2022的最佳论文,在Partial Label Learning问题上的解决方法。通过这篇文章,核心是理解顶会最佳论文的设计思路,本文用的求解方法比较优雅,背后的设计思路也非常清晰,背后的思考非常值得学习。

审核编辑 :李倩

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • pll
    pll
    +关注

    关注

    6

    文章

    776

    浏览量

    135142
  • 机器学习
    +关注

    关注

    66

    文章

    8408

    浏览量

    132580

原文标题:ICLR2022最佳论文解读:对比学习解决Partial Label Learning问题

文章出处:【微信号:zenRRan,微信公众号:深度学习自然语言处理】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    Raspberry Pi Pico 2 W 发布

    树莓派官方今日宣布推出支持无线连接的新款 MCU(微控制器)主板 Raspberry Pi Pico 2 W,售价 7 美元, 较此前的有线版本高出 2 美元 。     Raspberry Pi
    的头像 发表于 11-25 18:25 472次阅读
    Raspberry Pi <b class='flag-5'>Pico</b> 2 W 发布

    Raspberry Pi Pico 2

    Raspberry Pi Pico 2显著提升了性能,同时保持了与之前的Raspberry Pi Pico系列器件的兼容性。 Pico 2具有更高的内核时钟速度、双倍内存、更强大的Arm® 内核
    的头像 发表于 11-25 15:10 559次阅读
    Raspberry Pi <b class='flag-5'>Pico</b> 2

    世界最小的Intel Core Ultra超高效能主板---PICO-MTU4

    作为配备全新IntelCoreUltra的最小主板,PICO-MTU4利用了存算分离架构设计中的混合CPU核心架构和专用AI引擎NPU,从而实现了多线程性能提升高达24%和SoC功耗降低高达50
    的头像 发表于 09-28 08:01 171次阅读
    世界最小的Intel Core Ultra超高效能主板---<b class='flag-5'>PICO</b>-MTU4

    用于智能显示的TI DLP® Pico™威廉希尔官方网站

    电子发烧友网站提供《用于智能显示的TI DLP® Pico™威廉希尔官方网站 .pdf》资料免费下载
    发表于 08-31 10:12 0次下载
    用于智能显示的TI DLP® <b class='flag-5'>Pico</b>™威廉希尔官方网站

    用于设备显示的TI DLP® Pico™威廉希尔官方网站

    电子发烧友网站提供《用于设备显示的TI DLP® Pico™威廉希尔官方网站 .pdf》资料免费下载
    发表于 08-31 10:07 0次下载
    用于设备显示的TI DLP® <b class='flag-5'>Pico</b>™威廉希尔官方网站

    PLL1705/PLL1706双通道PLL多时钟发生器数据表

    电子发烧友网站提供《PLL1705/PLL1706双通道PLL多时钟发生器数据表.pdf》资料免费下载
    发表于 08-22 11:32 0次下载
    <b class='flag-5'>PLL</b>1705/<b class='flag-5'>PLL</b>1706双通道<b class='flag-5'>PLL</b>多时钟发生器数据表

    PICO推出旗下首款MR混合现实一体机PICO 4 Ultra

    8月20日,PICO震撼发布其首款MR(混合现实)一体机——PICO 4 Ultra,标志着该公司在混合现实威廉希尔官方网站 领域的重大飞跃,为用户解锁了前所未有的沉浸式与个性化体验新境界。
    的头像 发表于 08-21 15:45 977次阅读

    PLL是什么意思

    PLL是Phase Locked Loop的缩写,中文译作锁相环。它是一种用于控制频率和相位的电路,通过检测和跟踪输入信号的频率和相位,并将其转换为一个稳定的输出信号,从而实现频率和相位的同步与控制。以下是对PLL的详细解析,包括其定义、分类、工作原理、作用以及在现代电子
    的头像 发表于 08-16 17:03 3567次阅读

    深度学习与传统机器学习对比

    在人工智能的浪潮中,机器学习和深度学习无疑是两大核心驱动力。它们各自以其独特的方式推动着威廉希尔官方网站 的进步,为众多领域带来了革命性的变化。然而,尽管它们都属于机器学习的范畴,但深度
    的头像 发表于 07-01 11:40 1340次阅读

    ESP32 Pico Kit使用5v管脚供电无法连接蓝牙要怎么处理?

    我想自己做一个蓝牙机械键盘,用ESP32做蓝牙HID,在网上下载https://github.com/T-vK/ESP32-BLE-Keyboard,上传到ESP32 Pico Kit上,这时候
    发表于 06-25 07:17

    使用PICO示波器配合PICO软件的逻辑触发功能

    介绍PICO示波器软件提供了各种简单和高级的触发器,用于检测和捕获难以捉摸的信号。大多数类型的触发器一次只能监控一个信号。由于许多示波器有多个输入(最多四个通道以及某些型号的扩展输入和音频输入)因此
    的头像 发表于 06-01 08:31 616次阅读
    使用<b class='flag-5'>PICO</b>示波器配合<b class='flag-5'>PICO</b>软件的逻辑触发功能

    FPGA学习笔记-电源电压

    通常FPGA中会有各种资源可以使用,而每种资源都需要有电源电压支持。在单片机中,通常是使用同样的电源电压供电的,比如常见的5V、3.3V。而在FPGA中,一般需要:核心电压、I/O口电压、PLL电压
    发表于 05-22 18:42

    Snap将AI和机器学习引入Snapchat

    Snap首席执行官伊万·斯皮格近日宣布,公司将加大投资力度,将人工智能和机器学习威廉希尔官方网站 深度引入其主打社交应用Snapchat,以进一步提升用户吸引力。斯皮格直言,公司在机器学习领域已稍显落后,这一状况在一定程度上影响了其业务表现。
    的头像 发表于 05-21 09:31 497次阅读

    锁相环PLL学习记录

    锁相环 (PLL) 是电子系统中最通用、最灵活和最有价值的电路配置之一,因此在许多应用中都有使用。它用于时钟重定时和恢复,作为频率合成器和可调谐振荡器,仅举几个例子。
    的头像 发表于 02-17 14:07 766次阅读
    锁相环<b class='flag-5'>PLL</b><b class='flag-5'>学习</b>记录

    数字PLL孤立频失锁是什么原因?又应该怎么解决呢?

    数字PLL(相位锁定环)在应用中遇到孤立频失锁的情况,可能由多种因素引起。
    的头像 发表于 01-30 14:13 1625次阅读