0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看威廉希尔官方网站 视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

神经网络惊人的脆弱性和灵活性

DPVg_AI_era 来源:未知 作者:李倩 2018-07-04 09:37 次阅读

对抗攻击通常会使得神经网络分类错误,但谷歌大脑团队的Ian Goodfellow 等人的新研究提出一个更加复杂的攻击目标:对神经网络重新编程,诱导模型执行攻击者选定的新任务。该研究首次表明了神经网络惊人的脆弱性和灵活性。

对抗样本(adversarial examples)的研究一般是为了预防攻击者通过对模型的输入进行微小的修改,从而导致模型的预测产生偏差。这样的攻击者可能通过一张贴纸(一个小的扰动)就让无人驾驶汽车对停车标志产生反应,或者通过精巧地修改损害情况的照片(一个小的扰动)导致保险公司的损失模型高估了事故的赔偿值。考虑到这些,研究人员们提出了很多方法来构建以及抵抗这种对抗性攻击(adversrial attacks)。

迄今为止,大多数的对抗性攻击主要由无目标攻击(untargeted attacks)和有目标攻击(targeted attacks)组成。无目标攻击旨在降低模型的性能,但不一定需要产生一个特定的输出;而有目标攻击旨在对模型设计一个对抗性干扰的输入,从而产生一个特定的输出。例如,对一个分类器的攻击可能是为了针对每张图像得到特定的输出类别,或者,对一个强化学习智能体的攻击可能是为了诱导该智能体进入一个特定的状态。

近日,谷歌大脑的 Gamaleldin F. Elsayed、Ian Goodfellow 和 Jascha Sohl-Dickstein 等人的新研究考虑了一个更加复杂的攻击目标:在不需要攻击者计算特定期望输出的情况下,诱导模型执行攻击者选定的一个任务。

对抗性重编程

考虑一个训练用来执行一些原始任务的模型:对于输入,它将产生输出。考虑一个敌人(adversary),它希望执行一个对抗的任务:对于输入(不一定和x在同一个域),敌人希望计算一个函数。我们证明敌人可以通过学习对抗性重编程函数( adversarial reprogramming  functions)来实现这一点,这两个函数是两个任务之间的映射。这里,hf 将来自x˜的域的输入转换成的域。

在这项工作中,为了简单起见,并且为了获得高度可解释的结果,我们将定义为小图像(small images),g是处理小图形的函数,只包括在大图像的中心绘制,在边框中绘制θ,而只是输出类标签之间的硬编码映射。 

然而,这个想法更具通用性;可以是在两个任务的输入(输出)格式之间转换的任何一致性转换,并使模型执行对抗性任务。

我们指的是一类攻击,在这种攻击中,机器学习算法被重新用于执行一项新的任务,即对抗性重编程(adversarial reprogramming)。我们将θ称为对抗程序( adversarial program)。与以往大多数对抗样本的研究相比,这种扰动的幅度不需要受到限制。这种攻击不需要使人类察觉不到,或是需要很微妙才被认为是成功的。对抗性重编程的潜在后果包括:从公共服务中窃取计算资源,或将AI驱动的助理改造成间谍机器人或垃圾邮件机器人。

在这篇文章中,我们介绍了对抗性重编程的第一个实例。我们提出一种设计对抗程序的训练过程,对抗程序将导致神经网络执行新的任务。在实验部分,我们演示了针对用于ImageNet数据分类的几个卷积神经网络的对抗程序。这些对抗程序将网络的功能从ImageNet分类改变成:对图像中的方块进行计数;对MNIST的数字进行分类,对CIFAR-10图像进行分类。我们还研究了训练好的和未训练的网络对对抗性重编程的易感性。

方法

我们提出的攻击场景如下:当执行一个特定任务时,敌人已经获取了神经网络的参数,并希望通过使用一个可以加入到网络输入中的攻击程序来操纵网络的函数,以此来执行一个新的任务。在这里,我们假设原始的网络是用来执行ImageNet分类的,但是本文讨论的方法是具有可扩展性的。

我们的对抗性程序将作为网络输入的附加贡献。值得注意的是,不像其他大多数对抗性干扰,我们的对抗性程序并不针对单一的图像。同样的对抗性程序将应用到所有的图像中。我们将对抗性程序定义为:

其中,是将要学到的对抗性程序的参数,n是ImageNet图像的宽度,M是一个masking矩阵。值得注意的是,M并不是必需的。

作为我们所希望应用到对抗性任务中数据集的一个样本,其中。那么相应的对抗性图像可表示为:

给定一个输入图像,使,它是将对抗性任务中的一个标签映射到一个ImageNet标签集合。至此,我们对抗性的目标就是将概率最大化。于是,我们将优化问题设置为: 

实验结果

1. 计算图像中的方格数

首先从简单的对抗性任务开始,即计算图像中的方格数。结果如图所示:

图1:对抗性重编程的说明。

(a)将ImageNet标签映射到对抗性任务的标签(图像中的方块)。

(b)对抗性任务中的图像(左侧)是嵌入在一个对抗性问题中的(中间),产生对抗性图像(右侧)。

(c)利用对抗性图像进行推测的说明。

2. MNIST分类

图2:为MNIST分类进行对抗性编程的例子。

对抗性程序导致6个ImageNet模型转而用作MNIST分类器。

3. CIFAR-10分类

图3:CIFAR-10分类中对抗性图像的例子(图注)

对抗性程序重新利用一个Inception V3 模型作为CIFAR-10分类器的替代函数。

表:训练好的ImageNet分类器可以对抗性地再编程来执行多种任务

4. 再次编程未训练以及对抗性训练过的网络

图4:对抗性程序不论在网络还是任务中都表现出质的相似性和不同性。

(a)顶部:将在ImageNet上预训练的网络重新利用来计算图像中方块数量的对抗性程序。

中部:将在ImageNet上预训练的网络作为MNIST分类器函数的对抗性程序。

底部:对抗性程序将相同的网络作为CIFAR-10分类器。

(b)针对具有随机初始化参数的重组网络,对抗性程序将其作为MNIST分类器。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 谷歌
    +关注

    关注

    27

    文章

    6166

    浏览量

    105342
  • 神经网络
    +关注

    关注

    42

    文章

    4771

    浏览量

    100745
  • 图像
    +关注

    关注

    2

    文章

    1084

    浏览量

    40459

原文标题:Ian Goodfellow最新论文:神经网络无比脆弱,对抗攻击重新编程

文章出处:【微信号:AI_era,微信公众号:新智元】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    卷积神经网络如何使用

    卷积神经网络(CNN)究竟是什么,鉴于神经网络在工程上经历了曲折的历史,您为什么还会在意它呢? 对于这些非常中肯的问题,我们似乎可以给出相对简明的答案。
    发表于 07-17 07:21

    如何设计BP神经网络图像压缩算法?

    称为BP神经网络。采用BP神经网络模型能完成图像数据的压缩处理。在图像压缩中,神经网络的处理优势在于:巨量并行;信息处理和存储单元结合在一起;自组织自学习功能。与传统的数字信号处理器
    发表于 08-08 06:11

    如何去提高电源管理的灵活性

    有什么方法可以提高电源管理的灵活性吗?
    发表于 04-23 06:24

    如何构建神经网络

    原文链接:http://tecdat.cn/?p=5725 神经网络是一种基于现有数据创建预测的计算系统。如何构建神经网络神经网络包括:输入层:根据现有数据获取输入的层隐藏层:使用反向传播优化输入变量权重的层,以提高模型的预测
    发表于 07-12 08:02

    嵌入式Linux的灵活性

    嵌入式Linux的灵活性,为嵌入式计算而设计的高效、节能的处理器的可用,以及新处理器的低成本,使许多工业公司在嵌入式处理器的基础上开发新的产品成为可能。现在的工程师虽然可以用强大的工具开...
    发表于 11-04 08:51

    基于熵方法的计算机网络脆弱性检测和优化

    基于熵方法的计算机网络脆弱性检测和优化_吴杏
    发表于 01-07 18:56 0次下载

    网络脆弱性扩散分析方法

    网络脆弱性评估是一种主动防范威廉希尔官方网站 ,意在攻击发生之前对安全态势进行分析进而制定防御措施,但传统的定量分析模型不能对实体间动态交互关系有很好的展现,而且大都不能得出风险扩散的全局化结果。将脆弱性扩散
    发表于 01-05 15:21 0次下载
    <b class='flag-5'>网络</b><b class='flag-5'>脆弱性</b>扩散分析方法

    改进DEAHP的支路综合脆弱性评估

    电力系统脆弱支路辨识,对系统安全运行、防止灾难性事故发生具有重要意义。针对现有脆弱支路评估方法存在的评估角度单一,综合指标权重选取过于主观的问题,文中综合脆弱性的原因分析与后果评估2个角度,建立反映
    发表于 02-28 09:46 2次下载

    基于链路已用率的电力通信网脆弱性分析

    对电力通信网的脆弱性作出评估,找到网络中的薄弱环节,是保证电力通信网络系统正常可靠运行的重要基础工作。在前人的研究基础上,提出了基于链路已用率的电力通信网脆弱性的研究方法。首先对电力通
    发表于 02-28 15:49 0次下载

    使用PyTorch构建神经网络

    PyTorch是一个流行的深度学习框架,它以其简洁的API和强大的灵活性在学术界和工业界得到了广泛应用。在本文中,我们将深入探讨如何使用PyTorch构建神经网络,包括从基础概念到高级特性的全面解析。本文旨在为读者提供一个完整的、威廉希尔官方网站
    的头像 发表于 07-02 11:31 708次阅读

    神经网络算法的优缺点有哪些

    的优点 自学习能力:神经网络算法具有强大的自学习能力,能够从大量数据中自动提取特征,无需人工干预。这使得神经网络算法在处理复杂问题时具有很高的灵活性和适应。 泛化能力强:
    的头像 发表于 07-03 09:47 1366次阅读

    神经网络芯片和普通芯片区别

    处理神经网络算法的芯片。它通过模拟人脑神经元的工作方式,实现了对大量数据的并行处理和快速学习。 普通芯片,又称通用芯片,是指可以执行各种计算任务的芯片,如CPU、GPU等。它们具有较高的灵活性和通用
    的头像 发表于 07-04 09:30 1153次阅读

    机器人神经网络系统的特点包括

    机器人神经网络系统是一种模拟人类大脑神经网络的计算模型,具有高度的复杂灵活性。在本文中,我们将详细介绍机器人神经网络系统的特点,包括其结
    的头像 发表于 07-09 09:45 451次阅读

    pytorch中有神经网络模型吗

    处理、语音识别等领域取得了显著的成果。PyTorch是一个开源的深度学习框架,由Facebook的AI研究团队开发。它以其易用灵活性和高效而受到广泛欢迎。在PyTorch中,有许多预训练的
    的头像 发表于 07-11 09:59 699次阅读

    卷积神经网络的实现工具与框架

    : TensorFlow是由Google Brain团队开发的开源机器学习框架,它支持多种深度学习模型的构建和训练,包括卷积神经网络。TensorFlow以其灵活性和可扩展性而闻名,适用于研究和生产环境。 特点: 灵活性: Te
    的头像 发表于 11-15 15:20 265次阅读