0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看威廉希尔官方网站 视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

DALL-E 2的错误揭示出人工智能的局限性

IEEE电气电子工程师 来源:IEEE电气电子工程师 作者:Eliza Strickland 2022-11-16 15:31 次阅读

OpenAI的文字图像转换器与文本、科学和偏见作斗争。

在2022年4月,人工智能(AI)研究实验室OpenAI继2021年推出的DALL-E后,又推出了DALL-E 2。这两个人工智能系统都可以根据自然语言的文本描述来生成令人惊奇的图像,包括照片、插图、绘画、动画和其他能用语言表达艺术风格的几乎任何图片(见下图)。DALL-E 2的分辨率更高,处理速度更快,增加的编辑功能能够让用户仅使用文本命令修改已生成图像,例如“把那个花瓶换成植物”或“让狗的鼻子更大一点”。

对于DALL-E 2,全球最初的反应是震惊和欣慰。它可以在几秒钟之内把任何物体和生物组合在一起,可以模仿任何艺术风格,还能描绘任何地点,并且可以刻画各种照明条件。比如说,看到宇航员骑着一匹马的安迪•沃霍尔(Andy Warhol)风格图片,谁能不被感动?不过,随着人们列出可以被这种威廉希尔官方网站 轻易扰乱的行业,也难免出现了一丝担忧。

OpenAI尚未向公众、商业实体乃至整个人工智能社区发布相关威廉希尔官方网站 。OpenAI的研究员马克•陈(Mark Chen):“我们和大家一样担心滥用的问题,而且非常重视这件事。”该公司确实邀请了一些人,针对DALL-E 2进行实验。过去几个月出现的研究结果充分说明了现今深度学习威廉希尔官方网站 的局限性,也给我们打开了一个窗口,了解对于人类世界,人工智能有哪些能够理解,又有哪些完全没有理解。

工作原理

OpenAI在论文预印本网站ArXiv上发布的一篇论文表明,DALL-E 2接受了从互联网上截取的约6.5亿个图像-文本对的训练。通过这个庞大的数据集,它学习图像与描述这些图像的文字之间的关系。OpenAI在训练之前对数据集进行筛选,移除了包含明显暴力、色情和其他恶劣内容的图片。“模型没有暴露这些概念之下。”陈说,“所以它生成未见过内容的可能性非常非常低。”但研究人员明确指出,这种过滤有局限性,DALL-E 2仍然有可能生成有害的内容。

一旦这种“编码器”模型经过训练,可理解文本和图片之间的关系,OpenAI就将它与一个可根据文本提示生成图片的解码器配对,使用一种名为“扩散”的方法,从随机的点图案开始,慢慢改变图案,生成图像。此外,该公司集成了一些过滤器,以便生成的图像符合内容政策,并承诺了不断进行更新。可能产生禁止内容的改变会被阻止,而且为了防止深度伪造,它无法准确地再现在训练过程中见过的面孔(这可部分解释为什么它通常会产生超现实的面孔)。到目前为止,OpenAI还采用了人工审查员检查被标记为可能有问题的图像。

由于DALL-E 2明显有可能被滥用,OpenAI最初授权使用的只有几百人,大多是人工智能研究人员和艺术家。与该实验室的语言生成模型GPT-3不同,即便是有限的商业应用,DALL-E 2 也尚不具备,而且OpenAI也未公开讨论相关计划。不过,浏览DALL-E 2用户创建并发布在Reddit等论坛上的图像,可以发现有些专业应用确实应该引起担忧,例如DALL-E 2擅长的美食摄影、公司手册和网站的图片库,以及适用于宿舍海报或杂志封面上的插图。

问题所在

热心的实验者生成的图像表明,尽管DALL-E 2有很多优势,但关于这个世界,它还需要学习很多东西。以下是3个最明显、最引人关注的错误。

文本: DALL-E 2虽然擅长理解生成图像的文本提示,却很难将可理解的文本放入图像,这一点令人感到费解。用户发现,要求放入任意类型的文本都会产出一堆混乱的字母。珍妮尔•肖恩(Janelle Shane)喜欢在自己的人工智能博客里利用该系统创建公司的徽标,并观察由此产生的混乱。不过,未来的版本可能会纠正该问题,因为OpenAI的GPT-3团队有着丰富的文本生成专业知识。肖恩:“最终,DALL-E的后继者将能够拼写‘松饼屋’(Waffle House),那一天我一定会很伤心的。我还得换一种不同方式来扰乱它、找乐子。”

科学:你可以说DALL-E 2理解一些科学定律,因为它可以轻松地描绘掉落的物体或漂浮在太空中的宇航员。但要求它生成解剖图、X光图、数学证明或蓝图时,它生成的图像看似正确,而实际上却是完全错误的。例如,要求DALL-E 2“按比例绘制太阳系图解插图”,在得到的结果图像中,地球非常奇怪,而且有太多假设的太阳系邻居。“DALL-E不懂什么是科学。它只知道怎样阅读文字说明,然后绘图。”OpenAI的研究院阿迪蒂亚•拉梅什(Aditya Ramesh)说,“因此它不理解其中的含义,而试着编造一些看起来相似的东西。”

3a5af20c-64d7-11ed-8abf-dac502259ad0.jpg

偏见:DALL-E 2被认为是一种接受图片和文本训练的多模态人工智能系统,会表现出某种形式的多模态偏见。例如,如果用户要求它生成一名首席执行官、一名建筑工人或者一名威廉希尔官方网站 记者的图片,它通常会根据其在训练数据中看到的图片-文本对来提供男性的图片。在发布DALL-E 2之前,OpenAI要求从事该领域相关工作的外部研究员来充当“红队”,他们的见解有助于OpenAI评估该系统的风险和局限性。他们发现,除了表现有关性别的社会成见,该系统会过多地表现白人和西方传统与环境。

陈认为“我们可以采取某些机器学习缓解措施”来纠正这些偏见,该团队已经采取了一些措施,例如,在训练期间他们发现,由于在训练数据中消除了的色情内容,在建立的数据集中男性要多于女性,这导致DALL-E 2生成更多男性的图像。“所以我们调整了训练方法,并提高了女性图像的权重,使其更有可能生成女性图像。”陈解释道。为了帮助DALL-E 2产生更多样化的结果,用户还可以使用“女性宇航员”或“印度婚礼”等指定性别、种族或地理位置的提示。

总之,DALL-E 2团队表示,他们渴望看到早期用户在测试系统时发现的问题和故障,他们也已经在考虑接下来的工作。“我们非常有兴趣提高系统的整体智能。”拉梅什说,并补充说该团队希望能在“DALL-E中加深对语言及其与世界关系的理解”。他指出OpenAI的文本生成工具GPT-3对普通常识、科学和人类行为有着非常惊人的理解。“一个充满希望的目标是尝试通过DALL-E将GPT-3的知识与图像领域联系起来。”拉梅什说。

审核编辑 :李倩

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 人工智能
    +关注

    关注

    1791

    文章

    47088

    浏览量

    238059
  • 深度学习
    +关注

    关注

    73

    文章

    5497

    浏览量

    121076
  • OpenAI
    +关注

    关注

    9

    文章

    1068

    浏览量

    6454

原文标题:DALL-E 2的错误揭示出人工智能的局限性

文章出处:【微信号:IEEE_China,微信公众号:IEEE电气电子工程师】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    嵌入式和人工智能究竟是什么关系?

    嵌入式和人工智能究竟是什么关系? 嵌入式系统是一种特殊的系统,它通常被嵌入到其他设备或机器中,以实现特定功能。嵌入式系统具有非常强的适应性和灵活性,能够根据用户需求进行定制化设计。它广泛应用于各种
    发表于 11-14 16:39

    AI for Science:人工智能驱动科学创新》第4章-AI与生命科学读后感

    很幸运社区给我一个阅读此书的机会,感谢平台。 《AI for Science:人工智能驱动科学创新》第4章关于AI与生命科学的部分,为我们揭示人工智能威廉希尔官方网站 在生命科学领域中的广泛应用和深远影响。在
    发表于 10-14 09:21

    《AI for Science:人工智能驱动科学创新》第一章人工智能驱动的科学创新学习心得

    的效率,还为科学研究提供了前所未有的洞察力和精确度。例如,在生物学领域,AI能够帮助科学家快速识别基因序列中的关键变异,加速新药研发进程。 2. 跨学科融合的新范式 书中强调,人工智能的应用促进了多个
    发表于 10-14 09:12

    D类放大器上仅电容EMI滤波器的局限性

    电子发烧友网站提供《D类放大器上仅电容EMI滤波器的局限性.pdf》资料免费下载
    发表于 09-14 10:44 0次下载
    D类放大器上仅电容EMI滤波器的<b class='flag-5'>局限性</b>

    名单公布!【书籍评测活动NO.44】AI for Science:人工智能驱动科学创新

    大力发展AI for Science的原因。 第2章从科学研究底层的理论模式与主要困境,以及人工智能三要素(数据、算法、算力)出发,对AI for Science的威廉希尔官方网站 支撑进行解读。 第3章介绍了在
    发表于 09-09 13:54

    WDM威廉希尔官方网站 的缺点和局限性

    和效率。然而,尽管WDM威廉希尔官方网站 具有诸多优势,但它也存在一些缺点和局限性。以下是对WDM威廉希尔官方网站 缺点和局限性的详细分析:
    的头像 发表于 08-09 11:42 696次阅读

    谷歌开发出高精度人工智能天气模拟器

    谷歌最新研发的高精度人工智能天气模拟器,正引领着气象预测威廉希尔官方网站 的新一轮革新。该项目的核心在于将标准的物理驱动模型与先进的机器学习工具巧妙结合,旨在克服单一依赖人工智能可能带来的局限性与不确定性。
    的头像 发表于 07-27 16:20 2185次阅读

    5G智能物联网课程之Aidlux下人工智能开发(SC171开发套件V2

    5G智能物联网课程之Aidlux下人工智能开发(SC171开发套件V2) 课程类别 课程名称 视频课程时长 视频课程链接 课件链接 人工智能 参赛基础知识指引 14分50秒 https
    发表于 05-10 16:46

    爱芯元智推出边端侧智能SoCAX650N,让视觉更智能

    当前大模型蓬勃发展,OpenAI的Sora、ChatGPT、CLIP、DALL-E,Google的Gemini、ViT-22B,Meta的LLaMA3、DINO v2
    的头像 发表于 05-09 14:39 1482次阅读
    爱芯元智推出边端侧<b class='flag-5'>智能</b>SoCAX650N,让视觉更<b class='flag-5'>智能</b>

    让交通运输更安全、更高效,人工智能可以做些什么?

    一、前言 您或许已经尝试过在ChatGPT和Dall-E等生成式人工智能服务中创建一些酷炫的图片或优美的文章。在交通运输方面,工程师们也借助AI工具构思了一些关于自行车安全气囊或其他道路安全装置
    的头像 发表于 03-25 14:17 419次阅读
    让交通运输更安全、更高效,<b class='flag-5'>人工智能</b>可以做些什么?

    嵌入式人工智能的就业方向有哪些?

    嵌入式人工智能的就业方向有哪些? 在新一轮科技革命与产业变革的时代背景下,嵌入式人工智能成为国家新型基础建设与传统产业升级的核心驱动力。同时在此背景驱动下,众多名企也纷纷在嵌入式人工智能领域布局
    发表于 02-26 10:17

    高光谱成像威廉希尔官方网站 如何改善现有遥感威廉希尔官方网站 的局限性?

    随着科技的不断进步,遥感威廉希尔官方网站 在地球观测、资源管理、环境监测等领域中发挥着日益重要的作用。然而,传统的遥感威廉希尔官方网站 在分辨率、准确性和信息获取能力等方面存在一定的局限性。为了克服这些局限性,高光谱成像威廉希尔官方网站
    的头像 发表于 02-21 10:52 563次阅读
    高光谱成像威廉希尔官方网站
如何改善现有遥感威廉希尔官方网站
的<b class='flag-5'>局限性</b>?

    OpenAI发布人工智能文生视频大模型Sora

    近日,人工智能领域的领军企业OpenAI宣布推出其最新的人工智能文生视频大模型——Sora。这款模型在继承DALL-E 3卓越画质和遵循指令能力的基础上,实现了对真实物理世界的深度模拟,为视频制作领域带来了前所未有的变革。
    的头像 发表于 02-20 13:54 844次阅读

    微软封禁员工讨论OpenAI DALL-E 3模型漏洞

    琼斯去年底在进行自主研究时,发现OpenAI的图像生成模型DALL-E 3存在一个漏洞,漏洞利用者可以越过AI保护墙来制作色情内容。他将此情况报告给微软和OpenAI,并发文警示这种攻击可能给公众带来危害,要求他们暂停使用DALL-E 3模型或在修复漏洞之前先下线。
    的头像 发表于 02-02 14:38 557次阅读

    碳化硅二极管的优点和局限性分析

    碳化硅二极管的优点和局限性分析 碳化硅(SiC)二极管是一种新型半导体材料,在高频电源电子装置中得到了广泛应用。与传统的硅(Si)材料相比,碳化硅二极管具有许多优点和局限性。下面是对碳化硅二极管
    的头像 发表于 12-21 11:31 2452次阅读