0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看威廉希尔官方网站 视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

AR/VR是否是能为Prophesee打开批量市场的领域?

Astroys 来源:Astroys 2023-10-24 17:01 次阅读

Prophesee就像一台动力十足的小马达。这家由Luca Verre经营的法国初创公司推出了第五代基于事件的成像传感器,并开始进军大众消费市场,显示了其顽强的生命力。没有什么能阻止Verre和他的团队不遗余力地寻找适合其神经形态视觉系统的市场。目前的未知数是,AR/VR是否是能为Prophesee打开批量市场的领域,如果是,可能需要多长时间。

2014年,一项独特的生物启发(bio-inspired)视觉威廉希尔官方网站 是一笔巨大的财富,足以说服一个学者团队和一位商人成立Prophesee公司

Prophesee并没有发明神经形态(neuromorphic)计算。但它已成为在商业上实现其原理的先驱:人类不是根据一系列帧来记录视觉信息。相反,他们捕捉感兴趣的东西(空间和时间的变化),并将这些稀疏的信息高效地发送给大脑。

Prophesee在推广基于事件的(event-based)传感器方面做了大量的工作,但其努力尚未建立起规模市场。

由于大多数公司都习惯于拍摄基于帧的电影和视频,要求他们改用完全陌生的威廉希尔官方网站 是一个颠覆性的提议。这家初创公司的腾飞需要一些时间,因为它的商业影响力还很小,业务发展历史也很短。

一方面,Prophesee有充分的机会将其基于事件的威廉希尔官方网站 应用到各行各业的许多产品中。这家初创公司涉足的行业包括医疗、工业、汽车和智能手机等。

另一方面,拥有如此广泛的机会也可能成为初创公司的致命伤,会把团队拉向过多的方向,有可能造成资源紧张。

虽然Prophesee已经在工业市场占有一席之地,但它仍然需要一种能够产生大量需求的产品。

为了实现这一目标,Prophesee推出了第五代基于事件的传感器,名为GenX320 Event-Based Metavision。该公司透露,其GenX传感器体积小、功耗超低,有助于首次进入“边缘”消费类设备市场,包括AR/VR头戴设备、安全和监控/检测系统以及始终在线的智能连接设备。

踏入消费类市场

十年前,当Ryad Benosman、Bernard Gilly、Christoph Posch和Luca Verre创立这家初创公司时,AR/VR可能还不在他们的考虑范围之内。

但今天,Prophesee认为AR/VR与其基于神经形态计算的微型图像传感器“完美契合”。CEO Verre最近解释说,Apple即将推出的Vision Pro等产品,内部使用了十几个微型摄像头,这引发了AR/VR市场的成熟,微型、超低功耗摄像头能够进行高速眼球追踪,创造低延迟的沉浸式体验。头戴式显示器的系统设计师需要能够“减少散热和降低计算负荷”的摄像头。

Prophesee进军消费市场反映了这家初创公司三年来将基于事件的视觉威廉希尔官方网站 引入智能手机的努力。

Prophesee首先与Sony建立了合作关系,生产其第四代基于事件的图像传感芯片。Prophesee为智能手机市场带来的价值来自于将事件数据与帧RGB信息相结合,从而提高图像质量。因此,Prophesee与Qualcomm合作开发了一款去噪软件应用,该应用可在Qualcomm Snapdragon移动平台内的DSP上运行。

与Sony和Qualcomm两家智能手机领域巨头的合作显然改变了Prophesee的发展态势,也为其向消费者推广产品壮了胆。有了这样的合作伙伴,Prophesee得到了业界的关注。

Verre承认:“消费者对这项威廉希尔官方网站 的兴趣让我们大吃一惊。随后,我们开始关注IoT、AR、VR和头戴式显示器的应用。在Apple和Meta的带领下,许多公司正在进入AR/VR领域。但是,Prophesee为智能手机设计的第四代基于事件的传感器却无法进入这一消费类市场。

同一知识树

值得注意的是,在开发基于神经形态威廉希尔官方网站 的视觉系统方面,并非只有Prophesee一家公司。

正如Yole Intelligence的首席分析师Pierre Cambou所解释的那样,Prophesee“成长于一棵知识树”,80年代加州理工学院的Carver Meed团队和Misha Mahowald随后发明的神经形态硅视网膜。

Cambou解释说,在这棵知识树上成长起来的其它初创公司还包括IniVation(苏黎世)、Celepixel(上海)、Insightness(苏黎世)和Alpsentek(苏黎世)。Cambou补充说,Samsung也在2014年涉足神经形态威廉希尔官方网站 ,推出了DVS(Dynamic Vision Sensor)。

Cambou预测,Prophesee有望成为其中最成功的公司,这主要归功于其IP、由Verre领导的“一流”团队以及与行业领导者建立合作关系的商业模式。

芯片生产

Prophesee不仅仅是一家应用公司。芯片生产至关重要,因为该公司基于神经形态计算的成像传感器不能继续作为小众精品威廉希尔官方网站 。这种传感器必须更便宜,并以更小的占地面积和更低的功耗批量生产。

在这方面,从与Tower Jazz合作开发第三代VGA传感器到与Sony联合开发第四代高清传感器,Prophesee走过了不平凡的道路。Verre表示,与Sony的合作使Prophesee得以使用Sony的wafer-to-wafer堆叠工艺。这家初创公司能够将基于事件的传感器缩小10倍。

Verre说:“自从我们在2021年底推出第四代成像传感器以来,我们看到了更多的机会。不仅在我们已经使用第三代传感器活跃的工业市场,而且在消费领域也有越来越多的机会。”

Prophesee最新推出的GenX320芯片尺寸为3x4mm,由ST在法国生产。这家初创公司解释说,320×320 6.3μm像素BSI(Back-side Illuminated)堆叠事件视觉传感器提供了极小的1/5英寸光学格式。Verre说,虽然Sony制造Prophesee第四代基于事件的传感器时,“堆叠”是一种新的工艺威廉希尔官方网站 ,但现在它已广泛应用于CMOS传感器。ST将其用于ToF传感器。

让威廉希尔官方网站 切换更容易

在拥有颠覆性威廉希尔官方网站 的初创公司必须完成的任务中,有一项在业内鲜有讨论:初创企业是否做好了准备,让客户能够用新威廉希尔官方网站 取代旧威廉希尔官方网站 。

Verre说,让潜在客户惊叹于新的颠覆性威廉希尔官方网站 是一回事。在“惊艳”之后做出承诺则完全是另一回事。Verre解释说,无论是Tier 1还是汽车OEM,大客户希望初创公司能够做到一切,以便他们能够轻松、没有任何麻烦地进行切换。

对于GenX320,Prophesee认为已经做足了功课。

首先,它在GenX中集成了片上电源管理模式,将传感器的功耗降至36μW以下,并启用了“智能唤醒事件(smart wake-on-events)”。Verre说,通过允许传感器按顺序唤醒像素,GenX将从μW至3mW的超低功耗模式开始。

其次,Prophesee试图让GenX 320“为AI做好准备”。Prophesee配置了额外的“智能块(smart blocks)”,对事件数据进行预格式化,因为基于事件的传感器产生的数据必须能够轻松地与主流AI处理器配合使用。

Verre解释说:“理想情况下,你希望有一个神经形态计算平台来处理我们基于事件的传感器数据。”虽然Prophesee一直在与Intel的Loihi以及Brainchip和其他神经形态计算公司合作,但Verre指出,这些平台还不是主流。

因此,为了让GenX能够与“大多数使用AMD、RenesasNXP或Qualcomm等主流平台(这些平台都针对处理帧进行了优化)”协同工作,Verre说,“我们需要预先格式化基于事件的数据”。

第三,Prophesee正在提供MIPI(Mobile Industry Processor Interface)或 CPI(Common Programming Interface)数据输出接口,实现与嵌入式处理器平台的低延迟连接。Verre解释说:“这是我们为促进基于事件的图像传感威廉希尔官方网站 与现有生态系统的整合所做的尝试。”

批量生产

Prophesee GenX320的批量生产已经开始,已开始批量发货。

Verre说:“Prophesee几乎一年前就收到了工程样品,并与30至40家客户分享了这些样品,这些客户已经在评估我们的威廉希尔官方网站 。”

除了推出GenX成像传感器,Prophesee还提供摄像头模组和评估套件。

在这30-40家客户中,Prophesee主要依靠Zinn Labs、Xperi和Ultraleap等早期采用者。

Zinn Labs(加州Menlo Park)正在开发基于Prophesee Metavision事件传感器的先进视线追踪系统(移动和汽车头戴式显示器)。据Zinn Labs称,新型GenX320传感器可满足以毫秒级时间尺度变化的眼球和注视运动的需求。Verre解释说,Zinn Labs使用基于事件的传感器,可以达到1KHz或更高的眼球追踪速度,功耗低于20mW。Verre补充说,相比之下,基于帧传感器的最先进的眼球追踪速度仅为60-120Hz,功耗高达2W。

作为GenX320的另一个早期采用者,Xperi已承诺使用Prophesee基于事件的传感器,Verre指出,此外还有之前展示过的DMS。他说:“他们目前还在为基于GenX320的智能消费类设备做一些原型开发工作,这些设备更多地与家用电器有关。”

Prophesee还与手部追踪系统领域的领先企业Ultraleap建立了合作关系。Verre解释说,Ultraleap使用Prophesee基于事件的威廉希尔官方网站 的主要优势是高速追踪和低功耗。

Verra说,在手部追踪和眼部追踪中,基于事件的图像传感器可以同时实现高速和低功耗,解决了“帧基相机面临的一个基本挑战”。他指出,每秒运行500-600帧的相机会产生大量数据,在有限的功耗预算下很难进行实时处理。

创新者的窘境

Yole的Cambou分析说,Prophesee在2019年决定与Sony合作使用芯片堆叠工艺威廉希尔官方网站 时,就已经播下了成功的种子。随后开发的两款传感器实现了业界最小的像素尺寸(4.86μm)。

Cambou说:“有了这样的分辨率和光学格式,移动、汽车和工业等许多市场都在Prophesee的触及范围之内。”

然而,Cambou说:“如此激进的创新(生成一个非冯诺依曼异步设备),以微秒级分辨率产生图像数据,其速率只有每秒10,000帧的科学相机才能达到,就像外星威廉希尔官方网站 登陆时代广场一样。”他解释说,换句话说,业界看到的是一种纸面上看起来很酷的威廉希尔官方网站 ,但对于需要时间来摸索如何利用这种威廉希尔官方网站 的市场来说,这种威廉希尔官方网站 却显得很遥远。

这就像Clayton Christensen的“创新者的窘境”所描述的那样,拥有颠覆性威廉希尔官方网站 的初创公司必须追求现有市场,否则就必须通过创造一个新市场来实现这一目标。Cambou认为,Prophesee一直在“尽可能快地教育生态系统,为自己创造空间”。

Prophesee目前有130名员工,大部分在法国。Verre解释说,该公司还在上海设立了办事处。该公司获得了Intel、Bosch、小米和雷诺等公司的投资。

与专注于制造摄像头的竞争对手不同,Prophesee专门开发传感器,其主要追求的应用领域是边缘市场。Verre说:“现在市场上有超过500亿颗摄像头,每年出货量达约是30亿。大多数被用于传感类型的应用,包括工业设备中的计算摄影、监控或机器视觉。”在这些领域,Prophesee看到了其威廉希尔官方网站 的更多机会。

Prophesee所商业化并引入成像市场的颠覆性威廉希尔官方网站 让许多公司惊艳,但让他们买账却是另一回事。然而,如果神经形态成像传感器最终开始影响各行各业的相机,就像AI影响各行各业一样,Yole的Pierre Cambou相信,有朝一日Prophesee的收入可能会达到10亿美元,在CMOS成像传感器市场占据5%的份额。他说:“这一天可能会比许多人预测的来得更早。”






审核编辑:刘清

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • CMOS
    +关注

    关注

    58

    文章

    5720

    浏览量

    235555
  • 散热器
    +关注

    关注

    2

    文章

    1056

    浏览量

    37571
  • RGB
    RGB
    +关注

    关注

    4

    文章

    798

    浏览量

    58525
  • 视觉威廉希尔官方网站

    关注

    0

    文章

    87

    浏览量

    13511
  • 成像传感器
    +关注

    关注

    0

    文章

    23

    浏览量

    8543

原文标题:Prophesee对视觉市场的颠覆会很快到来吗?

文章出处:【微信号:Astroys,微信公众号:Astroys】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    Meta在VRAR领域的探索与挑战

    自Meta成功收购Oculus以来,它便开始在PC VR领域迈出坚实的步伐,并通过后续的Quest系列在轻量级移动VR市场中占据了领先地位。不仅如此,Meta还积极进军智能眼镜
    的头像 发表于 10-14 14:58 863次阅读

    中国消费级AR设备市场2024年上半年显著增长,AR引领XR市场新风尚

    进入2024年上半年,中国消费级增强现实(AR)设备市场展现出前所未有的活力,据最新市场数据显示,该领域销量实现了惊人的49%同比增长,而同期虚拟现实(
    的头像 发表于 09-05 15:15 882次阅读

    游戏、ARVR控制器中的位置检测

    电子发烧友网站提供《游戏、ARVR控制器中的位置检测.pdf》资料免费下载
    发表于 09-05 11:05 0次下载
    游戏、<b class='flag-5'>AR</b>和<b class='flag-5'>VR</b>控制器中的位置检测

    XR与ARVR的区别是什么

    )等多种威廉希尔官方网站 。本文将详细介绍XR、ARVR的区别,以及它们在不同领域的应用。 一、XR、ARVR的概念 XR(扩展现实) XR是一种将现
    的头像 发表于 07-08 09:43 5715次阅读

    雷鸟创新携手Ultraleap与Prophesee,共绘消费级AR威廉希尔官方网站 新篇章

    在科技的浪潮中,我们见证了一个又一个令人惊叹的革新。近日,消费级AR(增强现实)威廉希尔官方网站 再次成为了公众瞩目的焦点。作为这一领域的佼佼者,雷鸟创新宣布与Ultraleap和Prophesee两大威廉希尔官方网站 巨头建立深度战略合作,共同推动消费级
    的头像 发表于 06-21 16:47 923次阅读

    PROPHESEE携手Ultraleap与雷鸟创新 开发用于AR眼镜的创新威廉希尔官方网站

    推动AR体验迈向全新高度。此次合作将结合Prophesee领先的事件视觉传感威廉希尔官方网站 、Ultraleap在手势识别威廉希尔官方网站 方面的专长,以及雷鸟创新在消费级AR硬件和软件开发方面的专业威廉希尔官方网站 积淀,共同打造兼具前沿互动性和沉浸感的
    发表于 06-20 10:07 210次阅读

    消费级AR市场进入快速成长期,2023年一体式AR设备增长近200%

    电子发烧友网报道(文/莫婷婷)2023年,中国AR/VR消费级市场的发展不如预期,来自市场调研机构IDC的数据显示,该市场整体销量仅为72.
    的头像 发表于 05-21 01:39 3489次阅读
    消费级<b class='flag-5'>AR</b><b class='flag-5'>市场</b>进入快速成长期,2023年一体式<b class='flag-5'>AR</b>设备增长近200%

    Tower与天宜微共同开发下一代AR/VR OLED微型显示器

    宣布,双方将在下一代AR/VR OLED微型显示器的开发领域展开战略合作,以满足中国和全球市场对先进AR/
    的头像 发表于 03-04 10:54 983次阅读

    Meta拒绝和谷歌在VR/AR领域合作提议

    Meta拒绝和谷歌在VR/AR领域合作提议 据外媒报道,Meta拒绝和谷歌在VR/AR领域合作的
    的头像 发表于 03-02 15:48 3051次阅读

    2023年中国AR/VR市场业绩概览:AR出货量攀新高,VR销量下滑

    报告指出,今年中国 AR 市场出货量达到了 26.1 万台,其中分体式 AR 占据主导地位,出货量达 23 万台,一体式 AR 出货量为 3.1 万台。与去年相比,今年国内主要
    的头像 发表于 02-29 15:21 1087次阅读

    Zinn Labs 推出基于 PROPHESEE事件视觉传感器的视线跟踪系统,为 AI 智能镜框和 VR/MR 系统赋能

    基于事件的视线跟踪系统(event-based gaze-tracking system),用于增强现实(VR)和混合现实(MR)头显和智能镜框。该系统基于 Prophesee 事件视觉传感解决方案,
    的头像 发表于 02-07 13:53 666次阅读
    Zinn Labs 推出基于 <b class='flag-5'>PROPHESEE</b>事件视觉传感器的视线跟踪系统,为 AI 智能镜框和 <b class='flag-5'>VR</b>/MR 系统赋能

    国产芯片“启明”涉足VR/AR协处理器芯片市场

    2023年,国内外VR/AR市场呈现出繁荣景象。苹果公司发布Vision Pro变革性产品引领行业方向,产业链的多项威廉希尔官方网站 突破、各大品牌纷纷发布新产品、生态建设逐步成熟,整个VR/
    的头像 发表于 01-29 14:35 1213次阅读

    arvr的区别与联系 arvr哪个更高级

    AR(Augmented Reality,增强现实)和VR(Virtual Reality,虚拟现实)是现代科技领域中两个颇受关注的概念,尽管它们都属于虚拟现实的范畴,但是它们在威廉希尔官方网站 的应用和功能方面
    的头像 发表于 01-19 10:48 5940次阅读

    联合Ansys Zemax及Lumerical应对AR/VR市场挑战

    当前的增强现实和虚拟现实(AR/VR市场涵盖了广泛的应用趋势,设计人员和各企业在努力寻找非传统解决方案,以满足主流消费者不断变化的需求。
    的头像 发表于 01-13 16:20 4187次阅读
    联合Ansys Zemax及Lumerical应对<b class='flag-5'>AR</b>/<b class='flag-5'>VR</b><b class='flag-5'>市场</b>挑战

    VRAR和裸眼3D这三者有哪些区别?

    VRAR和裸眼3D这三者有哪些区别? VR(虚拟现实)、AR(增强现实)和裸眼3D(无眼镜3D)是现代科技领域的三个重要概念。虽然它们都与
    的头像 发表于 01-09 14:20 4704次阅读