事件相机的工作原理和应用场景

发表时间: 2024-03-25 19:49:05 文章出处:防火阀

  事件相机最早诞生于1990年,那时候,许多研究人员探讨动物感知环境的方式,发现对变化更为敏感,所以设计出了实验室用的事件相机。2008年,诞生了第一款商用的事件相机。如今国内外都有企业和机构进行事件相机的研究。传统相机,无论是CMOS传感器,还是CCD传感器,亦或是RGBD相机,都有一个参数:帧率。它们是以恒定的频率拍摄获取图像。这样,即使帧率能达到1KHz,那也具有1ms的延时。所以传统相机存在一定的延迟问题。此外,传统相机需要通过一段时间的曝光,使感光器件积累一定的光子,那么在曝光时间之内如果物体在高速运动,则会产生模糊,这也是传统相机的一个问题。另外,传统相机的范围较低,具体表现为在光线极差或者亮度极高时,相机获取的信息有限。这样一些问题极大的限制了传统相机在一些应用场景中的应用。而事件相机则能很好的解决这样一些问题。事件相机,也称神经形态像机,或动态视觉传感器(DVS,Dynamic Vision Sensor),是一种能够响应局部亮度变化的成像传感器。事件相机不像常规相机那样使用快门捕获图像。相反,事件相机中的每个像素都独立且异步地运行,并在发生亮度变化时输出这些变化,否则保持沉默。下图可以非常形象的展示出事件相机和传统相机在工作原理上的不同。左侧:假设拍摄的是一个圆盘转动(圆盘此时逆时针转动一段时间然后停止)。右侧:上面是传统相机,圆盘停止时,标准相机输出不间断,然而这一些信息其实不是我们关注信息。下面是事件相机,其输出信息为亮度动态变化的位置,并且当图片无变化时即为no events,无输出。此前有业内人士对电子发烧友表示,基于这样的工作原理,事件相机有几个典型的特点:一是它的动态范围非常高,能够达到140dB;二是因为它只输出有效信息,不输出无效信息,它的数据量非常小;三是它的速度很快,能够达到1/10000s,甚至更高。因为这些特点,事件相机可适用于传统相机难以解决的一些场景中。比如城区场景中的鬼探头,传统相机在面对横向的鬼探头场景时,无法快速做出一定的反应,而事件相机可以更快感知到危险信号;再比如高速场景下的避障,车辆在高速上快速行驶时,遇到前方路面有一个轮胎,传统相机不能及时做出一定的反应,事件相机可以依靠低时延优势,快速识别并做出避障的动作。目前,不少公司都在致力于事件相机的发展,包括iniVation、prophesee(普诺飞思)、索尼(收购Insightness)、芯仑光电(韦尔股份子公司)、锐思智芯(Alpsentek)等。iniVation起源于瑞士,由基于事件视觉的发明者创立。该公司已推出多款产品,热门型号包括:DAVIS346 Color/Mono、DVXplorer、DVXplorer Lite/Mini、Stereo Kit等。iniVation的动态视觉平台可为诸多应用和行业提供支持和解决方案,包括物联网(超低功耗监控和智慧城市)、无人驾驶(车辆测距、SLAM和乘员监控)、机器人技术(场景理解与定位)、工业视觉(过程监控和基础设施检测)等。Prophesee于2014年成立于法国巴黎,专注于神经拟态视觉传感技术,目前基于事件的视觉技术推出多款传感器。其研发的普诺飞思原视觉(Metavision)传感器可应用于手机、无人驾驶、工业自动化、物联网、AR/VR、医疗设施等领域。比如在智能驾驶领域,Xperi旗下子公司DTS基于普诺飞思原视觉(Metavision)传感技术提供的事件数据,开发了基于神经拟态视觉系统的驾驶员监控解决方案(DMS),提供了更优的微光性能,以及新的检测功能,如眼跳或微表情检测等。再比如,高级驾驶辅助软件开发商Terranet AB与梅赛德斯-奔驰共同开发的VoxelFlow传感器,采用了普诺飞思原视觉(Metavision)传感器,可扫描车辆四周半径为40米的区域,反应时间为3毫秒。锐思智芯成立于2019年,拥有一支兼备芯片、算法、软件和硬件研发经验与能力的团队,核心专家来自全球顶尖机构。在高端视觉传感器领域拥有超过16年的技术积累,在事件相机领域拥有超过8年的研究经验。2021年10月,锐思智芯(Alpsentek)发布了首款融合仿生事件视觉传感器芯片——ALPIX-Pilatus(简称 ALPIX-P)。专为机器感知设计的传感器,可大范围的应用于机器人、智能手机、无人驾驶、无人机、安防等场景。ALPIX-P 采用锐思智芯自主研发的 Hybrid Vision融合式仿生事件视觉传感技术,即将仿生事件视觉技术与传统图像传感技术在像素级别进行融合。芯片可以在传统图像传感器模式和仿生事件相机模式之间快速切换,实现事件相机与 CIS 相机功能 “二合一”。在图像模式下,ALPIX-P 是一款最高帧率为 120 帧的全局曝光传感器,其图像质量与现有的商化的 CIS 输出的图像质量一致,兼容现有成熟的视觉系统。在仿生事件相机模式下,ALPIX-P 具有超高帧率,高有效信息占比,大动态范围的特点。事件相机的核心是神经拟态,神经拟态技术最早源于瑞士苏黎世联邦理工学院(ETH Zurich)。目前研究的企业主要有两个方向,一是传感器,即事件相机,就是文章提到的几家公司;另一个是神经拟态计算,主要是SoC芯片,如九天睿芯、时识科技。目前从两个方向来看,神经拟态在产品和应用上都有不错的进展。

  一加将于5月16日英国夏令时下午5点(北京时间17日零点)正式对外发布一加手机6,目前关于该机的秘密已经不多,现在其官方后壳又在网上曝光。 从图片来看,一加6官方提供砂岩、凯夫拉、酸枝、硅胶后盖,不知你最喜欢哪种?这些材质的选择也能算得上是一加的传统了,尤其是砂岩后壳,其手感很出色,成为很多用户最喜欢的后壳材质。 配置方面,一加6将搭载高通骁龙845处理器,RAM规格应该会有6GB和8GB两种,机身存储应该是从64GB起步,2280×1080分辨率的6.28英寸AMOLED屏幕,2000万+1600万后置摄像头及1600万像素前置摄像头,此前官方还暗示该机将搭载心率传感器,供黑、白两种配色,支持防水。官方还确认,一加6将支持

  日前我们曾经从GeekBench测试数据库里见到一颗疑似Intel 10nm Ice Lake-SP服务器平台的6核心型号,外媒称对比现有14nm产品,多线%,颇为不可思议,但真实性也有待检验。 现在,SiSoftware数据库里又出现了一颗新的Intel 10nm Ice Lake-SP至强处理器,型号不详只显示代表工程样品的Intel 0000字样,规格方面14核心28线GHz(加速频率未知),二级缓存17.5MB,三级缓存21MB。 目前代号Cascade Lake-SP的第二代至强可扩展家族中是没有14核心的,更早的第一代才有,但三级缓存只有19.25MB,所以这颗新U只能

  ,性能太出众 /

  大疆定于4月28日上午9点30分发布新品,外界普遍猜测主角将是“御”Mavic Air 2。 不过,在巴西通信委员会网站,Mavic Air 2线度曝光。 仔细对比的话显而易见,一二代无人机的外形有不少区别,包括涂装、云台等等细节。电源铭牌拉近看,容量达到了3500mAh,比现款Air增加了47%之多。 有趣的是,Mavic Air 2的使用手册也一同公布出来,显示它支持4K视频录制、最大4800万像素照片,最大飞行速度68.4公里/小时,飞行时长34分钟。 目前Mavic Air也支持4K/30P视频录制,但照片最大3200万像素(球形全景),最大飞行速度同样是68.4公里/小时,但飞行时长仅21分钟。由

  苹果公司还没有宣布2019年WWDC全球开发者大会的日期,但是MacRumors网站已经发现了证据,此次大会将于6月3日至7日在加州圣何塞的McEnery会议中心举行。 去年,苹果WWDC于6月4日至8日在McEnery举办,2017年则是6月5日至9日。自2007年以来,苹果的WWDC全球开发者大会都在每年6月上旬举行。 消息人士证实,McEnery会议中心将在6月3日至7日举行某一项大型年度活动。随后,该网站在圣何塞市文化事务处的2019 年活动日历上找到了新的线日(周四),苹果将在McEnery会议中心隔壁的Discovery Meadow公园组织一场名为“圣何塞团队2019

  低配版小米手机4曝光 新浪手机讯 9月24日上午消息,近日,小米公司在工信部电信设备进网管理网站中对4G版小米手机4的配置信息进行了更新。在之前的版本添加了两个新的配置版本:增加 “3GB RAM+64GB ROM”版本和“2GB RAM+16GB ROM”两个版本。这在某种程度上预示着小米将会在近期推出低配版小米手机4。 在仔细看过进网管理网站上信息后,能够准确的看出低配版小米手机4的配置似乎只有运行内存从3GB缩水到了2GB,其它均未改变,依旧配置四核2.5GHz骁龙801处理器、16GB机身存储空间、1300万/800万像素摄像头等配置。(基德) 目前该机的售价还未公布,但可以预想应该会低于1799而以和魅族MX4进行

  在新新一代途观之后,大众将在今年第三季度推出全新一代途锐车型,目前外媒已经曝光了它的无伪谍照。下面就紧随eeworld汽车电子小编来仔细地了解下: 从总的来看,新新一代途锐前方使用了T字形的格栅造型,格栅轮廓和前保险杠上都采用了大量的镀铬装饰,跟此前上汽荣威推出的RX5比较相似。 但必须要格外注意的是,这并非是说全新途锐跟RX5有啥关系,其实他们都参考了大众去年发布的T-Prime GTE概念车的风格。 从侧面看,车顶线条衍伸至尾部时略有下沉,在不影响车内空间的基础上为新车勾勒出更具运动感 的外观。 外媒称,新新一代途锐会采用和奥迪Q7相同的平台打造,出自该平台的还有宾利添越、全新保时捷卡宴以及兰博基尼首款SUV——Urus。 动

  在最新的 Linux 启动日志中,有某个条目明显指向了独特的英特尔 14 代 Meteor Lake-P CPU 。Coelacanth-Dream 在 Github 的 Sound Open Firmware(SOF)项目中发现,由 Intel 公司的 Fred Oh 上传的相关代码,暗示了 Meteor Lake-P 移动 CPU 阵容将拥有三种不同的核心配置。 Intel Fab 42 中的 Meteor Lake 测试芯片(图自:Cnet) 曝光的这枚早期工程样品(ES)处理器显示为“Genuine Intel (R) 0000”,基础频率仅为 1.2 GHz —— 所属家族为 0x6,型号 0xAA,步进 0x

  高达14C/20T /

  苹果的每一代产品都吸引无数用户关注,在产品发售前每一个细节都被各位网友深度发掘。近日国外媒体就曝光了一个据称是iPhone 5的原件,令人吃惊的是这个配件是为滑盖手机设计的,难道说iPhone 5将会放弃全触控采用侧滑设计? iPhone配件     国外网站近日曝光了一组配件号为821-1300-02 HF/C1的原配件,这个配件将会此前并不属于iPhone,而是专门应用于滑盖手机上。因此有分析称下一代iPhone将会采用滑盖设计。不过从目前消息来看苹果并没有表现出对键盘设计的兴趣,因此这个推论的可信度并不高。     目前苹果将会在3月2日举办发布会正式对外公布iPad 2,届时我们也可以从这款产品了解到更多

  21天学通HTML+CSS+JavaScript Web开发-第7版(带目录)

  中的图像传感器和信号处理

  有奖征文:邀一线汽车VCU/MCU开发工程师,分享开发经验、难题、成长之路等

  3月22日,广东赛昉科技有限公司(赛昉科技)与超聚变数字技术有限公司(超聚变)战略合作签约仪式隆重举办。双方就数据中心场景下的RISC-V ...

  1、概述LDR6023B SSOP16 是乐得瑞科技针对USBType-C标准中的 Bridge 设备而开发的双 USB-C DRP接口USB PD通信芯片。具备 Power Ne ...

  一、引言近年来,线上音视频产品的形态和应用场景越发的丰富,疫情的发展加速了许多的行业线下转线上的速度。线上沟通的常态化,音视频的技 ...

  电风扇市场也已步入绿色节能、高效多功能化产品的发展的新趋势。为您送上小型轻便、多功能、多种运行模式的新一代电风扇产品高能效、小型轻便、 ...

  借用服务器机房课题的技术解决方案,实现舒适的休息空间。具有高静音性和低功耗的双反转螺旋桨风扇近年来,虽然空气净化器的需求持续不断的增加, ...

  5W/10W/12W/15W/18W/20W/24W/36W/65W充电器芯片方案

  OpenVINO™ DevCon 2024 盛大启动:英特尔以技术之力,携手开发者共筑AI未来

  Ekkono边缘机器学习简化了在英飞凌AURIX™ TC3x和TC4x上为汽车应用部署AI的过程

  是德科技有奖直播:元宇宙测试系列研讨会之VR/AR 数字接口测试的挑战

  盛夏狂欢,与Microchip一起探索时钟与时序之旅 轻松答问题~赢奖品

  嵌入式处理器嵌入式操作系统开发相关FPGA/DSP总线与接口数据处理消费电子工业电子汽车电子其他技术存储技术综合资讯论坛电子百科