jjzjj

地平线最新!Sparse4D v3:进一步提升端到端3D检测与跟踪任务(双SOTA!)

本文经自动驾驶之心公众号授权转载,转载请联系出处。个人理解&&写在前面自动驾驶感知系统中,3D检测和跟踪是两项基本任务。v3版本在Sparse4D的基础上对该领域进行了更深入的研究。主要引入了两个辅助训练任务(时态实例去噪和质量估计),并提出了解耦注意力来进行结构改进,从而显著提高检测性能。此外,还使用一种简单的方法将检测器扩展到跟踪器中,该方法在推理过程中分配实例ID,进一步突出了基于Query算法的优势。 这一段话中间开始可以改成该方法在推理过程中通过直接分配实例id的方式实现跟踪。和现有的端到端跟踪方法(如motr系列)相比,sparse4dv3中无需加入任何针对跟踪的训练策略,进一步突

性能爆炸!最新MapEX:大幅超过现有所有SOTA,无图感知真的要来了?

本文经自动驾驶之心公众号授权转载,转载请联系出处。写在前面&笔者的个人理解看完这篇文章,会有一种无图感知到头了的错觉???刚刚出炉的MapEX,迫不及待的吸取了一波文章精华,顺便分享给大家。MapEX的核心是利用历史存储的地图信息,优化当前局部高精地图的构建,历史地图可以是只有一些简单的地图元素(例如道路边界)、也可是是带噪声的地图(比如每个地图元素偏移5m)、也可以是旧的地图(例如只有一小部分地图元素能与当前场景对齐)。显而易见,这些历史的地图信息对当下的局部高精地图构建都是有用的,因此也引出了本文的核心,即如何使用???具体来说,MapEX基于MapTRv2构建,这些历史地图信息可以编码为

FlashOcc:占用预测新思路,精度、效率和内存占用新SOTA!

本文经自动驾驶之心公众号授权转载,转载请联系出处。原标题:FlashOcc:FastandMemory-EfficientOccupancyPredictionviaChannel-to-HeightPlugin论文链接:https://arxiv.org/pdf/2311.12058.pdf作者单位:大连理工大学HoumoAI阿德莱德大学论文思路:鉴于能够缓解3D目标检测中普遍存在的长尾缺陷和复杂形状缺失的能力,占用预测已成为自动驾驶系统的关键组成部分。然而,三维体素级表示的处理不可避免地会在内存和计算方面引入大量开销,阻碍了迄今为止的占用预测方法的部署。与使模型变得更大、更复杂的趋势相反,

提前对齐,视频问答新SOTA!北大全新Video-LLaVA视觉语言大模型,秒懂视频笑点

最近,来自北大的研究人员提出了一种全新的视觉语言大模型——Video-LLaVA,为alignmentbeforeprojection提供了新颖的解决方案。与以往的视觉语言大模型不同,Video-LLaVA关注的是提前将图片和视频特征绑定到统一个特征空间,使LLM能够从统一的视觉表示从学习模态的交互。此外,为了提高计算效率,Video-LLaVA还联合了图片和视频进行训练和指令微调。论文地址:https://arxiv.org/pdf/2310.01852.pdfGitHub地址:https://github.com/PKU-YuanGroup/Video-LLaVAHuggingface地址

【论文阅读系列】NWD-Based Model | 小目标检测新范式,抛弃IoU-Based暴力涨点(登顶SOTA) 计算机视觉

NWD-BasedModel|小目标检测新范式,抛弃IoU-Based暴力涨点(登顶SOTA)计算机视觉参考:博客1知乎2在这里进行纪录分享,这是有用的资料,避免之后再寻找相当麻烦。小目标检测是一个非常具有挑战性的问题,因为小目标只包含几个像素大小。作者证明,由于缺乏外观信息,最先进的检测器也不能在小目标上得到令人满意的结果。作者的主要观察结果是,基于IoU(IntersectionoverUnion,IoU)的指标,如IoU本身及其扩展,对小目标的位置偏差非常敏感,在基于Anchor的检测器中使用时,严重降低了检测性能。为了解决这一问题,本文提出了一种新的基于Wasserstein距离的小目

1分钟预测10天全球天气!谷歌DeepMind全新AI天气预报登上Science,碾压行业SOTA

不到1分钟,高精度预测出10天的全球天气。ChatGPT之后,又一个AI模型的能力再次惊艳了全世界!从15日开始,未来十天的全球天气状况它就是,谷歌DeepMind团队提出全新的全球天气预报模型——GraphCast,最新研究登上Science。图片论文地址:https://www.science.org/doi/10.1126/science.adi2336当前天气预报的主流方式就是「数值天气预报」(NWP),使用复杂的算法求解物理方程,既耗时又昂贵。而深度学习模型GraphCast在欧洲中期天气预报中心(ECMWF)近40年的数据上进行训练,来了解天气如何随时间演变。图片研究发现,与行业黄

重新审视Transformer:倒置更有效,真实世界预测的新SOTA出现了

Transformer在时间序列预测中出现了强大能力,可以描述成对依赖关系和提取序列中的多层次表示。然而,研究人员也质疑过基于Transformer的预测器的有效性。这种预测器通常将相同时间戳的多个变量嵌入到不可区分的通道中,并对这些时间token进行关注,以捕捉时间依赖性。考虑到时间点之间的数字关系而非语义关系,研究人员发现,可追溯到统计预测器的简单线性层在性能和效率上都超过了复杂的Transformer。同时,确保变量的独立性和利用互信息越来越受到最新研究的重视,这些研究明确地建立了多变量相关性模型,以实现精确预测,但这一目标在不颠覆常见Transformer架构的情况下是难以实现的。考虑

nnUNet原创团队全新力作!MedNeXt:医学图像分割新SOTA

Title:MedNeXt:Transformer-drivenScalingofConvNetsforMedicalImageSegmentationMedNeXt:用于医学图像分割的ConvNets的变压器驱动缩放原论文链接:https://arxiv.org/abs/2303.09975代码链接:GitHub-MIC-DKFZ/MedNeXt:MedNeXtisafullyConvNeXtarchitecturefor3Dmedicalimagesegmentation(MICCAI2023).导读:MedNeXt是nnUNet原创团队于2023年3月17日上传至arxiv上的新作品,该

Nuscenes最新SOTA | DynamicBEV超越PETRv2/BEVDepth!

1.论文信息2.引言这篇论文介绍了一种新的3Dobjectdetection方法,这对于自动驾驶、机器人技术和监控等应用至关重要。传统的3Dobjectdetection方法使用鸟瞰视角(BEV)方法,将3D场景简化为2D表示。然而,常规的BEV方法在本质上大多是静态的。本文提出了一种名为DynamicBEV的动态方法。传统BEV方法的局限性静态Queries:传统方法主要使用静态Queries,其中Queries权重在训练阶段预定义,并且在推理期间不会更改。有限的背景利用:由于Queries的静态性质,这些模型难以有效地利用空间和时间背景,并适应复杂场景。DynamicBEV的进步动态Que

英飞凌TC3xx SOTA分析

1.SOTA功能描述SOTA(Sofewareupdateovertheair),指不连接烧写器的情况下,通过CAN、串口、以太网等通讯方式,实现应用程序的更新。汽车行业里通常有如下几种方案:针对MCU控制器,需要分别开发汽车BootLoader程序(需裁剪UDS协议)和应用程序,MCU上电后首先运行BootLoader,然后正常进入应用程序;当需要更新应用程序时,可通过诊断仪下发指令给MCU,MCU的应用程序收到指令后将设置更新标志位,然后进行复位重新进入BootLoader,Bootloader根据标志位开始擦除旧APP,接收新的APP数据并直接写在APP运行的Flash地址空间。该方案的