jjzjj

【达摩院OpenVI】基于流感知的视频目标检测网络LongShortNet

论文&代码论文链接:[arxiv]代码&应用:开源代码:[githubcode]开源应用:[modelscope]背景介绍传统视频目标检测(VideoObjectDetection,VOD)任务以一段视频作为输入,利用视频的时序信息进行目标检测,并最终输出每一帧视频帧的检测结果。其相比图像目标检测(ImageObjectDetection,IOD)任务,优势在于能够利用视频的时序信息,对运动模糊、图像失焦、遮挡、物体姿态变化等困难的场景具有更强的鲁棒性。然而,传统的VOD和IOD都是离线(offline)的检测,即仅考虑算法的检测精度,未考虑算法的延时。为了更加贴近现实场景,ECCV2020论

【达摩院OpenVI】视频目标渐进式Transformer跟踪器ProContEXT

论文&代码论文链接:[arxiv]代码&应用:开源代码:[githubcode]开源应用:[modelscope]背景介绍视频目标跟踪(VideoObjectTracking,VOT)任务以一段视频和第一帧中待跟踪目标的位置信息(矩形框)作为输入,在后续视频帧中预测该跟踪目标的精确位置。该任务对跟踪目标的类别没有限制,目的在于跟踪感兴趣的目标实例。该算法在学术界和工业界都是非常重要的一个研究课题,在自动驾驶、人机交互、视频监控领域都有广泛应用。由于输入视频的多样性,目标跟踪算法需要适应诸如尺度变化、形状变化、光照变化、遮挡等诸多挑战。特别是在待跟踪目标外观变化剧烈、周围存在相似物体干扰的情况下

【达摩院OpenVI】AIGC技术在图像超分上的创新应用

团队模型、论文、博文、直播合集,点击此处浏览一、背景近10年来,深度学习技术得到了长足进步,在图像增强领域取得了显著的成果,尤其是以GAN为代表的生成式模型在图像复原、老片修复,图像超分辨率等方面大放异彩。图像超分辨率是视频增强方面,用于提升画质的典型应用。生成对抗网络GAN使得在图像分辨率增加的同时,保持细节特征,补充生成真实的纹理,其中应用广泛的工作是Real-ESRGAN。不过随着扩散模型DiffusionModel在理论和实践中的有效性得到越来越多的验证,在大数据、大模型的加持下,多模态学习发展如火如荼,促成了当今AIGC的火爆。同时以此为基础的视觉增强底层任务,也带来了一些突破性成果

【达摩院OpenVI】AIGC技术在图像超分上的创新应用

团队模型、论文、博文、直播合集,点击此处浏览一、背景近10年来,深度学习技术得到了长足进步,在图像增强领域取得了显著的成果,尤其是以GAN为代表的生成式模型在图像复原、老片修复,图像超分辨率等方面大放异彩。图像超分辨率是视频增强方面,用于提升画质的典型应用。生成对抗网络GAN使得在图像分辨率增加的同时,保持细节特征,补充生成真实的纹理,其中应用广泛的工作是Real-ESRGAN。不过随着扩散模型DiffusionModel在理论和实践中的有效性得到越来越多的验证,在大数据、大模型的加持下,多模态学习发展如火如荼,促成了当今AIGC的火爆。同时以此为基础的视觉增强底层任务,也带来了一些突破性成果

【达摩院OpenVI】老片图像上色,一键开源体验

  团队模型、论文、博文、直播合集,点击此处浏览一、背景             图像上色(ImageColorization)顾名思义,是指对黑白图像添加色彩,使其变成彩色图像。更具体的说,我们常见的彩色图像通常是三通道图像,而黑白图像只有一个灰度通道,因此,图像上色旨在利用单一灰度通道恢复图像的两个彩色通道。随着摄影技术的演进,彩色照片在现在已经非常普及,但仍然有大量历史黑白照片遗留。图像上色可以对这些宝贵的旧时代遗产进行修复,令老照片重获新生。        我们使用真实历史黑白老照片作为输入,经过上色模型处理,最终可以得到观感惊艳的彩色照片!原图来自:1945.“Abandonedbo

【达摩院OpenVI】开源体验AI云台,去视频抖动

团队模型、论文、博文、直播合集,点击此处浏览一、背景随着自媒体与短视频的兴起,人们有了越来越多的拍摄视频的需求。然而由于手持拍摄、硬件限制等原因,利用手机等普通摄影设备拍摄的视频难免存在视频抖动问题。尤其是开启较高倍数的变焦后,手持拍摄很难拍摄到稳定的视频,极易产生抖动的现象。使用云台、斯坦尼康等外设可以缓解这样的抖动,但是很多时候多带一个外设降低了拍摄视频的便利程度,会使得随时随地的拍摄体验大打折扣。那么除了换用更专业的摄影设备或使用云台等配件外,是否有其他的方法消除视频抖动呢?其实无需担忧,AI“魔法”可以对抖动的视频进行稳像,达到清晰稳定的效果。视觉增强团队在ModelScope魔搭平台

【达摩院OpenVI】开源体验AI云台,去视频抖动

团队模型、论文、博文、直播合集,点击此处浏览一、背景随着自媒体与短视频的兴起,人们有了越来越多的拍摄视频的需求。然而由于手持拍摄、硬件限制等原因,利用手机等普通摄影设备拍摄的视频难免存在视频抖动问题。尤其是开启较高倍数的变焦后,手持拍摄很难拍摄到稳定的视频,极易产生抖动的现象。使用云台、斯坦尼康等外设可以缓解这样的抖动,但是很多时候多带一个外设降低了拍摄视频的便利程度,会使得随时随地的拍摄体验大打折扣。那么除了换用更专业的摄影设备或使用云台等配件外,是否有其他的方法消除视频抖动呢?其实无需担忧,AI“魔法”可以对抖动的视频进行稳像,达到清晰稳定的效果。视觉增强团队在ModelScope魔搭平台

【OpenVI】AIGC纪元,兔年AI绘画实践

团队模型、论文、博文、直播合集,点击此处浏览一、背景AIGC指的是AIGeneratedContent,即由AI创作的内容,是继UGC(UserGeneratedContent用户创造内容,如抖音b站等平台)、PGC(ProfessionalGeneratedContent专业生产内容,如腾讯视频等)之后的新型内容生产方式。由于AIGC生成内容版权可以属于用户,在后续二创、不同平台内容分发方面优势明显。up主们纷纷使用AIGC进行短视频内容创作,能绘画天马行空的场景、栩栩如生的人物。如此精细的ai绘画和去年StableDiffusion、MidJourney、DALL-E2的横空出世息息相关,

【OpenVI】AIGC纪元,兔年AI绘画实践

团队模型、论文、博文、直播合集,点击此处浏览一、背景AIGC指的是AIGeneratedContent,即由AI创作的内容,是继UGC(UserGeneratedContent用户创造内容,如抖音b站等平台)、PGC(ProfessionalGeneratedContent专业生产内容,如腾讯视频等)之后的新型内容生产方式。由于AIGC生成内容版权可以属于用户,在后续二创、不同平台内容分发方面优势明显。up主们纷纷使用AIGC进行短视频内容创作,能绘画天马行空的场景、栩栩如生的人物。如此精细的ai绘画和去年StableDiffusion、MidJourney、DALL-E2的横空出世息息相关,