本文摘要:研究人员更加多地用于AI将历史镜头切换为高分辨率、低帧亲率的视频,看上去就看起来用现代设备摄制。
研究人员更加多地用于AI将历史镜头切换为高分辨率、低帧亲率的视频,看上去就看起来用现代设备摄制。为了修改该过程,罗切斯特大学、东北大学和普渡大学的研究人员最近明确提出了一种框架,该框架可从较低帧频、低分辨率视频分解高分辨率慢动作视频。据研究团队回应,他们用于的“时空视频超强分辨率(STVSR)”算法不仅在图像质量上比现有方法更佳,而且比以前的近期AI模型慢三倍。
就某种程度上而言,这一框架的明确提出是时隔英伟达在2018年公布的针对视频处置AI模型后的再度提高,当年英伟达的AI模型可以对任何视频应用于展开慢动作处置。据理解,类似于的高分辨率技术早已应用于视频游戏领域。去年,《最终幻想》的用户通过用于一款取名为AI Gigapixel的软件(售价100美元)来提升《最终幻想VII》的背景分辨率正是基于这类技术。明确而言,STVSR同时自学时间插值(如何在完整帧之间制备不不存在的中间视频帧)和空间超强分辨率(如何从适当的参照帧及其邻接帧中修复高分辨率帧);与此同时,归功于预示的卷积长短期记忆模型,它需要利用视频上下文和时间偏移来从单体特征中修复帧,以此制备高分辨率慢动作视频。
研究人员用于来自Vimeo的60000多个7帧剪辑的数据集对STVSR展开了培训,并用于分开的评估语料库将数据集区分为慢动作、长时间动作和慢动作集,以测量各种条件下的性能。在实验中,他们找到STVSR在慢动作的视频上取得了明显的改良,还包括那些具备挑战性的动作视频,例如篮球运动员在球场上较慢移动的视频。据外媒报导称之为,该AI模型具备更加准确图像结构和较少模糊不清伪影的帧修复能力,同时又比基准模型小四倍、慢最少两倍。
“通过这种单阶段设计,我们的网络可以很好地探寻任务中时间插值与空间超强分辨率之间的内在联系,”实印本论文的年出版者写到。“它使我们的模型需要自适应地自学,以利用简单的本地和全局时间上下文来减轻大型运动问题。
大量的实验指出,我们的框架比现有AI模型更加有效地、效率更高,并且所建议的特征时间插值网络和可变形模型需要处置十分具备挑战性的较慢运动视频。”据外媒报导称之为,该项目研究人员想在今年夏天对外发布源代码。(公众号:)via:venturebeat原文链接:https://venturebeat.com/2020/02/27/researchers-propose-ai-that-improves-the-quality-of-any-video/原创文章,予以许可禁令刊登。下文闻刊登须知。
本文来源:NG体育-www.ntmdyjf.com