确保视频顺畅播放 麻省理工实验室研发了新的人工智能Pensieve

简介:

至顶网软件频道消息:麻省理工学院计算机科学与人工智能实验室的一个研究人员团队开发了一种名为Pensieve的人工智能,可以使缓慢或模糊的网络视频成为过去。

 确保视频顺畅播放 麻省理工学院研发了新的人工智能Pensieve

流媒体视频内容近年来一直在跨越式发展,但不幸的是它的带宽要求也呈现出跨越式的跃升。为了克服这个挑战,像YouTube或Netflix这样的视频平台使用了将视频分成更容易处理的块的算法。如果他们的系统检测到您的互联网速度减慢,下一个视频片段将以较低的分辨率播放,用这种方式努力追上播放进度。

该系统背后的思路是确保顺畅的视频播放,但有时即使是质量下降,视频仍然会暂停几秒钟,因为它试图缓冲下一个块。这是因为算法并不总是准确地预测下一个块应该使用什么分辨率。

这正是Pensieve的用武之地。麻省理工学院的研究人员使用一种奖励和惩罚系统来开发它,训练它来识别有效的缓冲技术。例如,只要成功播放完整的视频而不必重新缓存,Pensieve就可以得到奖励,如果视频质量低于某个阈值,它则可能会受到惩罚。

博士生Hongzi Mao是这篇描述了Pensieve流程和功能论文的主要作者,他表示,“通过查看过去实际的表现,它学习到不同的策略如何影响性能,它可以以更加强硬的方式改进其决策策略。”

根据研究小组的论文,Pensieve可以将视频流量比其他系统多减少10%至30%,用户将其“体验质量”评价为提高了10%至20%。

Mao表示,Pensieve具有足够的灵活性以适应不同的要求。例如,可以对其进行培训,可以以牺牲分辨率为代价保障视频连续播放,或者也可以进行相反的训练,让质量的优先级高于顺畅。

研究团队的下一个项目将是测试Pensieve在流媒体虚拟现实内容中的有效性,它需要高得多的带宽,并且对低质量的容忍度要低得多。

麻省理工学院的教授Mohammad Alizadeh(Mohammad Alizadeh)是Pensieve上这篇论文的一位合著者,他表示:“你需要的4K质量的VR可以轻松地达到每秒数百兆比特的速度,今天的网络根本无法支持”。他表示,“我们很高兴看到像Pensieve这样的系统能够为VR等技术所做的一切。这还只是第一步。”

原文发布时间为:2017-8-15


本文作者:孙博 


本文来自云栖社区合作伙伴至顶网,了解相关信息可以关注至顶网。

 

目录
相关文章
|
17天前
|
人工智能 搜索推荐 大数据
【视频】如何用人工智能AI、大数据打动消费者洞察PPT|报告分享
【视频】如何用人工智能AI、大数据打动消费者洞察PPT|报告分享
|
8月前
|
人工智能 并行计算 数据安全/隐私保护
铅华洗尽,粉黛不施,人工智能AI基于ProPainter技术去除图片以及视频水印(Python3.10)
视频以及图片修复技术是一项具有挑战性的AI视觉任务,它涉及在视频或者图片序列中填补缺失或损坏的区域,同时保持空间和时间的连贯性。该技术在视频补全、对象移除、视频恢复等领域有广泛应用。近年来,两种突出的方案在视频修复中崭露头角:flow-based propagation和spatiotemporal Transformers。尽管两套方案都还不错,但它们也存在一些局限性,如空间错位、时间范围有限和过高的成本。 说白了,你通过AI技术移除水印或者修复一段不清晰的视频,但结果却没法保证连贯性,让人一眼能看出来这个视频或者图片还是缺失状态,与此同时,过高的算力成本也是普通人难以承受的。
铅华洗尽,粉黛不施,人工智能AI基于ProPainter技术去除图片以及视频水印(Python3.10)
|
8月前
|
弹性计算 人工智能 自然语言处理
GPU实验室-通过GPU云服务器生成AI视频
自多态模型GPT-4发布后,AIGC(AI Generated Content,AI生成内容)时代正扑面而来,从单一的文字文本,演化到更丰富的图片、视频、音频、3D模型等。本文基于阿里云GPU服务器和文本生成视频模型,采用Unet3D结构,通过从纯高斯噪声视频中,迭代去噪的过程,实现文本生成视频功能。
|
8月前
|
人工智能 弹性计算 物联网
GPU实验室-部署Stable Diffusion玩转AI绘画
在本实验场景中,我们将向大家介绍如何基于 Stable Diffusion 实现文字到图片的生成,包括Stable Diffusion的安装和基本使用方法,以及使用Lora模型调整图片生成的风格。
|
10月前
|
人工智能 自然语言处理 并行计算
彻底开源,免费商用,上海AI实验室把大模型门槛打下来
彻底开源,免费商用,上海AI实验室把大模型门槛打下来
158 0
|
机器学习/深度学习 人工智能 自然语言处理
跟着阿里训练营视频课程学习人工智能技术遇到的模型网络概念问题
参加人像卡通画训练营视频课程记录的一些概念介绍内容
118 0
|
机器学习/深度学习 人工智能 自然语言处理
蛋白质语言模型 ProGen:在实验室合成由 AI 预测的蛋白质
蛋白质语言模型 ProGen:在实验室合成由 AI 预测的蛋白质
436 0
|
机器学习/深度学习 人工智能 自动驾驶
上海人工智能实验室自动驾驶团队原作解读OpenLane:大规模真实场景3D车道线数据集
上海人工智能实验室自动驾驶团队原作解读OpenLane:大规模真实场景3D车道线数据集
192 0
|
机器学习/深度学习 人工智能 运维
ECCV 2022 Oral | 无需微调即可推广,上交大、上海人工智能实验室等提出基于配准的少样本异常检测框架
ECCV 2022 Oral | 无需微调即可推广,上交大、上海人工智能实验室等提出基于配准的少样本异常检测框架
102 0
|
机器学习/深度学习 数据采集 人工智能
ICASSP 2022 | 89.46%检出率,网易云信音频实验室提出全球首个AI啸叫检测方案(2)
ICASSP 2022 | 89.46%检出率,网易云信音频实验室提出全球首个AI啸叫检测方案
128 0