确保视频顺畅播放 麻省理工实验室研发了新的人工智能Pensieve

简介:

至顶网软件频道消息:麻省理工学院计算机科学与人工智能实验室的一个研究人员团队开发了一种名为Pensieve的人工智能,可以使缓慢或模糊的网络视频成为过去。

 确保视频顺畅播放 麻省理工学院研发了新的人工智能Pensieve

流媒体视频内容近年来一直在跨越式发展,但不幸的是它的带宽要求也呈现出跨越式的跃升。为了克服这个挑战,像YouTube或Netflix这样的视频平台使用了将视频分成更容易处理的块的算法。如果他们的系统检测到您的互联网速度减慢,下一个视频片段将以较低的分辨率播放,用这种方式努力追上播放进度。

该系统背后的思路是确保顺畅的视频播放,但有时即使是质量下降,视频仍然会暂停几秒钟,因为它试图缓冲下一个块。这是因为算法并不总是准确地预测下一个块应该使用什么分辨率。

这正是Pensieve的用武之地。麻省理工学院的研究人员使用一种奖励和惩罚系统来开发它,训练它来识别有效的缓冲技术。例如,只要成功播放完整的视频而不必重新缓存,Pensieve就可以得到奖励,如果视频质量低于某个阈值,它则可能会受到惩罚。

博士生Hongzi Mao是这篇描述了Pensieve流程和功能论文的主要作者,他表示,“通过查看过去实际的表现,它学习到不同的策略如何影响性能,它可以以更加强硬的方式改进其决策策略。”

根据研究小组的论文,Pensieve可以将视频流量比其他系统多减少10%至30%,用户将其“体验质量”评价为提高了10%至20%。

Mao表示,Pensieve具有足够的灵活性以适应不同的要求。例如,可以对其进行培训,可以以牺牲分辨率为代价保障视频连续播放,或者也可以进行相反的训练,让质量的优先级高于顺畅。

研究团队的下一个项目将是测试Pensieve在流媒体虚拟现实内容中的有效性,它需要高得多的带宽,并且对低质量的容忍度要低得多。

麻省理工学院的教授Mohammad Alizadeh(Mohammad Alizadeh)是Pensieve上这篇论文的一位合著者,他表示:“你需要的4K质量的VR可以轻松地达到每秒数百兆比特的速度,今天的网络根本无法支持”。他表示,“我们很高兴看到像Pensieve这样的系统能够为VR等技术所做的一切。这还只是第一步。”

原文发布时间为:2017-8-15


本文作者:孙博 


本文来自云栖社区合作伙伴至顶网,了解相关信息可以关注至顶网。

 

目录
相关文章
|
10天前
|
人工智能 安全 算法
上交大、上海人工智能实验室开源首个多轮安全对齐数据集 SafeMTData
最近,以 OpenAI o1 为代表的 AI 大模型的推理能力得到了极大提升,在代码、数学的评估上取得了令人惊讶的效果。OpenAI 声称,推理可以让模型更好的遵守安全政策,是提升模型安全的新路径。
|
3月前
|
机器学习/深度学习 人工智能 自然语言处理
【深度学习】python之人工智能应用篇——视频生成技术
视频生成技术是一种基于深度学习和机器学习的先进技术,它使得计算机能够根据给定的文本、图像、视频等单模态或多模态数据,自动生成符合描述的、高保真的视频内容。这种技术主要依赖于深度学习模型,如生成对抗网络(GAN)、自回归模型(Auto-regressive Model)、扩散模型(Diffusion Model)等。其中,GAN由两个神经网络组成:一个生成器用于生成逼真的图像或视频,另一个判别器用于判断生成的图像或视频是否真实。通过不断的对抗学习,生成器和判别器共同优化,以产生更高质量的视频。
94 2
|
4月前
|
分布式计算 NoSQL 物联网
麻省理工IOT教授撰写的1058页Python程序设计人工智能实践手册!
Python是世界上最流行的语言之一,也是编程语言中使用人数增长最快的一种。 开发者经常会很快地发现自己喜欢Python。他们会欣赏Python的表达力、可读性、简洁性和交互性,也会喜欢开源软件开发环境,这个开源环境正在为广泛的应用领域提供快速增长的可重用软件基础。 几十年来,一些趋势已经强有力地显现出来。计算机硬件已经迅速变得更快、更便宜、更小;互联网带宽已经迅速变得越来越大,同时也越来越便宜;优质的计算机软件已经变得越来越丰富,并且通过“开源”方式免费或几乎免费;很快,“物联网”将连接数以百亿计的各种可想象的设备。这将导致以快速增长的速度和数量生成大量数据。 在今天的计算技术中,最新的创新
|
4月前
|
分布式计算 NoSQL 物联网
麻省理工IOT教授撰写的1058页Python程序设计人工智能实践手册!
Python是世界上最流行的语言之一,也是编程语言中使用人数增长最快的一种。 开发者经常会很快地发现自己喜欢Python。他们会欣赏Python的表达力、可读性、简洁性和交互性,也会喜欢开源软件开发环境,这个开源环境正在为广泛的应用领域提供快速增长的可重用软件基础。
|
5月前
|
人工智能 数据挖掘 大数据
538个代码示例!麻省理工教授的Python程序设计+人工智能案例实践
Python简单易学,且提供了丰富的第三方库,可以用较少的代码完成较多的工作,使开发者能够专注于如何解决问题而只花较少的时间去考虑如何编程。 此外,Python还具有免费开源、跨平台、面向对象、胶水语言等优点,在系统编程、图形界面开发、科学计算、Web开发、数据分析、人工智能等方面有广泛应用。 尤其是在数据分析和人工智能方面,Python已成为最受开发者欢迎的编程语言之一,不仅大量计算机专业人员选择使用Python进行快速开发,许多非计算机专业人员也纷纷选择Python语言来解决专业问题。 由于Python应用广泛,关于Python的参考书目前已经有很多,但将Python编程与数据分析、人工智
|
5月前
|
人工智能 数据挖掘 大数据
538个代码示例!麻省理工教授的Python程序设计+人工智能案例实践
Python简单易学,且提供了丰富的第三方库,可以用较少的代码完成较多的工作,使开发者能够专注于如何解决问题而只花较少的时间去考虑如何编程。 此外,Python还具有免费开源、跨平台、面向对象、胶水语言等优点,在系统编程、图形界面开发、科学计算、Web开发、数据分析、人工智能等方面有广泛应用。 尤其是在数据分析和人工智能方面,Python已成为最受开发者欢迎的编程语言之一,不仅大量计算机专业人员选择使用Python进行快速开发,许多非计算机专业人员也纷纷选择Python语言来解决专业问题。 由于Python应用广泛,关于Python的参考书目前已经有很多,但将Python编程与数据分析、人工智
|
弹性计算 人工智能 自然语言处理
GPU实验室-通过GPU云服务器生成AI视频
自多态模型GPT-4发布后,AIGC(AI Generated Content,AI生成内容)时代正扑面而来,从单一的文字文本,演化到更丰富的图片、视频、音频、3D模型等。本文基于阿里云GPU服务器和文本生成视频模型,采用Unet3D结构,通过从纯高斯噪声视频中,迭代去噪的过程,实现文本生成视频功能。
|
人工智能 并行计算 数据安全/隐私保护
铅华洗尽,粉黛不施,人工智能AI基于ProPainter技术去除图片以及视频水印(Python3.10)
视频以及图片修复技术是一项具有挑战性的AI视觉任务,它涉及在视频或者图片序列中填补缺失或损坏的区域,同时保持空间和时间的连贯性。该技术在视频补全、对象移除、视频恢复等领域有广泛应用。近年来,两种突出的方案在视频修复中崭露头角:flow-based propagation和spatiotemporal Transformers。尽管两套方案都还不错,但它们也存在一些局限性,如空间错位、时间范围有限和过高的成本。 说白了,你通过AI技术移除水印或者修复一段不清晰的视频,但结果却没法保证连贯性,让人一眼能看出来这个视频或者图片还是缺失状态,与此同时,过高的算力成本也是普通人难以承受的。
铅华洗尽,粉黛不施,人工智能AI基于ProPainter技术去除图片以及视频水印(Python3.10)
|
6月前
|
人工智能 搜索推荐 大数据
【视频】如何用人工智能AI、大数据打动消费者洞察PPT|报告分享
【视频】如何用人工智能AI、大数据打动消费者洞察PPT|报告分享
|
人工智能 弹性计算 物联网
GPU实验室-部署Stable Diffusion玩转AI绘画
在本实验场景中,我们将向大家介绍如何基于 Stable Diffusion 实现文字到图片的生成,包括Stable Diffusion的安装和基本使用方法,以及使用Lora模型调整图片生成的风格。