大直播时代,P2P才是降低成本的必杀技

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: 在流媒体传输分发领域,CDN和P2P一直是经常被拿来进行对比和讨论的一大热点,虽然不少大型视频企业目前同时使用着CDN和P2P两套分发机制,但相对于CDN,很多人对于P2P技术知之甚少。

在流媒体传输分发领域,CDN和P2P一直是经常被拿来进行对比和讨论的一大热点,虽然不少大型视频企业目前同时使用着CDN和P2P两套分发机制,但相对于CDN,很多人对于P2P技术知之甚少。整体来说,P2P技术一方面能够极大缓解CDN“中心化”的边缘节点服务器压力,提升CDN网络在节点分布少的地区和流量高峰时期的整体服务能力;另一方面通过利用观看者大量“废弃”的上行带宽,极大的降低视频分发带宽成本。本文将以观止云通用P2P分发平台为例,向大家介绍P2P运行原理?是否安全?使用P2P平台方和用户端到底需要做哪些工作?到底能省多少带宽?观止云P2P分发平台架构等普遍关注的问题。

  

P2P,了解这些就够了

P2P是Peer to Peer (对等网络)的简称,网络中的每个节点(参与者)即为Peer(对等节点),它与我们当前每天使用的Server/Client(服务器/客户端)模式本质的区别是,P2P网络中的Peer(对等节点)同时具备客户端和服务器的双重身份,同时作为服务的使用者和服务的提供者,即所谓的具有平等地位,每个Peer间可以不通过服务器而直接交换数据。

P2P技术架构有很多种不同路线,在文件交换、分布式计算、分布式存储、分布式搜索等诸多领域有广泛应用,本文只侧重介绍其在流媒体分发传输中的应用。P2P在流媒体分发中的典型运行原理如下图:


虽然我们很难知道P2P在今天到底承载了多少互联网流量数据,但P2P曾经着实是神一样的存在过。2007年,Ipoque研究机构对100多万网民接近3TB的匿名流量进行研究,分析发现当年P2P流量曾占到了整个互联网流量的50%甚至部分地区夜间流量峰值达到过整个网络流量的95%。


数据来源:Ipoque公开分析报告

然而出人意外的是,2007年后,P2P的整体流量开始持续下降。当CDN、云计算等一路扶摇直上发热发紫的时候,P2P却逐渐沦陷成为了非主流。技术的更迭是互联网的常态,2010年以后,随着云计算、智能移动终端、3G/光纤网络等的兴起让互联网在服务器、传输网络、终端整体产业环境发生了前所未有的变化,大环境导致了P2P技术走衰。另一方面,P2P技术自身存在的一些问题也确实困扰着它的前行:

01

系统可用性问题

尽管从系统整体而言,P2P网络的可用性十分可靠,但从单个Peer或单个任务来说,确实有着不可控不稳定的问题。如Peer的随意上下线,随意终止服务等,这对于大型商用系统来说是无法接受的。

02

安全性问题

P2P网络自诞生以来,始终伴随着安全、管理、版权、数据隐私泄露等方面的争议。P2P最常见的形态是安装专门的客户端软件,这个植于本机的软件随时让用户担心数据泄露、版权冲突、病毒传播等隐患。

03

使用的繁琐性

需要安装客户端软件的P2P,除了让用户担心安全以外,使用上也会让人觉得非常麻烦。使用成本高也反映在了P2P软件装机率低上面。

  

新一代P2P技术与CDN的融合

近年来在线视频尤其是网络直播流量的暴增,带宽费用成为了在线视频企业成本结构中最重的一块,P2P和CDN融合分发的尝试在业内始终未曾停止。以观止云通用P2P分发平台为代表的新一代P2P网络也在一定程度上极大的解决了上述P2P自身技术缺陷。

01

架构升级,可用性提升

观止云通用P2P分发网络是在CDN分发的基础上建立的P2P“旁路”分发模式,即所有视频观看者首次点开播放器一律到CDN边缘节点获取资源,在已经能够正常观看视频的过程中同时连入P2P网络,在保证有足够高可用Peer节点的前期下开始从Peer节点获取剩余资源,一旦伙伴Peer下线或者网络抖动,再不间断服务的回到CDN边缘节点取片。这样一来解决了P2P网络单Peer可用性不可控的问题,同时提升了CDN网络在边远地区节点少,或者流量高峰期间的整体可用性和承载力,让不能观看的可以流畅观看,让可以观看的更高清流畅。据观止云通用P2P分发平台在服务”中国好声音”网络直播的第三方监测数据,使用P2P后流畅度整体提升了10%


02

流程简化,使用“无感”

传统P2P需要安转专门客户端软件总让人感觉繁琐和不放心,观止云通用P2P分发平台基于Flash平台,一般浏览器都默认安转了Flash,故对于终端观看者来说无需再安装任何客户端或插件使用的”无感”同时也打消了安全、隐私等顾虑。对于视频企业来说,观止云通用P2P分发平台基于通用HLS协议,只要是按照标准HLS协议出的ts片,不论是直播或点播都只需要提交域名就能接入P2P服务和CDN服务一样无需其他额外工作。

03

安全保障,消除风险

传统P2P中版权的冲突在新一代P2P中也将不复存在,观止云通用P2P分发平台同时提供DRM方案,让视频方没有被盗链的风险。

在流媒体分发应用中,CDN与P2P在流媒体分发中存在非常强的互补性,P2P能提升系统整体扩展性,加之CDN的可靠性,使得整个分发网络在确保分发质量的前提下大幅降低对硬件服务器、带宽等资源的要求。下图为P2P与CDN在流媒体分发应用中的整体对比:


  

运营级P2P平台需要哪些东西

虽然在流媒体分发中P2P对于CDN互补性和带宽成本节省是那么的显而易见,也即便新一代P2P网络在技术上解决了传统P2P诸多缺陷,但要成为一个运营级商用P2P平台,我们要走的路似乎还很长。业内不少友商都在宣称能提供P2P服务,但至今市面上也貌似没有一个接近CDN的透明、公开的运营级P2P平台,下面小编以观止云通用P2P分发平台为例来探讨运营级商用P2P平台应该具备哪些条件。

01

高分享率,高流畅度

观止云通用P2P分发平台除了上述的CDN”旁路”架构充分提升可用性、流程“无感”、安全保障等方面的架构提升外,P2P分享效果也十分显著。


如上图显示,晚上8时许,在线人数达到51000人,未使用P2P服务情况下,CDN总带宽接近25Gb


在线人数进一步增加,此时开启P2P服务后,32Gb的总带宽被P2P分流近27Gb,分享率达80.7%,流畅度也进一步提高。

上述例子为实时带宽情况,再来一个历史数据统计,可看出平均分享率基本保持在75%以上,流畅度保持在98%以上。


02

日志系统对运营平台不可或缺

详细透明的日志系统是运营平台不可或缺的一部分,它是客户对账追溯的凭证,更是大数据资产的重要来源。观止云通用P2P分发平台拥有完善的日志系统,主要包括访问日志和计费日志两大部分。

访问日志,记录了每个Peer节点5min内的活动详情


日志格式为:[peer ID] 公网IP - - [时间] “url” “操作系统” “浏览器” “p2p流量” “cdn流量” “alive存活时间”

计费日志,记录每个域名的详细流量消耗信息


下图为观止云通用P2P分发平台日志系统架构图,搭载了KAFKA消息服务器作为日志系统的消息中心,用于收集和暂存客户端消息,各个子应用之间解耦。日志文件存放于HDFS,用作大文件存储,方便历史计费数据热备和重做。


日志系统对接HDFS的管理接口,方便日志管理和下载,同时对外提供API接口,轻松实现第三方平台的无缝对接。


03

数据在大直播时代也不可少

大数据时代数据对于在线视频尤其是直播来说同样显得尤为重要,依托于越实时的数据,越能够快速定位、解决部分用户故障问题;保障不同付费等级、不同终端、不同区域、不同内容等的观看体验;进行广告精准投放等等。观止云通用P2P分发平台提供了实时数据和历史数据供平台用户查看。


可以看到实时在线观看人数,以及区域、运营商分布,观看流畅度,实时带宽负载等。

  

结语:大直播时代,让P2P成为降低带宽费用的必杀技

众所周知,带宽成本一直是国内视频网站的基石成本。大直播时代,当大家都在抬头融钱和烧钱的同时,更要低头想一想怎么样省钱!

写给未来的同事:观止云致力于打造最专业的运营级视频云平台,现正在寻求研发(服务器/大数据/编码器)、市场、售前、销售等方面的才俊加盟,如感兴趣,请发送简历至hr@bravovcloud.com。

征友启示:【网络直播交流微信群】目前已满员,只能通过邀请入群。群内目前聚集了各大直播平台、周边服务商的PM、技术负责人、架构负责人、营销负责人等不定期围绕技术、市场展开深度探讨,有入群意愿的请在观止云公众号内直接回复【公司—岗位—称呼】,由小编统一邀请入群。

相关实践学习
Serverless极速搭建Hexo博客
本场景介绍如何使用阿里云函数计算服务命令行工具快速搭建一个Hexo博客。
目录
相关文章
|
2天前
|
数据可视化 搜索推荐 数据挖掘
疑问!6 款办公软件如何让电商团队效率大幅提升?
在电商行业,高效的团队协作至关重要。本文推荐六款团队协作软件,重点介绍板栗看板。板栗看板通过任务可视化、灵活分配、高效沟通、丰富模板及数据分析等功能,显著提升电商团队的工作效率和协同能力。其他推荐软件还包括Trello、Asana、Wrike、Monday.com和Basecamp,各有特色,适应不同团队需求。
20 5
|
27天前
|
存储 人工智能 大数据
秒级响应与低成本实现!TDengine 助力多元量化交易系统的背后故事 | 征文
在不久前的“2024,我想和 TDengine 谈谈”征文活动中,我们收到了许多精彩的投稿,反映了用户与 TDengine 之间的真实故事和独特见解。今天,我们很高兴地分享此次活动的第一名作品。这篇文章详细阐述了广西多元量化科技有限公司如何利用 TDengine 构建高效的量化交易系统,提升交易效率和决策质量。通过深入分析数据库选型和数据架构设计,作者展示了 TDengine 在金融领域的强大优势和广泛应用前景。接下来让我们一同阅读,探索这一前沿技术如何推动现代金融交易的智能化与高效化。
34 5
|
2月前
|
存储 编解码 算法
带货直播这么流畅,原来是这套技术系统在支撑!
大家好,我是小米。今天聊聊社区直播带货的流程。主播通过RTMPS协议将加密直播流发送至POP内的代理服务器,再由代理服务器转发至数据中心的网关服务器,经端口转换后,使用一致性哈希算法分配至编码服务器进行转码和输出,最终通过DASH协议实现流畅直播及持久化存储,确保高效稳定的直播体验。这一流程背后有复杂的技术支撑,希望能帮大家更好地理解直播背后的机制。
35 2
|
弹性计算 负载均衡 Serverless
直播平台源码弹性云托管技术:稳定直播与降低成本的利器
弹性云托管技术的出现与运用,为直播平台源码带来了重要的意义,在处理平台负载与成本优化等方面起到了重要的作用,为用户带去了优质的使用体验,将平台往更优质的方向推进。
直播平台源码弹性云托管技术:稳定直播与降低成本的利器
短视频平台搭建,降低用户等待焦虑的常用方式
短视频平台搭建,降低用户等待焦虑的常用方式
|
测试技术 数据库 开发者
一对一直播app源码,影响软件开发成本的关键
一对一直播app源码,影响软件开发成本的关键
|
机器学习/深度学习 IDE Java
十倍速开发提效
> *概述:对`jetbrains`系列 IDE 使用技巧进行系统化梳理和整合* ## 背景 ### 目的 欲善其事,先利其器。对于研发同学,在日常的开发工作中,我们与之打交道最多的便是编程的IDE。能否高效和灵活的使用IDE,将对我们的工作效率起着举足轻重的作用。 研发同学在开发中最主要做的两件事分别是架构设计和编码,前者主要取决于大量的项目经验积累和个人的思考深度,也是
704 1
十倍速开发提效
|
缓存 5G 视频直播
一对一直播平台源码开发的新思路,从直播开始分析
现如今科技发展飞速,一对一直播平台开发也没有想象中的那么困难,但是如果没有相对的开发经验,开发周期可能会相对较长,也比较容易踩坑。这时候可以选择靠谱的一对一直播平台源码,再进行二次开发,节省时间和成本,还可以保证一对一直播平台源码运行的稳定性。
|
安全 云计算
2021阿里云.计算峰会|想构筑更快,更稳,更安全的云上网络?你不可错过!
本次峰会,我们为大家带来了四大亮点: 首秀:阿里云计算产品家族首次整体亮相 大咖:云上企业先锋分享实战经验 全面:技术、工具、服务、方法论的全面解读 深入:聚焦4大行业,从技术深入到行业解决方案 阿里云联手诸多行业先锋,揭秘云上企业的关键能力,探寻高效,稳定,安全,规范地成为一个云上企业的高速路径
1417 0
2021阿里云.计算峰会|想构筑更快,更稳,更安全的云上网络?你不可错过!
|
编解码 Android开发 芯片
直播软件开发层面如何优化直播平台体验
通常在进行直播软件开发时,为了能进一步提升直播平台体验,较为常见的延迟、卡顿等问题,都是需要用心去处理的。其中有一项处理不好,都会直接影响前端app的运行。下面简单介绍下直播软件开发层面影响直播体验的相关因素。
1617 0