流媒体及直播相关知识

简介: 流媒体及直播相关知识

前言

本文主要讲解流媒体及其直播相关知识,所涉及的知识内容比较浅显,主要是做个简单的了解。


一、流媒体

1、基本概念

流媒体又叫流式媒体,它是指商家用一个视频传送服务器(比如:vlc)把节目(比如:xxxx.mp4)当成数据包发出,传送到网络上。用户通过解压设备对这些数据进行解压后,节目就会像发送前那样显示出来。


所谓流媒体是指采用流式传输的方式在 Internet 播放的媒体格式。如:音频、视频或多媒体文件。流式媒体在播放前并不下载整个文件,只将开始部分内容存入内存,流式媒体的数据流随时传送随时播放,只是在开始时有一些延迟。 流媒体实现的关键技术就是流式传输。实现了边下载边播放。


2、流式传输

传统的网络传输音视频等多媒体信息的方式是完全下载后再播放,下载常常要花数分钟甚至数小时。


而采用流媒体技术,就可实现流式传输,将声音、影像或动画由服务器向用户计算机进行连续、不间断传送,用户不必等到整个文件全部下载完毕,而只需经过几秒或十几秒的启动延时即可进行观看。当声音视频等在用户的机器上播放时,文件的剩余部分还会从服务器上继续下载。


网络协议: http、rtmp、rtsp、rtp/rtcp、udp、tcp


实现流式传输有两种方法:实时流式传输( Realtime streaming)和顺序流式传输(progressive streaming) 。


顺序流式传输:顺序下载,在下载文件的同时用户可观看在线媒体,在给定时刻,用户只能观看已下载的那部分, 而不能跳到还未下载的前头部分,顺序流式传输不象实时流式传输在传输期间根据用户连接的速度做调整。

Nginx,web 服务器;mp4 文件/flv/mov/mkv/ts/rmvb;http

实时流式传输:保证媒体信号带宽与网络连接配匹,使媒体可被实时观看到。

RTP/rtcp


0f99c3606d724ece88a6409b85fb2cd4.png

3、流媒体技术原理

流式传输的实现需要缓存。


在流式传输的实现方案中,一般采用 HTTP/TCP 来传输控制信息,而用 RTP/UDP 来传输实时声音数据。


通常高速缓存所需容量并不大(gop:ibbpbbpbbp…), 因为高速缓存使用环形链表结构来存储数据:通过丢弃已经播放的内容,流可以重新利用空出的高速缓存空间来缓存后续尚未播放的内容。


4、流媒体传输模式

流媒体之所以能够实现多媒体数据的实时播放是采用了专门的网络控制协议和数据传输机制。服务器端有专门的流媒体发布系统,而客户端则有专门的播放器,这两部分都需要通过数据缓存区进行数据的缓存。


5、H.264 流媒体传输系统框架

874b58f5188e4759a91ae77a8d9cfeab.png


二、直播

1、直播中使用的流媒体协议

RTMP,Real Time Messaging Protocol(实时消息传输协议) 的首字母缩写。 该协议基于

TCP,是一个协议族,包括 RTMP 基本协议及 RTMPT/RTMPS/RTMPE 等多种变种。RTMP 是一种设计用来进行实时数据通信的网络协议,主要用来在 Flash/AIR 平台和支持 RTMP 协议的流媒体/交互服务器之间进行音视频和数据通信。


RTMP 基于 flash 无法在 iOS 的浏览器里播放,但是实时性比 HLS 要好。


HLS,HTTP Live Streaming(HTTP 直播流技术),Apple 的动态码率自适应技术。主要用于 PC 和 Apple 终端的音视频服务。包括一个 m3u(8)的索引文件,TS 媒体分片文件和 key 加密串文件。


2、直播的模块划分

视频录制端:一般是电脑上的音视频输入设备或者手机端的摄像头或者麦克风,目前以移动端的手机视频为主。技术:webRTC(用途:H5 视频录制)

视频播放端:可以是电脑上的播放器,手机端的 Native 播放器,还有就是 H5 的 video 标签等,目前还是已手机端的 Native 播放器为主。技术:HLS 协议或 RTMP 协议(用途:视频播放)、ffmpeg(用途:使用 RTMP 协议时进行移动端视频解码)

视频服务器端:一般是一台 nginx/s rs / . . . 服务器, 用来接受视频录制端提供的视频源, 同时提供给视频播放端流服务。技术:RTMP 协议(用途:上传视频流) 、nginx rtmp-module 或 SRS(simple-rtmp-server)(用途:流服务器)


d04536d9ca2c40d5aed2d61f28d0c6c1.png

3、视频直播流程

视频直播的流程可以分为如下几步:

采集 -> 处理 -> 编码和封装 -> 推流到服务器 -> 服务器流分发 -> 播放器流播放

777c19d02255488e9f903b05e38495a3.png


①、推流到服务器

推送协议主要有三种:


RTSP(Real Time Streaming Protocol):实时流传送协议,是用来控制声音或影像的多媒体串流协议;

RTMP(Real Time Messaging Protocol):实时消息传送协议,是 Adobe 公司为 Flash 播放器和服务器之

间音频、视频和数据传输 开发的开放协议;

HLS(HTTP Live Streaming):是苹果公司实现的基于 HTTP 的流媒体传输协议;

RTMP 协议基于 TCP,是一种设计用来进行实时数据通信的网络协议,主要用来在 flash/AIR 平台和支持 RTMP

协议的流媒体/交互服务器之间进行音视频和数据通信。支持该协议的软件包括 Adobe Media Server/Ultrant Media

Server/red5 等。


它有三种变种:


RTMP 工作在 TCP 之上的明文协议,使用端口 1935;

RTMPT 封装在 HTTP 请求之中,可穿越防火墙;

RTMPS 类似 RTMPT,但使用的是 HTTPS 连接;

RTMP 是目前主流的流媒体传输协议,广泛用于直播领域,可以说市面上绝大多数的直播产品都采用了这个协议。


②、服务器流分发

流媒体服务器的作用是负责直播流的发布和转播分发功能。


但我选择的是 Nginx,它是一款优秀的免费 Web 服务器,通过插件可以扩展直播功能。

Nginx,srs,crtmpserver,

Live555,darwin,

webrtc


目录
相关文章
|
6月前
|
存储 缓存 编解码
C++ 音视频流媒体浅谈
C++ 音视频流媒体浅谈
205 0
C++ 音视频流媒体浅谈
|
6月前
|
编解码 安全 视频直播
为了在智能媒体服务中实现超低延时的直播效果
为了在智能媒体服务中实现超低延时的直播效果【1月更文挑战第10天】【1月更文挑战第47篇】
66 3
|
6月前
|
存储 编解码 CDN
【视频媒体】深入了解直播视频流
【视频媒体】深入了解直播视频流
64 0
|
Web App开发 人工智能 搜索推荐
为什么做直播的都去造星了?
为什么做直播的都去造星了?
160 0
为什么做直播的都去造星了?
|
Web App开发 编解码 关系型数据库
互动直播之WebRTC服务器Kurento实战
先介绍Kurento的主要模块及Kurento的Docker安装方式,接着介绍了基于coturn项目的打洞服务器的安装及调试,最后介绍Kurento的demo调试。
3154 0
互动直播之WebRTC服务器Kurento实战
|
Web App开发 编解码 边缘计算
基于WebRTC的互动直播实践
互动直播已经逐渐成为直播的主要形式。映客直播资深音视频工程师叶峰峰在LiveVideoStackCon 2018大会的演讲中详细介绍了INKE自研连麦整体设计思路、如何基于WebRTC搭建互动直播SDK以及针对用户体验进行优化。本文由LiveVideoStack整理而成。
863 0
基于WebRTC的互动直播实践
|
算法 前端开发 JavaScript
|
机器学习/深度学习 存储 编解码
5G时代|淘宝直播高画质低延时技术探索
目前5G新基建正在迈入起航阶段,5G相比目前广泛使用的4G,它具有更高的速率,更大的容量,同时延迟更低,可靠性更高。在5G时代,视频得益于网络带宽的提升,未来将成为主流的传播媒介。越来越多的业务和应用将视频化,直播化。大量互动的内容将通过5G以低延时的方式以视频的形式传输。
3089 0
5G时代|淘宝直播高画质低延时技术探索
|
Web App开发 编解码 负载均衡
一对一语音直播系统源码如何解决音视频直播技术难点
直播作为实时性和互动性要求较高的音视频应用场景,存在非常多的技术难点,就连一对一的直播模式也毫不例外。比如低延迟、流畅性、回声消除、国内外互通和海量并发等问题,都是开发过程中的难点。但是,在开发过程中如果具备了优质的一对一语音直播系统源码,那么这些难点可能都会得到一定的解决。
一对一语音直播系统源码如何解决音视频直播技术难点
|
JSON 自然语言处理 算法
优酷直播实时美颜技术实践
随着移动设备的发展,美颜已成为多媒体内容生成链路中不可缺少的一种基本能力,尤其是在来疯直播秀场业务的场景下,主播的颜值就意味着生产力,直接影响主播及平台的收入。
优酷直播实时美颜技术实践