好多开发者提到，RTMP播放器，不知道有哪些对标和考察指标，以下大概聊聊我们的一点经验，感兴趣的，可以关注 github：
1. 低延迟：大多数RTMP的播放都面向直播场景，如果延迟过大，严重影响体验，所以，低延迟是衡量一个好的RTMP播放器非常重要的指标，目前大牛直播SDK的RTMP直播播放延迟比开源播放器更优异（大牛直播SDK延迟在1秒左右，开源播放器如VLC，延迟在5-7秒），而且长时间运行下，大牛直播SDK播放端不会造成延迟累积，开源或第三方播放器，长时间运行，容易产生延迟累积；
部分服务器会缓存GOP，确保快速实现首屏播放，又不影响延迟，对此，我们设计了快速启动接口，快速render第一帧的同时，追到最新的播放数据：
/* * 设置秒开, 1为秒开, 0为不秒开 */ [DllImport(@"SmartPlayerSDK.dll")] public static extern UInt32 NT_SP_SetFastStartup(IntPtr handle, Int32 isFastStartup);
2. 音视频同步处理：大多播放器为了追求低延迟，甚至不做音视频同步，拿到audio video直接播放，导致a/v不同步，还有就是时间戳乱跳等各种问题，大牛直播SDK提供的播放器，具备好的时间戳同步和异常时间戳矫正机制；
备注：如果是超低延迟模式下，可以0 buffer，不做音视频同步：
/* * 设置低延时播放模式，默认是正常播放模式 * mode: 1为低延时模式， 0为正常模式，其他只无效 * 接口调用成功返回NT_ERC_OK */ [DllImport(@"SmartPlayerSDK.dll")] public static extern UInt32 NT_SP_SetLowLatencyMode(IntPtr handle, Int32 mode);
3. 支持多实例：大牛直播SDK提供的RTMP直播播放SDK支持在设备性能允许的情况下，支持多实例播放RTMP流数据，大多开源播放器对多实例支持不太友好；
除了常规的多实例外，比如大屏监控场景下，尽管我们CPU占用已经是行业内非常低的了，但是好多厂家下，不是每路都需要全帧播放，针对此种情况，我们做了实时只播放关键帧和全帧播放的接口设计，比如8个实例，其中不太重要的几路数据，可以设置只播放关键帧，需要重点关注时，点击全帧率播放即可，这样既节省了系统开销，又实现了多路播放的目的：
/* * 设置只解码视频关键帧 * is_only_dec_key_frame: 1:表示只解码关键帧, 0:表示都解码, 默认是0 * 成功返回NT_ERC_OK */ [DllImport(@"SmartPlayerSDK.dll")] public static extern UInt32 NT_SP_SetOnlyDecodeVideoKeyFrame(IntPtr handle, Int32 is_only_dec_key_frame);
4. 支持buffer time设置：在一些有网络抖动的场景，播放器需要支持buffer time设置，一般来说，以毫秒计，开源播放器对此支持不够友好；
5. 实时静音：比如，多窗口播放RTMP流，如果每个audio都播放出来，体验非常不好，所以实时静音功能非常必要，开源播放器不具备实时静音功能；
6. 视频view旋转：好多摄像头由于安装限制，导致图像倒置，所以一个好的RTMP播放器应该支持如视频view实时旋转(0° 90° 180° 270°)、水平反转、垂直反转，开源或第三方播放器不具备此功能；
/* *上下反转(垂直反转) *is_flip: 1:表示反转, 0:表示不反转 */ [DllImport(@"SmartPlayerSDK.dll")] public static extern UInt32 NT_SP_SetFlipVertical(IntPtr handle, Int32 is_flip); /* *水平反转 *is_flip: 1:表示反转, 0:表示不反转 */ [DllImport(@"SmartPlayerSDK.dll")] public static extern UInt32 NT_SP_SetFlipHorizontal(IntPtr handle, Int32 is_flip); /* * 设置旋转，顺时针旋转 * degress： 设置0， 90， 180， 270度有效，其他值无效 * 注意：除了0度，其他角度播放会耗费更多CPU * 接口调用成功返回NT_ERC_OK */ [DllImport(@"SmartPlayerSDK.dll")] public static extern UInt32 NT_SP_SetRotation(IntPtr handle, Int32 degress);
7. 支持解码后audio/video数据输出：大牛直播SDK接触到好多开发者，希望能在播放的同时，获取到YUV或RGB数据，进行人脸匹配等算法分析，开源播放器不具备此功能；
public void SDKVideoFrameCallBack(UInt32 status, NT_SP_VideoFrame frame) { if (cur_video_frame_.plane0_ != IntPtr.Zero) { Marshal.FreeHGlobal(cur_video_frame_.plane0_); cur_video_frame_.plane0_ = IntPtr.Zero; } cur_video_frame_ = frame; this.Invalidate(); } public void SDKAudioPCMFrameCallBack(UInt32 status, IntPtr data, UInt32 size, Int32 sample_rate, Int32 channel, Int32 per_channel_sample_number) { //这里拿到回调的PCM frame，进行相关操作（如自己播放） //label_debug.Text = per_channel_sample_number.ToString(); //release Marshal.FreeHGlobal(data); } public void SetVideoFrameCallBack(IntPtr handle, IntPtr userData, UInt32 status, IntPtr frame) { if (frame == IntPtr.Zero) { return; } //如需直接处理RGB数据，请参考以下流程 NT_SP_VideoFrame video_frame = (NT_SP_VideoFrame)Marshal.PtrToStructure(frame, typeof(NT_SP_VideoFrame)); NT_SP_VideoFrame pVideoFrame = new NT_SP_VideoFrame(); pVideoFrame.format_ = video_frame.format_; pVideoFrame.width_ = video_frame.width_; pVideoFrame.height_ = video_frame.height_; pVideoFrame.timestamp_ = video_frame.timestamp_; pVideoFrame.stride0_ = video_frame.stride0_; pVideoFrame.stride1_ = video_frame.stride1_; pVideoFrame.stride2_ = video_frame.stride2_; pVideoFrame.stride3_ = video_frame.stride3_; Int32 argb_size = video_frame.stride0_ * video_frame.height_; pVideoFrame.plane0_ = Marshal.AllocHGlobal(argb_size); CopyMemory(pVideoFrame.plane0_, video_frame.plane0_, (UInt32)argb_size); if (playWnd.InvokeRequired) { BeginInvoke(set_video_frame_call_back_, status, pVideoFrame); } else { set_video_frame_call_back_(status, pVideoFrame); } } public void SetAudioPCMFrameCallBack(IntPtr handle, IntPtr user_data, UInt32 status, IntPtr data, UInt32 size, Int32 sample_rate, Int32 channel, Int32 per_channel_sample_number) { if (data == IntPtr.Zero || size == 0) { return; } IntPtr pcmData = Marshal.AllocHGlobal((Int32)size); CopyMemory(pcmData, data, (UInt32)size); if (playWnd.InvokeRequired) { BeginInvoke(set_audio_pcm_frame_call_back_, status, pcmData, size, sample_rate, channel, per_channel_sample_number); } else { set_audio_pcm_frame_call_back_(status, pcmData, size, sample_rate, channel, per_channel_sample_number); } }
8. 实时快照：感兴趣或重要的画面，实时截取下来非常必要，一般播放器不具备快照能力，开源播放器不具备此功能；
/* * 捕获图片 * file_name_utf8: 文件名称，utf8编码 * call_back_data: 回调时用户自定义数据 * call_back: 回调函数，用来通知用户截图已经完成或者失败 * 成功返回 NT_ERC_OK * 只有在播放时调用才可能成功，其他情况下调用，返回错误. * 因为生成PNG文件比较耗时，一般需要几百毫秒,为防止CPU过高，SDK会限制截图请求数量,当超过一定数量时， * 调用这个接口会返回NT_ERC_SP_TOO_MANY_CAPTURE_IMAGE_REQUESTS. 这种情况下, 请延时一段时间，等SDK处理掉一些请求后，再尝试. */ [DllImport(@"SmartPlayerSDK.dll")] public static extern UInt32 NT_SP_CaptureImage(IntPtr handle, IntPtr file_name_utf8, IntPtr call_back_data, SP_SDKCaptureImageCallBack call_back); public void SDKCaptureImageCallBack(IntPtr handle, IntPtr userData, UInt32 result, IntPtr file_name) { if (file_name == IntPtr.Zero) return; int index = 0; while (true) { if (0 == Marshal.ReadByte(file_name, index)) break; index++; } byte[] file_name_buffer = new byte[index]; Marshal.Copy(file_name, file_name_buffer, 0, index); byte[] dst_buffer = Encoding.Convert(Encoding.UTF8, Encoding.Default, file_name_buffer, 0, file_name_buffer.Length); String image_name = Encoding.Default.GetString(dst_buffer, 0, dst_buffer.Length); if (playWnd.InvokeRequired) { BeginInvoke(set_capture_image_call_back_, result, image_name); } else { set_capture_image_call_back_(result, image_name); } }
9. 网络抖动处理(如断网重连)：稳定的网络处理机制、支持如断网重连等，开源播放器对网络异常处理支持较差；
/*事件ID*/ public enum NT_SP_E_EVENT_ID : uint { NT_SP_E_EVENT_ID_BASE = NTBaseCodeDefine.NT_EVENT_ID_SMART_PLAYER_SDK, NT_SP_E_EVENT_ID_CONNECTING = NT_SP_E_EVENT_ID_BASE | 0x2, /*连接中*/ NT_SP_E_EVENT_ID_CONNECTION_FAILED = NT_SP_E_EVENT_ID_BASE | 0x3, /*连接失败*/ NT_SP_E_EVENT_ID_CONNECTED = NT_SP_E_EVENT_ID_BASE | 0x4, /*已连接*/ NT_SP_E_EVENT_ID_DISCONNECTED = NT_SP_E_EVENT_ID_BASE | 0x5, /*断开连接*/ NT_SP_E_EVENT_ID_NO_MEDIADATA_RECEIVED = NT_SP_E_EVENT_ID_BASE | 0x8, /*收不到RTMP数据*/ NT_SP_E_EVENT_ID_RTSP_STATUS_CODE = NT_SP_E_EVENT_ID_BASE | 0xB, /*rtsp status code上报, 目前只上报401, param1表示status code*/ /* 接下来请从0x81开始*/ NT_SP_E_EVENT_ID_START_BUFFERING = NT_SP_E_EVENT_ID_BASE | 0x81, /*开始缓冲*/ NT_SP_E_EVENT_ID_BUFFERING = NT_SP_E_EVENT_ID_BASE | 0x82, /*缓冲中, param1 表示百分比进度*/ NT_SP_E_EVENT_ID_STOP_BUFFERING = NT_SP_E_EVENT_ID_BASE | 0x83, /*停止缓冲*/ NT_SP_E_EVENT_ID_DOWNLOAD_SPEED = NT_SP_E_EVENT_ID_BASE | 0x91, /*下载速度， param1表示下载速度，单位是(Byte/s)*/ NT_SP_E_EVENT_ID_PLAYBACK_REACH_EOS = NT_SP_E_EVENT_ID_BASE | 0xa1, /*播放结束, 直播流没有这个事件，点播流才有*/ NT_SP_E_EVENT_ID_RECORDER_REACH_EOS = NT_SP_E_EVENT_ID_BASE | 0xa2, /*录像结束, 直播流没有这个事件, 点播流才有*/ NT_SP_E_EVENT_ID_PULLSTREAM_REACH_EOS = NT_SP_E_EVENT_ID_BASE | 0xa3, /*拉流结束, 直播流没有这个事件，点播流才有*/ NT_SP_E_EVENT_ID_DURATION = NT_SP_E_EVENT_ID_BASE | 0xa8, /*视频时长，如果是直播，则不上报，如果是点播的话, 若能从视频源获取视频时长的话，则上报， param1表示视频时长，单位是毫秒(ms)*/ }
10. 长期运行稳定性：大牛直播SDK提供的RTMP直播播放SDK适用于长时间运行，开源播放器对长时间运行稳定性支持较差；
11. 实时下载速度反馈：大牛直播SDK提供音视频流实时下载回调，并可设置回调时间间隔，确保实时下载速度反馈，以此来监听网络状态，开源播放器不具备此能力；
/* * 设置下载速度上报, 默认不上报下载速度 * is_report: 上报开关, 1: 表上报. 0: 表示不上报. 其他值无效. * report_interval： 上报时间间隔（上报频率），单位是秒，最小值是1秒1次. 如果小于1且设置了上报，将调用失败 * 注意：如果设置上报的话，请设置SetEventCallBack, 然后在回调函数里面处理这个事件. * 上报事件是：NT_SP_E_EVENT_ID_DOWNLOAD_SPEED * 这个接口必须在StartXXX之前调用 * 成功返回NT_ERC_OK */ [DllImport(@"SmartPlayerSDK.dll")] public static extern UInt32 NT_SP_SetReportDownloadSpeed(IntPtr handle, Int32 is_report, Int32 report_interval); /* * 主动获取下载速度 * speed： 返回下载速度，单位是Byte/s * （注意：这个接口必须在startXXX之后调用，否则会失败） * 成功返回NT_ERC_OK */ [DllImport(@"SmartPlayerSDK.dll")] public static extern UInt32 NT_SP_GetDownloadSpeed(IntPtr handle, ref Int32 speed);
12. 异常状态处理、Event状态回调：如播放的过程中断网，大牛直播SDK提供的播放器可实时回调相关状态，确保上层模块感知处理，开源播放器对此支持不好；
/* * 设置事件回调，如果想监听事件的话，建议调用Open成功后，就调用这个接口 */ [DllImport(@"SmartPlayerSDK.dll")] public static extern UInt32 NT_SP_SetEventCallBack(IntPtr handle, IntPtr call_back_data, SP_SDKEventCallBack call_back); /* * 设置视频大小回调接口 */ [DllImport(@"SmartPlayerSDK.dll")] public static extern UInt32 NT_SP_SetVideoSizeCallBack(IntPtr handle, IntPtr callbackdata, SP_SDKVideoSizeCallBack call_back); /* * 设置视频回调, 吐视频数据出来 * frame_format: 只能是NT_SP_E_VIDEO_FRAME_FORMAT_RGB32, NT_SP_E_VIDEO_FRAME_FROMAT_I420 */ [DllImport(@"SmartPlayerSDK.dll")] public static extern UInt32 NT_SP_SetVideoFrameCallBack(IntPtr handle, Int32 frame_format, IntPtr callbackdata, SP_SDKVideoFrameCallBack call_back); /* * 设置视频回调, 吐视频数据出来, 可以指定吐出来的视频宽高 * handle: 播放句柄 * scale_width：缩放宽度（必须是偶数，建议是 16 的倍数) * scale_height：缩放高度（必须是偶数) * scale_filter_mode: 缩放质量, 0 的话 SDK 将使用默认值, 目前可设置范围为[1, 3], 值越大 缩放质量越好，但越耗性能 * frame_format: 只能是NT_SP_E_VIDEO_FRAME_FORMAT_RGB32, NT_SP_E_VIDEO_FRAME_FROMAT_I420 * 成功返回NT_ERC_OK */ [DllImport(@"SmartPlayerSDK.dll")] public static extern UInt32 NT_SP_SetVideoFrameCallBackV2(IntPtr handle, Int32 scale_width, Int32 scale_height, Int32 scale_filter_mode, Int32 frame_format, IntPtr call_back_data, SP_SDKVideoFrameCallBack call_back); /* * 设置绘制视频帧时，视频帧时间戳回调 * 注意如果当前播放流是纯音频，那么将不会回调，这个仅在有视频的情况下才有效 */ [DllImport(@"SmartPlayerSDK.dll")] public static extern UInt32 NT_SP_SetRenderVideoFrameTimestampCallBack(IntPtr handle, IntPtr callbackdata, SP_SDKRenderVideoFrameTimestampCallBack call_back); /* * 设置音频PCM帧回调, 吐PCM数据出来，目前每帧大小是10ms. */ [DllImport(@"SmartPlayerSDK.dll")] public static extern UInt32 NT_SP_SetAudioPCMFrameCallBack(IntPtr handle, IntPtr call_back_data, SP_SDKAudioPCMFrameCallBack call_back); /* * 设置用户数据回调 */ [DllImport(@"SmartPlayerSDK.dll")] public static extern UInt32 NT_SP_SetUserDataCallBack(IntPtr handle, IntPtr call_back_data, SP_SDKUserDataCallBack call_back); /* * 设置视频sei数据回调 */ [DllImport(@"SmartPlayerSDK.dll")] public static extern UInt32 NT_SP_SetSEIDataCallBack(IntPtr handle, IntPtr call_back_data, SP_SDKSEIDataCallBack call_back);
13. 设置视频填充模式（等比例显示）：好多情况下，有些场景需要全view铺满播放，有些为了防止视频拉伸，可以设置成等比例缩放显示；
/* * 设置视频画面的填充模式，如填充整个绘制窗口、等比例填充绘制窗口，如不设置，默认填充整个绘制窗口 * handle: 播放句柄 * mode： 0: 填充整个绘制窗口; 1: 等比例填充绘制窗口, 默认值是0 * 成功返回NT_ERC_OK */ [DllImport(@"SmartPlayerSDK.dll")] public static extern UInt32 NT_SP_SetRenderScaleMode(IntPtr handle, Int32 mode);
14. D3D检测：一般来说市面上的大多Windows都支持D3D，有些小众化的，只支持GDI模式绘制，所以为了更好的兼容性，这个接口非常必要。
/* * handle: 播放句柄 * hwnd: 这个要传入真正用来绘制的窗口句柄 * is_support: 如果支持的话 *is_support 为1， 不支持的话为0 * 接口调用成功返回NT_ERC_OK */ [DllImport(@"SmartPlayerSDK.dll")] public static extern UInt32 NT_SP_IsSupportD3DRender(IntPtr handle, IntPtr hwnd, ref Int32 is_support);
