在当前多媒体文件处理需求激增的趋势下，传统的处理方式遇到了众多瓶颈。函数计算提供了一种全新的解决方案，可以一键部署并轻松实现多媒体文件处理任务。它不仅摆脱了内置文件处理逻辑占用核心资源的问题，还能根据需要进行扩展并实现自动化管理，大大提高了处理效率和系统的可靠性。通过将文件处理逻辑解耦，并结合对象存储等技术，我们可以构建出更加高效、稳定及安全的文件处理系统。这使得开发者可以更加专注于业务创新，从而为用户提供更高质量的多媒体体验，共同迎接多媒体文件处理的新时代。

深度学习在图像分类中扮演着核心角色，通过卷积神经网络（CNN）自动提取图像特征并分类。本文介绍深度学习原理及其实现流程，包括数据准备、构建CNN模型、训练与评估模型，并讨论如何在阿里云上部署模型及其实用场景。

如何使用云服务器AutoDL进行深度学习模型的训练，特别是针对YOLOV5疲劳驾驶行为训练检测

本文介绍了GB28181标准中的状态信息报送机制，即心跳机制，用于监控设备与服务器间的连接状态。根据国标GB/T28181-2016，设备在异常时需立即发送状态信息，在正常状态下则按固定间隔（默认60秒）定期发送。若连续三次（默认值）未收到心跳，则视为离线。文章展示了在Android平台的GB28181设备接入模块（SmartGBD）中，如何调整心跳间隔为20秒及超时次数为3次，并给出了心跳消息的示例和异常处理代码片段。对于希望深入了解或遇到问题的开发者，作者提供了进一步交流的机会。

Camera1与Camera2是Android平台上的两种摄像头API。Camera1（API1）在Android 5.0后被标记为过时，新项目应优先选用Camera2（API2）。Camera2提供了更精细的控制选项，如曝光时间、ISO感光度等；支持多摄像头管理；采用异步操作提高应用响应速度；并支持RAW图像捕获及实时图像处理。此外，它还具备更好的适配性和扩展性，适用于各类应用场景，如相机应用开发、视频通话和计算机视觉等。因此，在现代Android开发中推荐使用Camera2。

大牛直播SDK跨平台RTMP直播推送模块，始于2015年，支持Windows、Linux（x64_64架构|aarch64）、Android、iOS平台，支持采集推送摄像头、屏幕、麦克风、扬声器、编码前、编码后数据对接，功能强大，性能优异，配合大牛直播SDK的SmartPlayer播放器，轻松实现毫秒级的延迟体验，满足大多数行业的使用场景。RTMP直播推送模块数据源，支持编码前、编码后数据对接

本文介绍了一种在Android平台上实现实时截图快照的方法，尤其适用于无需依赖系统接口的情况，如在RTMP推送、RTSP服务或GB28181设备接入等场景下进行截图。通过底层模块(libSmartPublisher.so)实现了截图功能，封装了`SnapShotImpl.java`类来管理截图流程。此外，提供了关键代码片段展示初始化SDK实例、执行截图、以及在Activity销毁时释放资源的过程。此方案还考虑到了快照数据的灵活处理需求，符合GB/T28181-2022的技术规范。对于寻求更灵活快照机制的开发者来说，这是一个值得参考的设计思路。

本文介绍如何利用大牛直播SDK中的轻量级RTSP服务，在Windows平台上轻松采集摄像头数据并生成本地RTSP流。通过SDK提供的SmartPublisherDemo工具，用户能简便地选择摄像头、配置分辨率与帧率，并启动RTSP服务。此外，还支持音频采集、多端口服务以及动态水印等功能。生成的RTSP URL可用于其他终端拉流播放，无需额外部署服务器。该服务适配多种应用场景，如安防监控、电子教室等，并兼容Windows 7及以上版本。对于希望集成此功能的开发者，SDK提供了C++及C#接口，并支持多种编译模式。

本文介绍了Android平台上轻量级RTSP服务模块的二次封装实践，旨在简化开发流程，让开发者能更专注于业务逻辑。通过`LibPublisherWrapper`类提供的API，可在应用中轻松初始化RTSP服务、配置视频参数（如分辨率、编码类型）、启动与停止RTSP服务及流发布，并获取RTSP会话数量。此外，还展示了如何处理音频和视频数据的采集与推送。最后，文章提供了从启动服务到销毁资源的完整示例，帮助开发者快速集成实时流媒体功能。

国产化操作系统的发展，减少了外部依赖，更符合国家安全标准，并可提升自主研发能力，促进产业链发展，满足定制开发能力，减少了外部技术封锁的风险，提高了国际竞争力，推动了产业升级。目前大牛直播SDK针对Linux平台x86_64架构和aarch64架构的RTMP推送模块和轻量级RTSP服务模块

大牛直播SDK是一款跨平台RTMP直播推送模块，支持Windows、Linux（x64_64与aarch64架构）、Android及iOS平台。该SDK功能全面，包括摄像头、屏幕、麦克风等数据采集与推送，并支持编码前后数据对接。其架构设计优秀，确保低延迟与高效率，结合SmartPlayer播放器实现毫秒级延迟体验。具备全自研框架，易于扩展且支持多种数据源接入，如外部YUV/RGB/H.264等格式。此外，各平台支持特性丰富，如Windows平台支持多摄像头合成，Android与iOS平台支持前后摄像头实时切换等。大牛直播SDK还提供了多个示例项目以帮助开发者快速上手。

大牛直播SDK采用全自研框架，具备高度可扩展性与自适应算法，显著降低延迟并提高采集编码效率。SDK以模块化设计，支持RTMP推流及多种音视频编码格式（如AAC、SPEEX、H.264、H.265），并能与播放器SDK组合实现丰富功能，包括流媒体转发、内置RTSP服务等。提供了详尽的参数配置选项，支持多摄像头、屏幕采集与水印叠加，并兼容Windows 7及以上操作系统。该SDK以C++/C#双接口形式提供，集成简便，同时包含调试与发布版本库，便于开发者快速上手。此外，支持断网重连、实时预览及多种编码前后的数据对接需求。

大牛直播SDK自2015年发布RTSP、RTMP直播播放模块，迭代从未停止，SmartPlayer功能强大、性能强劲、高稳定、超低延迟、超低资源占用。无需赘述，全自研内核，行业内一致认可的跨平台RTSP、RTMP直播播放器。本文以Android平台为例，介绍下如何集成RTSP、RTMP播放模块。

为满足内网无纸化/电子教室等内网超低延迟需求，避免让用户配置单独的服务器，大牛直播SDK在推送端发布了轻量级RTSP服务SDK。 轻量级RTSP服务解决的核心痛点是避免用户或者开发者单独部署RTSP或者RTMP服务，实现本地的音视频数据（如摄像头、麦克风），编码后，汇聚到内置RTSP服务，对外提供可供拉流的RTSP URL，轻量级RTSP服务，适用于内网环境下，对并发要求不高的场景，支持H.264/H.265，支持RTSP鉴权、单播、组播模式，考虑到单个服务承载能力，我们支持同时创建多个RTSP服务，并支持获取当前RTSP服务会话连接数。

GB28181（GB/T 28181-2022）是中国国家标准，规定了安全防范视频监控联网系统的信息传输、交换、控制技术要求。此标准支持设备接入、音视频传输及控制指令交互等功能，适用于各类监控设备如执法记录仪和移动监控系统。技术实现涉及协议栈构建、音视频编码及数据传输等环节。广泛应用在执法记录、移动监控和铁路巡检等领域。例如，海康威视iSecure Center和萤石云平台均支持GB28181协议，实现设备管理和视频传输。此外，大牛直播SDK推出的SmartGBD为Android终端提供了便捷的GB28181接入解决方案，支持多种数据类型接入，增强了设备的互操作性。

为满足安检等场景需求，需支持4K+分辨率与50帧以上的高帧率视频流播放。实现这一目标的关键步骤包括：确保视频源支持高帧率输出、选用高性能RTSP/RTMP播放器以处理高负载视频解码、采用硬件解码以降低CPU负担、保证充足的网络带宽以维持流畅播放并控制延迟、合理配置播放器缓冲策略以适应网络波动、进行性能监控与调试以优化播放效果，以及确保播放器在多平台上的良好兼容性和表现。例如，大牛直播SDK的SmartPlayer在不同平台上实现了稳定且低延迟（150-300ms）的播放体验，支持多种视频和音频格式及多种功能，如多实例播放、事件回调、视频快照等。

本文对比了GB28181与轻量级RTSP服务的特点与应用场景。GB28181为国标视频监控技术规范，适用于大规模监控系统，如城市安防、交通监控等，强调设备接入、流传输及控制。RTSP则是一种控制流媒体传输的协议，广泛用于直播、点播及视频会议等场景。文中还介绍了SmartGBD模块，用于非国标Android终端接入GB28181系统，并列举了其多项功能。轻量级RTSP服务则便于用户在内网环境中无需额外部署即可提供RTSP流服务。两者各有优势，可根据具体需求选择使用。

本文探讨了在Unity平台上实现VR头显播放8K RTSP/RTMP直播流的技术方案。需确保播放器兼容8K并具高效解码能力，利用GPU加速；网络须稳定且带宽充足；VR头显如Quest 3需拥有高性能处理器与内存。文中以大牛直播SDK为例，详细介绍了播放流程及参数设置，最终实现在Quest 3上毫秒级延迟的8K视频播放，适用于高实时性需求的应用场景。

本文介绍了在Windows平台上实现多路RTSP/RTMP视频流的合并技术。主要应用场景包括驾考、全景摄像头以及多路会议录制等。技术实现上，文章详细展示了如何使用特定的SDK来解码并回调YUV或RGB数据，再将这些数据按照图层形式进行合成。示例代码中给出了初始化参数、设置视频帧回调函数、以及如何配置不同图层的具体步骤。最终，合成后的视频可以推送到RTMP服务器、注入到本地RTSP服务，或是直接录制为MP4文件。此外，还提供了添加实时文字水印的方法，并展示了四路视频流合成后的“四宫格”效果。

无人挖掘机在土石方、煤矿开采、冶金建筑等领域发挥重要作用，通过精确导航、高精度传感与控制技术，提升作业效率与安全性。在建筑场景中，实现自主避障、自动装车等功能，提高施工效率并降低成本。应急救援时，无人挖掘机能迅速进入危险区域执行任务。技术上，利用低延迟音视频传输与控制技术，实现远程高效操控，支持多种协议与格式，确保稳定流畅的远程作业体验。

GB28181记录仪在电网巡检中利用其实时音视频采集与传输功能，增强巡检效率与安全性。通过Android平台设备，巡检人员能实时上传视频至指挥中心，后者可远程监控并即时响应。记录仪内置定位模块确保准确追踪人员位置，支持语音广播与对讲功能促进有效沟通。设备还具备本地录像与历史数据回放功能，便于数据分析。此方案显著提升了电网巡检的工作效能与安全性。

为满足在Linux平台(x86_64与aarch64架构)上实现轻量级RTSP服务的需求，我们开发了一套解决方案。该方案通过调用`start_rtsp_server()`函数启动RTSP服务，并设置端口号及认证信息。支持AAC音频和H.264视频编码，可推送纯音频、纯视频或音视频流。此外，还支持X11屏幕采集、部分V4L2摄像头采集、帧率/GOP/码率调整、摄像头设备选择与预览等功能。对于音频采集，支持alsa-lib和libpulse接口。整体设计旨在提供150-400ms的低延迟体验，适用于多种应用场景。

在对接Linux平台的RTSP播放模块时，需将播放数据同时提供给Python进行视觉算法分析。技术实现上，可在播放时通过回调函数获取视频帧数据，并以RGB32格式输出。利用`SetVideoFrameCallBackV2`接口设定缩放后的视频帧回调，以满足算法所需的分辨率。回调函数中，每收到一帧数据即保存为bitmap文件。Python端只需读取指定文件夹中的bitmap文件，即可进行视频数据的分析处理。此方案简单有效，但应注意控制输出的bitmap文件数量以避免内存占用过高。

为满足Android平台上从外部RTSP摄像头拉流并提供轻量级RTSP服务的需求，利用大牛直播SDK实现了相关功能。SDK支持开始与停止拉流、音频视频数据回调处理及RTSP服务的启动与发布等操作。拉流仅需将未解码数据回调，对性能影响小。音频和视频数据经由特定接口传递给发布端进行处理。此外，SDK还提供了获取RTSP会话数量的功能。此方案适用于监控和巡检等低延迟应用场景，并支持二次水印添加等功能。

这段内容讲述了VR头显中实现高分辨率视频播放的技术背景与实现方法，并强调了其重要性。高分辨率对于提升VR体验至关重要，它能提供更清晰的画面、增强沉浸感、补偿透镜放大效应，并维持宽广视场角下的图像质量。文中提到的大牛直播SDK具备极低的延迟（200-400ms），支持多种协议与格式，并具有丰富的功能特性，如多实例播放、事件回调、视频及音频格式支持等。此外，提供了基于Unity的播放器示例代码，展示了如何配置播放参数并开始播放。最后，作者指出此类技术在远程控制、虚拟仿真等应用场景中的重要意义。

本文探讨了Android平台上推流模块中添加文字与PNG水印的技术演进。自2015年起，为了满足应急指挥及安防领域的需求，逐步发展出三代水印技术：第一代为静态文字与图像水印；第二代实现了动态更新水印内容的能力，例如实时位置与时间信息；至第三代，则优化了数据传输效率，直接使用Bitmap对象传递水印数据至JNI层，减少了内存拷贝次数。这些迭代不仅提升了用户体验和技术效率，也体现了开发者追求极致与不断创新的精神。

本文档详细介绍了大牛直播SDK在Android平台上实现RTSP与RTMP流媒体播放及录像功能的技术细节。早在2015年，SDK的第一版就已经支持了多实例播放，并且通过简单的实例封装就能轻松实现。文档中提供了代码示例，展示了如何开启播放、停止播放以及开始和停止录像等功能。此外，SDK还提供了丰富的配置选项，例如设置录像目录、文件大小限制、转码选项等。总结部分列出了该SDK的关键特性，包括但不限于高稳定性和低延迟的播放能力、多实例支持、事件回调、硬解码支持、网络状态监控以及复杂的网络环境处理等。这些功能使得SDK能够应对各种应用场景，特别是在对延迟和稳定性有极高要求的情况下表现优异。

这段内容讲述了国产操作系统背景下，大牛直播SDK针对国产操作系统与Linux平台发布的RTMP/RTSP直播播放SDK。此SDK支持arm64架构，基于X协议输出视频，采用PulseAudio和Alsa Lib处理音频，具备实时静音、快照、缓冲时间设定等功能，并支持H.265编码格式。此外，提供了示例代码展示如何实现多实例播放器的创建与管理，包括窗口布局调整、事件监听、视频分辨率变化和实时快照回调等关键功能。这一技术实现有助于提高直播服务的稳定性和响应速度，适应国产操作系统在各行业中的应用需求。

前几年我们发布了C++版的多路RTMP/RTSP转RTMP转发官方定制版。在秉承低延迟、灵活稳定、低资源占用的前提下，客户无需关注开发细节，只需图形化配置转发等各类参数，实现产品快速上线目的。如监控类摄像机、NVR等，通过厂商说明或Onvif工具，获取拉流的RTSP地址，图形化配置，完成拉流转发等操作，轻松实现标准RTMP服务器对接。

大牛直播SDK采用先进的图层概念实现视频叠加，如将摄像头画面实时叠加到屏幕输出，以C#为例展示了具体的配置方法。用户可在推送RTMP或启动RTSP服务前选择“摄像头叠加到屏幕”的选项，并调整位置。SDK还支持摄像头的开启与关闭、水平垂直翻转及旋转等功能。此外，该SDK提供了丰富的特性，包括但不限于视频和音频采集处理、硬编码与软编码支持、多实例推送、水印添加、网络适应性调整等，几乎涵盖了RTMP推送的所有常规需求，并能与播放器协同工作达到毫秒级的低延迟，非常适合无纸化同屏、智慧教室等应用场景。

本文介绍了在国产操作系统及Linux平台上，利用Unity实现RTMP/RTSP直播播放的方法。通过设置原生播放模块的回调函数，可将解码后的YUV数据传递给Unity进行渲染，实现低延迟播放。此外，还提供了播放器启动、参数配置及停止的相关代码示例，并概述了如何在Unity中更新纹理以显示视频帧。随着国产操作系统的发展，此类跨平台直播解决方案的需求日益增长，为开发者提供了灵活高效的开发方式。

本文介绍了在Android平台上使用TextureView进行RTSP和RTMP视频流渲染的技术背景和实现方法。TextureView相较于SurfaceView具备更高性能、更强功能性和更灵活的绘制方式等优势，但也有必须在硬件加速环境下运行和较高内存占用等局限。文中详细展示了如何在SmartPlayerV2工程中创建和配置TextureView，并通过代码示例解释了如何根据视频分辨率信息调整显示比例，以及处理TextureView的各种生命周期回调。此外，还列举了该播放器SDK支持的多项高级功能，如多实例播放、多种编码格式支持、硬解码能力等，旨在帮助开发者更好地理解和实现高性能的直播播放器。

大牛直播SDK为Windows平台提供了细致的RTSP/RTMP直播播放及录像功能。支持多平台（Windows/Linux/Android/iOS）的推送端录像，并具备轻量级RTSP服务及GB28181设备接入能力。其特性包括：拉取RTSP/RTMP流录像、推送端同步录像、录像过程中的实时暂停与恢复、支持中文路径设置、单文件大小限制、纯音频/视频或音视频录制模式、音频转码至AAC、H.265编码支持、URL切换时自动文件分割等功能。此外，还提供丰富的事件回调机制以监测录像状态。通过细粒度的接口设计，满足了多样化的应用场景和技术需求。

本文介绍了在Windows平台上实现摄像头或屏幕流中动态文字水印的技术方法。通过大牛直播SDK示例，展示了如何从文本获取RGB数据，并将其叠加到视频流上。文中提供了代码片段来说明如何开启文字水印、生成包含实时信息的位图、以及如何更新和控制图层。最终实现了动态显示时间和位置信息的需求。对这一领域的开发者而言，本文提供了实用的参考与指导。

GB/T28181-2022标准中明确了快照的具体要求，包括图像抓拍配置命令的发送与接收流程。源设备需向目标设备发送包含传输路径和会话ID等信息的命令，目标设备完成图像传输后，通过IETF RFC 3428中的MESSAGE方法发送图像抓拍传输完成的通知。图像格式推荐使用JPEG，且分辨率应与主码流相同。技术实现上，如使用大牛直播SDK在Android平台上，可通过创建`SnapShotImpl`类并调用`capture()`方法实现快照功能，之后将JPEG格式的快照文件上传至国标平台。

GB28181记录仪在铁路可视化巡检中，集成实时音视频采集、位置上报、语音通信与无线传输技术，确保巡检高效准确。它能实时记录巡检细节，支持高清画质，并通过北斗/GPS实现精确位置追踪。记录仪兼容多种视频与音频格式，具备音量调节与编码参数配置功能，支持横竖屏及后台服务推流。此外，它还能添加动态水印，确保数据完整性，并允许指挥中心远程下载与回放历史视频，全面满足铁路巡检需求。

一个好的无纸化同屏系统，需要考虑的有整体组网、分辨率、码率、实时延迟、音视频同步和连续性等各个指标，做容易，做好难

时隔多年，在Enhancing RTMP, FLV With Additional Video Codecs And HDR Support（2023年7月31号正式发布）官方规范出来之前，如果RTMP要支持H.265，大家约定俗成的做法是扩展flv协议，CDN厂商携手给出的解决方案是给flv的videotag CodecID增加一个新类型(12)来表示h265(hevc)，和h264不同的地方是要解析HEVCDecoderConfigurationRecord，从HEVCDecoderConfigurationRecord中解析出vps, sps, pps. 有了vps, sps, pps,

后台采集摄像头，如果想再进一步扩展，可以把android平台gb28181的camera2 demo，都移植过来，实现功能更强大的国标设备侧，这里主要是展示，收到国标平台侧的回传请求后，才打开摄像头，才开始编码打包，最大限度的减少资源的占用

我们在做Android平台GB28181设备对接模块的时候，遇到这样的技术需求，开发者希望能以后台服务的形式运行程序，国标平台侧没有视频回传请求的时候，仅保持信令链接，有发起视频回传请求或语音广播时，打开摄像头，并实时回传音视频数据或接收处理国标平台侧发过来的语音广播数据。

我们在做RTMP、RTSP播放器的时候，有开发者需要自己处理拉取到的YUV数据，做二次分析之用，为此，我们做了以下的设计：InitPlayer之后，再调用SmartPlayerStart()接口之前，设置yuv数据回调即可。

我们在做RTSP、RTMP直播播放器的时候，有个比较重要的功能，就是拉流端实时录像，包括设置单个录像文件大小、文件前缀、audio转AAC、只录制视频或只录制音频、开始录像、停止录像事件状态回调等。

在我的blog里面，最近很少有提到iOS平台RTMP推送|轻量级RTSP服务和RTMP|RTSP直播播放模块，实际上，我们在2016年就发布了iOS平台直播推拉流、转发模块，只是因为传统行业，对iOS的需求比较少，所以一直没单独说明，本文主要介绍下，如何在iOS平台播放RTMP或RTSP流。

实际上，在做Android平台GB28181设备接入模块的时候，我们已经有了非常好的技术积累，比如RTMP推送、轻量级RTSP服务、一对一互动模块、业内几乎最好的RTMP|RTSP低延迟播放器。

在开发Android平台上的RTSP或RTMP播放器时，开发者不仅追求低延迟播放，还希望获取解码后的视频数据（如YUV或RGB格式），以便进行视觉算法分析。使用大牛直播SDK中的SmartPlayer，可在确保播放流畅的同时，通过设置外部渲染器（`SmartPlayerSetExternalRender`）来高效地回调原始视频数据。例如，对于RGBA数据，需实现`NTExternalRender`接口，并重写相关方法以处理数据和尺寸变化。同样地，对于I420（YUV）数据，也需要相应地实现接口以满足需求。这种方式使得开发者能在不影响常规播放功能的情况下，进行定制化的视频处理任务。

大牛直播SDK始创于2015年，旨在提供低延迟的RTMP推拉流解决方案，特别适用于毫秒级延迟的应用场景。初始版本针对Android平台实现RTMP直播推送，随后扩展至Windows、iOS和Linux平台，支持RTMP与RTSP播放器，延迟稳定在一秒以内。SDK涵盖实时推流、播放、GB28181设备接入、录像、多路流媒体转发、轻量级RTSP服务等多种功能，并支持H.265编码格式。该SDK适用于在线教育、智慧安防等多个行业场景，并已发展成为GitHub上获得超过10000星标的强大跨平台流媒体内核直播SDK。

为满足内网超低延迟需求，我们开发了轻量级RTSP服务模块，避免用户额外部署服务器。此模块集成于推送端SDK中，支持Windows、Linux、Android及iOS平台，可将本地音视频数据编码后通过RTSP协议提供。具备RTSP鉴权、单播/组播等功能，支持H.264/H.265编码，同时可创建多个服务实例，并查询连接数。实测总延迟约200-300毫秒，兼具稳定与高效。