AI 助理
备案控制台
开发者社区 视觉智能 文章 正文

如何实现Android平台GB28181设备接入模块按需打开摄像头并回传数据

2024-08-13 19
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
视觉智能开放平台，分割抠图1万点
视觉智能开放平台，视频资源包5000点
视觉智能开放平台，图像资源包5000点
简介： 后台采集摄像头，如果想再进一步扩展，可以把android平台gb28181的camera2 demo，都移植过来，实现功能更强大的国标设备侧，这里主要是展示，收到国标平台侧的回传请求后，才打开摄像头，才开始编码打包，最大限度的减少资源的占用

技术背景

实际上，我在年前的blog，已经写过Android平台GB28181后台service模式启动摄像头按需回传数据了，此次版本，是上个demo的迭代版，目的是平台侧如果不发起回传请求的话，摄像头不打开。

后台service模式启动后，仅完成平台上线注册，如果有语音广播过来，自动播放语音广播audio，如果平台侧订阅实时位置，安卓端按照位置订阅间隔，实时上报当前位置，当前端发起回传请求时，打开摄像头，再投递数据到底层模块，完成数据编码打包和回传，关闭回传后，摄像头自动关闭，达到最大限度节约资源占用的目的。

技术实现

懒得截图了，还是用老图吧，新的版本，在任务栏加了notify提醒，下面图片没有。

image.gif

目前，Android平台GB28181设备接入侧模块，覆盖了以下功能：

  • [视频格式]H.264/H.265(Android H.265硬编码)；
  • [音频格式]G.711 A律、AAC；
  • [音量调节]Android平台采集端支持实时音量调节；
  • [H.264硬编码]支持H.264特定机型硬编码；
  • [H.265硬编码]支持H.265特定机型硬编码；
  • [软硬编码参数配置]支持gop间隔、帧率、bit-rate设置；
  • [软编码参数配置]支持软编码profile、软编码速度、可变码率设置；
  • 支持横屏、竖屏推流；
  • Android平台支持后台service推送屏幕(推送屏幕需要5.0+版本)；
  • 支持纯视频、音视频PS打包传输；
  • 支持RTP OVER UDP和RTP OVER TCP被动模式（TCP媒体流传输客户端）；
  • 支持信令通道网络传输协议TCP/UDP设置；
  • 支持注册、注销，支持注册刷新及注册有效期设置；
  • 支持设备目录查询应答；
  • 支持心跳机制，支持心跳间隔、心跳检测次数设置；
  • 支持移动设备位置(MobilePosition)订阅和通知；
  • 适用国家标准：GB/T 28181—2016；
  • 支持语音广播；
  • 支持语音对讲；
  • 支持图像抓拍；
  • 支持历史视音频文件检索；
  • 支持历史视音频文件下载；
  • 支持历史视音频文件回放；
  • 支持云台控制和预置位查询；
  • [实时水印]支持动态文字水印、png水印；
  • [镜像]Android平台支持前置摄像头实时镜像功能；
  • [实时静音]支持实时静音/取消静音；
  • [实时快照]支持实时快照；
  • [降噪]支持环境音、手机干扰等引起的噪音降噪处理、自动增益、VAD检测；
  • [外部编码前视频数据对接]支持YUV数据对接；
  • [外部编码前音频数据对接]支持PCM对接；
  • [外部编码后视频数据对接]支持外部H.264数据对接；
  • [外部编码后音频数据对接]外部AAC数据对接；
  • [扩展录像功能]支持和录像SDK组合使用，录像相关功能。

先说这个提醒代码吧，onCreate()的时候，调用show_notification();即可：

private Notification get_notification() {
        Notification.Builder builder = new Notification.Builder(this)
                .setSmallIcon(R.mipmap.ic_launcher)
                .setContentTitle("NT-GB28181-Service-Demo")
                .setContentText("大牛直播SDK-安卓国标28181-Service-测试程序");
        if (Build.VERSION.SDK_INT >=26)
            builder.setChannelId(notification_id_);
        Notification notification = builder.build();
        return notification;
    }
    private void show_notification(){
        NotificationManager notificationManager = (NotificationManager) getSystemService(Context.NOTIFICATION_SERVICE);
       // if(Build.VERSION.SDK_INT >= Build.VERSION_CODES.O){
        if(Build.VERSION.SDK_INT >= 26){
            NotificationChannel channel = new NotificationChannel(notification_id_, notification_name_, NotificationManager.IMPORTANCE_HIGH);
            notificationManager.createNotificationChannel(channel);
        }
        startForeground(313,get_notification());
    }

image.gif

onStart()里面，调用initGB28181Agent()完成国标设备侧到平台侧的register、catalog和keepalive交互，如果平台侧需要订阅位置，Android GB28181设备端可按照订阅时间间隔，实时上报位置信息。

@Override
    public void onStart(Intent intent, int startId) {
        // TODO Auto-generated method stub
        super.onStart(intent, startId);
        Log.i(TAG, "onStart..");
        video_width_ = intent.getExtras().getInt("CAMERAWIDTH");
        video_height_ = intent.getExtras().getInt("CAMERAHEIGHT");
        boolean isCameraFaceFront = intent.getExtras().getBoolean("SWITCHCAMERA");
        Log.i(TAG, "video_width: " + video_width_ + ", video_height: " + video_height_ + " isCameraFaceFront: " + isCameraFaceFront);
        if (isCameraFaceFront)
            current_camera_type_ = FRONT;
         else
            current_camera_type_ = BACK;
        is_hardware_encoder = intent.getExtras().getBoolean("HWENCODER");
        window_manager_ = (WindowManager) getSystemService(Service.WINDOW_SERVICE);
        intent.addFlags(Intent.FLAG_ACTIVITY_NEW_TASK
                | Intent.FLAG_ACTIVITY_SINGLE_TOP);
        PendingIntent contentIntent = PendingIntent.getActivity(this,
                0, intent, 0);
        bgSurfaceView = new SurfaceView(this);
        WindowManager.LayoutParams layoutParams = new WindowManager.LayoutParams(
                1, 1, WindowManager.LayoutParams.TYPE_SYSTEM_OVERLAY,
                WindowManager.LayoutParams.FLAG_WATCH_OUTSIDE_TOUCH,
                PixelFormat.TRANSLUCENT);
        layoutParams.gravity = Gravity.LEFT | Gravity.TOP;
        window_manager_.addView(bgSurfaceView, layoutParams);
        bgSurfaceView.getHolder().addCallback(this);
        if (null == gb28181_agent_ ) {
            if(!initGB28181Agent() )
                return;
        }
        if (!gb28181_agent_.isRunning()) {
            if ( gb28181_agent_.start() )
                Log.i(TAG, "gb28181_agent_.start ok");
            else
                Log.e(TAG, "gb28181_agent_.start failed");
        }
    }

image.gif

GB28181信令交互处理如下，收到平台侧invite请求后，尝试打开摄像头：

// BackgroudService.java
    // Author: daniusdk.com
    @Override
    public void ntsOnInvitePlay(String deviceId, SessionDescription session_des) {
        handler_.postDelayed(new Runnable() {
            @Override
            public void run() {
                // 先振铃响应下
                gb28181_agent_.respondPlayInvite(180, device_id_);
                if (!try_preview_camera()) {
                    gb28181_agent_.respondPlayInvite(488, device_id_);
                    Log.i(TAG, "ntsOnInvitePlay try_preview_camera failed, response 488, device_id:" + device_id_);
                    return;
                }
                MediaSessionDescription video_des = null;
                SDPRtpMapAttribute ps_rtpmap_attr = null;
                // 28181 视频使用PS打包
                Vector<MediaSessionDescription> video_des_list = session_des_.getVideoPSDescriptions();
                if (video_des_list != null && !video_des_list.isEmpty()) {
                    for(MediaSessionDescription m : video_des_list) {
                        if (m != null && m.isValidAddressType() && m.isHasAddress() ) {
                            video_des = m;
                            ps_rtpmap_attr = video_des.getPSRtpMapAttribute();
                            break;
                        }
                    }
                }
                if (null == video_des) {
                    gb28181_agent_.respondPlayInvite(488, device_id_);
                    Log.i(TAG, "ntsOnInvitePlay get video description is null, response 488, device_id:" + device_id_);
                    return;
                }
                if (null == ps_rtpmap_attr ) {
                    gb28181_agent_.respondPlayInvite(488, device_id_);
                    Log.i(TAG, "ntsOnInvitePlay get ps rtp map attribute is null, response 488, device_id:" + device_id_);
                    return;
                }
                Log.i(TAG,"ntsOnInvitePlay, device_id:" +device_id_+", is_tcp:" + video_des.isRTPOverTCP()
                        + " rtp_port:" + video_des.getPort() + " ssrc:" + video_des.getSSRC()
                        + " address_type:" + video_des.getAddressType() + " address:" + video_des.getAddress());
                long rtp_sender_handle = lib_publisher_.CreateRTPSender(0);
                if ( rtp_sender_handle == 0 ) {
                    gb28181_agent_.respondPlayInvite(488, device_id_);
                    Log.i(TAG, "ntsOnInvitePlay CreateRTPSender failed, response 488, device_id:" + device_id_);
                    return;
                }
                gb28181_rtp_payload_type_  = ps_rtpmap_attr.getPayloadType();
                gb28181_rtp_encoding_name_ =  ps_rtpmap_attr.getEncodingName();
                lib_publisher_.SetRTPSenderTransportProtocol(rtp_sender_handle, video_des.isRTPOverUDP()?0:1);
                lib_publisher_.SetRTPSenderIPAddressType(rtp_sender_handle, video_des.isIPv4()?0:1);
                lib_publisher_.SetRTPSenderLocalPort(rtp_sender_handle, 0);
                lib_publisher_.SetRTPSenderSSRC(rtp_sender_handle, video_des.getSSRC());
                lib_publisher_.SetRTPSenderSocketSendBuffer(rtp_sender_handle, 2*1024*1024); // 设置到2M
                lib_publisher_.SetRTPSenderClockRate(rtp_sender_handle, ps_rtpmap_attr.getClockRate());
                lib_publisher_.SetRTPSenderDestination(rtp_sender_handle, video_des.getAddress(), video_des.getPort());
                if ( lib_publisher_.InitRTPSender(rtp_sender_handle) != 0 ) {
                    gb28181_agent_.respondPlayInvite(488, device_id_);
                    lib_publisher_.DestoryRTPSender(rtp_sender_handle);
                    return;
                }
                int local_port = lib_publisher_.GetRTPSenderLocalPort(rtp_sender_handle);
                if (local_port == 0) {
                    gb28181_agent_.respondPlayInvite(488, device_id_);
                    lib_publisher_.DestoryRTPSender(rtp_sender_handle);
                    return;
                }
                Log.i(TAG,"get local_port:" + local_port);
                String local_ip_addr = IPAddrUtils.getIpAddress(context_);
                MediaSessionDescription local_video_des = new MediaSessionDescription(video_des.getType());
                local_video_des.addFormat(String.valueOf(ps_rtpmap_attr.getPayloadType()));
                local_video_des.addRtpMapAttribute(ps_rtpmap_attr);
                local_video_des.setAddressType(video_des.getAddressType());
                local_video_des.setAddress(local_ip_addr);
                local_video_des.setPort(local_port);
                local_video_des.setTransportProtocol(video_des.getTransportProtocol());
                local_video_des.setSSRC(video_des.getSSRC());
                if (!gb28181_agent_.respondPlayInviteOK(device_id_,local_video_des) ) {
                    lib_publisher_.DestoryRTPSender(rtp_sender_handle);
                    Log.e(TAG, "ntsOnInvitePlay call respondPlayInviteOK failed.");
                    return;
                }
                gb28181_rtp_sender_handle_ = rtp_sender_handle;
            }
            private String device_id_;
            private SessionDescription session_des_;
            public Runnable set(String device_id, SessionDescription session_des) {
                this.device_id_ = device_id;
                this.session_des_ = session_des;
                return this;
            }
        }.set(deviceId, session_des),0);
    }

image.gif

bye的时候，关闭释放摄像头：

@Override
    public void ntsOnByePlay(String deviceId) {
        handler_.postDelayed(new Runnable() {
            @Override
            public void run() {
                Log.i(TAG, "ntsOnByePlay, stop GB28181 media stream, deviceId=" + device_id_);
                stopGB28181Stream();
                destoryRTPSender();
                release_camera();
            }
            private String device_id_;
            public Runnable set(String device_id) {
                this.device_id_ = device_id;
                return this;
            }
        }.set(deviceId),0);
    }

image.gif

其他部分，和年前的版本基本类似，这里就不再赘述。

总结

后台采集摄像头，如果想再进一步扩展，可以把android平台gb28181的camera2 demo，都移植过来，实现功能更强大的国标设备侧，这里主要是展示，收到国标平台侧的回传请求后，才打开摄像头，才开始编码打包，最大限度的减少资源的占用，感兴趣的开发者可以跟我单独交流。

文章标签：
Android开发
编解码
数据安全/隐私保护
网络协议
前端开发
关键词：
Android平台
Android gb28181模块
Android平台模块
Android平台gb28181
Android模块
音视频牛哥
目录
相关文章
肥猪肥猪-17824
|
8天前
|
IDE 开发工具 Android开发
安卓与iOS开发对比：平台选择对项目成功的影响
【9月更文挑战第10天】在移动应用开发的世界中，选择正确的平台是至关重要的。本文将深入探讨安卓和iOS这两大主要移动操作系统的开发环境，通过比较它们的市场份额、开发工具、编程语言和用户群体等方面，为开发者提供一个清晰的指南。我们将分析这两个平台的优势和劣势，并讨论如何根据项目需求和目标受众来做出最佳选择。无论你是初学者还是有经验的开发者，这篇文章都将帮助你更好地理解每个平台的特性，并指导你做出明智的决策。
肥猪肥猪-17824
29 10
帅政的oss
|
8天前
|
开发工具 Android开发 iOS开发
安卓与iOS开发：平台选择的艺术与科学
在移动应用开发的广阔天地中，安卓与iOS两大平台如同东西方哲学的碰撞，既有共通之处又各具特色。本文将深入探讨这两个平台的设计理念、开发工具和市场定位，旨在为开发者提供一份简明扼要的指南，帮助他们在这场技术与商业的博弈中找到自己的道路。通过比较分析，我们将揭示每个平台的优势与局限，以及它们如何影响应用的性能、用户体验和市场接受度。无论你是初涉江湖的新手，还是经验丰富的老手，这篇文章都将为你的选择提供新的视角和思考。
帅政的oss
19 5
liuliunainai
|
8天前
|
Linux Android开发 iOS开发
探索Android与iOS开发：平台之战还是互补共生？
在移动应用开发的浩瀚宇宙中，Android和iOS这两大星系始终吸引着无数开发者的目光。它们各自拥有独特的引力场，引领着技术潮流的方向。本文将穿梭于这两个平台的星际空间，揭示它们背后的力量对比，以及如何在这两者之间找到平衡点，共同推动移动应用开发的进步。
liuliunainai
18 1
萝卜带泥
|
8天前
|
移动开发 开发框架 Android开发
安卓与iOS开发：平台之战的新篇章
在移动应用开发的广阔天地中，安卓和iOS始终占据着主导地位。本文通过比较这两个平台的发展历程、技术特点及未来趋势，探讨了它们之间的竞争与合作。文章旨在为开发者提供一个清晰的平台选择指南，并预测未来移动开发的可能走向。
萝卜带泥
16 1
xibeijing
|
5天前
|
监控 算法 数据可视化
深入解析Android应用开发中的高效内存管理策略在移动应用开发领域，Android平台因其开放性和灵活性备受开发者青睐。然而，随之而来的是内存管理的复杂性，这对开发者提出了更高的要求。高效的内存管理不仅能够提升应用的性能，还能有效避免因内存泄漏导致的应用崩溃。本文将探讨Android应用开发中的内存管理问题，并提供一系列实用的优化策略，帮助开发者打造更稳定、更高效的应用。
在Android开发中，内存管理是一个绕不开的话题。良好的内存管理机制不仅可以提高应用的运行效率，还能有效预防内存泄漏和过度消耗，从而延长电池寿命并提升用户体验。本文从Android内存管理的基本原理出发，详细讨论了几种常见的内存管理技巧，包括内存泄漏的检测与修复、内存分配与回收的优化方法，以及如何通过合理的编程习惯减少内存开销。通过对这些内容的阐述，旨在为Android开发者提供一套系统化的内存优化指南，助力开发出更加流畅稳定的应用。
xibeijing
17 0
浣熊干面包
|
Android开发
19条ANDROID平台设计规范(转)
浣熊干面包
1303 0
runcare
|
Android开发
19条ANDROID平台设计规范平台设计规范
runcare
1699 0
西北野狼
|
Android开发
Android平台设计规范整理(尺寸+组成元素+字体+滑块)
转自：http://www.ui.cn/project.php?id=12394
西北野狼
711 0
游客qf4jmczx4xu2y
|
4天前
|
Android开发 开发者 Kotlin
探索安卓开发中的新特性
【9月更文挑战第14天】本文将引导你深入理解安卓开发领域的一些最新特性，并为你提供实用的代码示例。无论你是初学者还是经验丰富的开发者，这篇文章都会给你带来新的启示和灵感。让我们一起探索吧！
游客qf4jmczx4xu2y
21 9
历年考试不作弊
|
1天前
|
Java Linux Android开发
深入理解Android开发：从基础到高级
【9月更文挑战第17天】本文将深入探讨Android开发的各个方面，包括应用开发、操作系统等。我们将通过代码示例来展示如何创建一个简单的Android应用，并解释其背后的原理。无论你是初学者还是有经验的开发者，这篇文章都将为你提供有价值的信息和启示。
历年考试不作弊
15 7

视觉智能

热门文章

最新文章

  • 1
    网络安全需求增大，世平信息用数据内容识别技术填补市场空白
  • 2
    【图像算法】彩色图像分割专题一：颜色空间1（原理）
  • 3
    YOLOv8改进 | 主干网络 | 增加网络结构增强小目标检测能力【独家创新——附结构图】
  • 4
    ‘通义万相’使用体验——令人惊艳的AI绘画创作大模型
  • 5
    通过容器搭建开源文字识别/OCR服务
  • 6
    一个基于C#开发的轻量级OCR文字识别开源工具
  • 7
    【阿里云OpenVI-视觉生产系列之图片上色】照片真实感上色算法DDColor ICCV2023论文深入解读
  • 8
    YOLOv8改进 | 融合模块 | 用Resblock+CBAM卷积替换Conv【轻量化网络】
  • 9
    达摩院CVPR2023人脸重建论文HRN解读——REALY榜单冠军模型
  • 10
    OpenGL生态中的GL, GLU, GLUT, GLX, GLEW, GLEE和GLEXT详解
  • 1
    超分辨率相关的开源项目
    17
  • 2
    HTML 属性新手注意点
    24
  • 3
    使用Python实现深度学习模型：智能保险风险评估
    51
  • 4
    速通FFmpeg入门
    25
  • 5
    FFmpeg开发笔记（五十一）适合学习研究的几个音视频开源框架
    34
  • 6
    FFmpeg开发笔记（五十）聊聊几种流媒体传输技术的前世今生
    46
  • 7
    网页不安装插件如何播放RTSP/FLV视频
    29
  • 8
    同一路RTSP|RTMP流如何同时回调YUV和RGB数据实现渲染和算法分析
    36
  • 9
    多路RTSP转RTMP推送方案的两个选择
    38
  • 10
    FFmpeg开发笔记（四十九）助您在毕业设计中脱颖而出的几个流行APP
    50

    • 相关课程

    更多
  • 开源Android容器化框架Atlas开发者指南
  • 服务器硬件基础

    • 相关电子书

    更多
  • 58同城Android客户端Walle框架演进与实践之路
  • Android组件化实现
  • 蚂蚁聚宝Android秒级编译——Freeline

    • 相关实验场景

    更多
  • 通过云拨测对指定网页进行网页性能监测
  • 快速实现摄像头视频画面的远程预览
  • 物联网设备安全：实时检测7类安全风险（Agentless）
  • 手把手教你用IoT设备监控家庭环境数据
    • 下一篇
    基于LNMP搭建WordPress