iOS 屏幕共享-阿里云开发者社区

前言：由于最近项目中需要使用到屏幕共享，所以对iOS屏幕共享进行了一番调研，在这里也分享下踩坑之路。

屏幕共享简介

屏幕共享是把屏幕上的内容分享给其他人观看，这分为两项关键技术：

屏幕内容采集：涉及到系统权限，以及需要系统提供采集屏幕内容的Api；（苹果提供的屏幕录制框架ReplayKit）
流媒体服务：通过采集到的视频流以及音频流推送给流媒体服务器广播给用户；（通常是以RTC的推流形式进行处理）

屏幕共享的应用场景：
手机游戏直播、客服指导、商务会议、教学白板等；

屏幕共享整体流程如下：

触发录屏
准备工作
开始录屏
处理数据流（音频、视频等）
ExtensionApp 数据共享到 MainApp中（或者直接对此数据进行操作）
结束录屏

屏幕共享采集：

添加Target
创建Broadcast Upload Extension

添加AppGroups

可以在苹果开发者官网申请AppGroupID，并且把相关的profile文件，证书相关联，也可以在Xcode中添加后，由Xcode自动生成；
添加AppGroups需要在主App中和拓展中都添加；

添加完成后

添加完
最终项目中会存在两个文件，AppGroupID要保持一致；

到这里就可以开始处理屏幕共享了。由于涉及到进程之间（主App与拓展App之间）的通信问题，所以这里采用通知的方式来处理开始、结束等事件；屏幕共享采集数据进程通信目前采用NSUserDefault、Socket等方式，但是苹果扩展App有50M的内存限制在先，如果不需要帧数太高，可以使用NSUserDefault传输sampleBuffer。如果对屏幕共享要求很高（帧率高、分辨率高），可以直接在拓展App中直接上传流，或者使用socket。使用socket可以在一定程度上不依赖内存，但是需要处理帧堆积导致的内存爆增问题，可以避免扩展程序被系统强制KILL，但Socket有一定的不稳定性，需要额外处理断线以及网络异常等问题；

推荐的进程通信方式：

事件通知：CFNotification;
简单的值传递：NSUserDefault；
复杂的数据传递：Socket；

开始屏幕共享

这个方法有不确定性，🤷不知道未来某天是否还能使用，能用就先用吧！苹果并没有给出一个明确的方法，只有一个控件可以调起屏幕共享弹窗，所以这里是以一种取巧的方式封装起来的方法，给App调用；
在调起屏幕共享后，到我们真正开启屏幕共享，还有一步用户确认操作，所以我们需要知道屏幕共享扩展程序的事件回调后，再去处理某些逻辑，才能真正形成闭环；

// 系统弹窗
- (RPSystemBroadcastPickerView *)systemPicker {
    if (!_systemPicker) {
        RPSystemBroadcastPickerView* picker =
        [[RPSystemBroadcastPickerView alloc] initWithFrame:CGRectMake(0, 0, 44, 44)];
        picker.showsMicrophoneButton = NO;
        picker.autoresizingMask = UIViewAutoresizingFlexibleTopMargin | UIViewAutoresizingFlexibleRightMargin;
        _systemPicker = picker;
    }
    return _systemPicker;
}

- (void)launchBroadcaster API_AVAILABLE(ios(12.0)) {
    NSArray *contents = [NSFileManager.defaultManager contentsOfDirectoryAtPath:plugInPath error:nil];
    for (NSString *content in contents) {
        NSURL *url = [NSURL fileURLWithPath:plugInPath];
        NSBundle *bundle = [NSBundle bundleWithPath:[url URLByAppendingPathComponent:content].path];
        
        NSDictionary *extension = [bundle.infoDictionary objectForKey:@"NSExtension"];
        if (extension == nil) { continue; }
        NSString *identifier = [extension objectForKey:@"NSExtensionPointIdentifier"];
        if ([identifier isEqualToString:@"com.apple.broadcast-services-upload"]) {
            self.systemPicker.preferredExtension = bundle.bundleIdentifier;
            break;
        }
    }
    for (UIView *view in self.systemPicker.subviews) {
        UIButton *button = (UIButton *)view;
        [button sendActionsForControlEvents:UIControlEventAllTouchEvents];
    }
}

停止屏幕共享

停止屏幕共享方法是由ReplayKit扩展中的提供的，从MainApp中无法直接调用，可以通过通知的方式去调用ExtensionApp 的方法；

// MainApp 发送通知给 ExtensionApp， 扩展程序收到通知调用停止方法
// MainApp
- (void)stopBroadcaster {
    CFNotificationName notificationName = CFNotificationName(TScreenShareHostRequestStopNotification);
    CFNotificationCenterPostNotification(CFNotificationCenterGetDarwinNotifyCenter(), notificationName, nil, nil, true);
}

// ExtensionApp
// 监听通知
CFNotificationCenterAddObserver(CFNotificationCenterGetDarwinNotifyCenter(),
                                    (__bridge const void *)(self),
                                    onHostRequestFinishBroadcast,
                                    (__bridge CFStringRef)ScreenShareHostRequestStopNotification,
                                    NULL,
                                    CFNotificationSuspensionBehaviorDeliverImmediately);

static void onHostRequestFinishBroadcast(CFNotificationCenterRef center,
                                void *observer,
                                CFStringRef name,
                                const void *object,
                                         CFDictionaryRef
                                         userInfo) {
    ScreenShareSampleHandler *self = (__bridge ScreenShareSampleHandler *)(observer);
    NSError *error = [NSError errorWithDomain:NSStringFromClass(self.class)
                                         code:0
                                     userInfo:@{
                                         NSLocalizedFailureReasonErrorKey:NSLocalizedString(@"您已停止屏幕共享。", nil)
                                     }];
    [self finishBroadcastWithError:error];
}

ExtensionApp事件回调

- (void)broadcastStartedWithSetupInfo:(NSDictionary<NSString *,NSObject *> *)setupInfo {
    // User has requested to start the broadcast. Setup info from the UI extension can be supplied but optional.
    CFNotificationName notificationName = CFNotificationName(ScreenShareBroadcastStartedNotification);
    CFNotificationCenterPostNotification(CFNotificationCenterGetDarwinNotifyCenter(), notificationName, nil, nil, true);
}

- (void)broadcastPaused {
    // User has requested to pause the broadcast. Samples will stop being delivered.
    CFNotificationName notificationName = CFNotificationName(ScreenShareBroadcastPausedNotification);
    CFNotificationCenterPostNotification(CFNotificationCenterGetDarwinNotifyCenter(), notificationName, nil, nil, true);
}

- (void)broadcastResumed {
    // User has requested to resume the broadcast. Samples delivery will resume.
    CFNotificationName notificationName = CFNotificationName(ScreenShareBroadcastResumedNotification);
    CFNotificationCenterPostNotification(CFNotificationCenterGetDarwinNotifyCenter(), notificationName, nil, nil, true);
}

- (void)broadcastFinished {
    // User has requested to finish the broadcast.
    CFNotificationName notificationName = CFNotificationName(ScreenShareBroadcastFinishedNotification);
    CFNotificationCenterPostNotification(CFNotificationCenterGetDarwinNotifyCenter(), notificationName, nil, nil, true);
}

- (void)processSampleBuffer:(CMSampleBufferRef)sampleBuffer withType:(RPSampleBufferType)sampleBufferType {
    //使用NSUserDefault
}

MainApp监听屏幕共享事件通知

// 屏幕共享开始
CFNotificationCenterAddObserver(CFNotificationCenterGetDarwinNotifyCenter(),
                                (__bridge const void *)(self),
                                onBroadcastStarted,
                                (__bridge CFStringRef)TScreenShareBroadcastStartedNotification,
                                NULL,
                                CFNotificationSuspensionBehaviorDeliverImmediately);
// 屏幕共享完成
CFNotificationCenterAddObserver(CFNotificationCenterGetDarwinNotifyCenter(),
                                (__bridge const void *)(self),
                                onBroadcastFinished,
                                (__bridge CFStringRef)TScreenShareBroadcastFinishedNotification,
                                NULL,
                                CFNotificationSuspensionBehaviorDeliverImmediately);
// 屏幕共享暂停
CFNotificationCenterAddObserver(CFNotificationCenterGetDarwinNotifyCenter(),
                                (__bridge const void *)(self),
                                onBroadcastPaused,
                                (__bridge CFStringRef)TScreenShareBroadcastPausedNotification,
                                NULL,
                                CFNotificationSuspensionBehaviorDeliverImmediately);
// 屏幕共享暂停
CFNotificationCenterAddObserver(CFNotificationCenterGetDarwinNotifyCenter(),
                                (__bridge const void *)(self),
                                onBroadcastResumed,
                                (__bridge CFStringRef)TScreenShareBroadcastResumedNotification,
                                NULL,
                                CFNotificationSuspensionBehaviorDeliverImmediately);
// 实现方法
static void onBroadcastStarted(CFNotificationCenterRef center,
                               void *observer,
                               CFStringRef name,
                               const void *object,
                               CFDictionaryRef
                               userInfo) {
}

static void onBroadcastFinished(CFNotificationCenterRef center,
                                void *observer,
                                CFStringRef name,
                                const void *object,
                                CFDictionaryRef
                                userInfo) {
}

static void onBroadcastPaused(CFNotificationCenterRef center,
                              void *observer,
                              CFStringRef name,
                              const void *object,
                              CFDictionaryRef
                              userInfo) {
}

static void onBroadcastResumed(CFNotificationCenterRef center,
                               void *observer,
                               CFStringRef name,
                               const void *object,
                               CFDictionaryRef
                               userInfo) {
}

流媒体服务：

这里大多都是使用第三方的服务，并且每家SDK的方法都大同小异；RTC屏幕共享方法有开始屏幕共享，停止屏幕共享，以及推流等方法；基本上集成上都有傻瓜式教程，就不在这里展开叙述；

总结：

iOS系统实现屏幕共享的功能太曲折了，就ReplayKit整体而言，对开发者并不是很友好。iOS版本之间兼容也是很头疼的，实现屏幕共享的细节还有很多，在屏幕共享采集后的处理也尤为关键，比如对视频帧和音频帧的处理；还有就是屏幕共享扩展的内存限制50M，这也是需要开发者特别注意的地方；

iOS 屏幕共享

屏幕共享简介

屏幕共享采集：

开始屏幕共享

停止屏幕共享

ExtensionApp事件回调

MainApp监听屏幕共享事件通知

流媒体服务：

总结：

热门文章

最新文章

相关电子书

热门

活动广场

任务中心

开发者评测

高校计划

乘风者计划

训练营

阿里云MVP

话题

直播

下载

镜像站

技术资料

插件

iOS 屏幕共享

屏幕共享简介

屏幕共享采集：

开始屏幕共享

停止屏幕共享

ExtensionApp事件回调

MainApp监听屏幕共享事件通知

流媒体服务：

总结：

热门文章

最新文章

相关电子书