一、 概述
实现直播过程中共享屏幕分为两个步调：屏幕数据收罗和流媒体数据推送。前对于 iOS 来说，屏幕收罗必要体系的权限，受制于iOS体系的限定，第三方 app 并没有直接录制屏幕的权限，必须通过体系的功能来实现。
本文将形貌iOS体系的屏幕共享的应用、实现、限定、实现细节等方面调研结果。（注：由于iOS 10和之前的体系只支持App内录制屏幕，所以只做简朴的先容，不做详细阐明）
二、 应用
屏幕共享早起出如今视频集会当中，后来在一些游戏直播中也出现了大规模应用，Apple早期不支持屏幕共享，但随着直播的盛行，Apple也是根据用户的需求，给予了屏幕共享的支持，推出了 ReplayKit 库来迎合这种场景。
市面上的屏幕共享的场景大抵分类如下：
一、：长途利用屏幕 ：辅助他人对手机举行利用。如年轻人帮组老年人举行长途设置，客服帮组客户办理软件故障大概利用帮组，有效的办理语言表述低效的标题。
二、：游戏直播：着名游戏主播可以把手机上玩游戏的画面直播给其他人，可以举行游戏教学，游戏讲授，让其他人更好的学习游戏本领。
三、：视频集会，开会房把手机内容给他人观看举行讲授，如手机中的邮件内容、图片、文档等，方便参会方快速共享信息，进步沟通服从。
三、 各体系实现屏幕共享
iOS体系上实现屏幕共享的技能，紧张在于体系各个版本的差异，下面将针对各个体系版本实现方式和限定性等方面举行比力。
起首，由于必要利用手机的相机和麦克等硬件，无法在模仿器上调试利用。起首我们相识下现在各个版本的覆盖率环境。
体系覆盖率
根据苹果官网的数据表现，制止到2021年6月，iOS体系各个体系版本占据率大抵如下图所示，可见，现在iOS13 及以下体系的用户覆盖率不敷2%，而iOS14体系的覆盖率约为 90%，iOS13体系的覆盖率约为8 %。顾为了分身老版本，现在市面上应用一样寻常会兼容到 iOS 9。
iOS 8
iOS8 以及从前的版本，体系没有提供相应的功能，通过破解体系的功能调用私有的API来实现。由于 iOS8 太过古老而且运行 iOS8 体系的装备也根本上支持不起来直播的功能，我们这里不做详细讨论，有兴趣的可以研究一下。
iOS 9体系
Apple 在iOS 9 推出了 ReplayKit 框架，提供了录屏功能，但是限定是只能录制本App内的屏幕。录制完成后会天生一个视频文件，只能通过 RPPreviewViewController 来预览，编译天生的文件，录制过程中无法获取数据，只能将终极录制完毕的整个mp4文件提供给开发者，所以实际上并非真正的屏幕的直播共享，无法包管明时性。
iOS 10体系
iOS 10 Apple 推出了 Broadcast Upload Extention 和 Broadcast Setup UI Extention，来办理录屏的标题。
起首先容一下App Extension，官方文档（Extension的官方文档）。Extension是对 App 的扩展，在肯定程度上冲破了沙盒的限定，提供了应用间通信的大概。Extension 是一个独立运行的进程，有自己的生命周期。下图所示：
固然iOS 10 体系办理了之前体系的一系列弊病，但是仍旧没能办理只能录制当前app的屏幕内容的标题，如许会限定一些应用的利用场景。
iOS 11体系
iOS 11 的发布正式直播郁勃的年代，为了迎合市场需求，Apple 提供了跨 app 录屏的功能，可以实现登科整个屏幕的功能。 固然ReplayKit2 已经可以满意开发者的多数需求，但是对于用户来说，这个版本在实现屏幕直播时，必要用户提前在手机设置中配置出屏幕录制的访问控制权限，使屏幕录制按钮表如今体系的上拉管理菜单中，而且在录制时，上拉底部菜单调出快捷管理菜单，而且长按屏幕录制圆形按钮才气开始录制和直播。复杂的利用流程，让用户利用的门槛增高。所以在iOS 11 上屏幕共享功能也显得很单薄。
iOS12体系
iOS 12 在iOS11的底子上举行了优化，并提供了RPSystemBroadcastPickerView，办理了录制屏幕，用户无需在控制中央手动启动。
总结
联合上面iOS各个体系版本对屏幕录制的限定的分析，从版本稳定性和发布可靠性角度来说，我们应该从iOS12体系开始提供屏幕录制功能，而之前的体系版本不做兼容。假如只录制 app 页面举行直播，那么体系可兼容到iOS 9。
四. 屏幕共享注意事项
由于 iOS 手机屏幕分辨率较高，思量到内存占用和传输服从，必要对收罗图像和处置惩罚过程举行优化,一样寻常限定分辨率在720P以内。
Extension 子进程有50M内存限定，当在该线程内存凌驾50M会导致步调瓦解，就是由于这个限定，业界相似的处置惩罚方案都会限定其视频质量不凌驾720P，高端机型的视频针数保持在30之内，低端机型视频帧率保持在10之内。
子进程瓦解会导致页面不停弹提示框，用户只能重启手机来办理该标题。
子进程和 host app 通信，必要看传输的内容选择差异的情势：
1、通过配置app group的方式共享文件大概UserDefault。
2、进程间关照：CFNotificationCenter，一样寻常开启关闭等可以通过关照实现。
3、通过Socket传输，像屏幕分享如许的场景比力得当这么做。
五. anyRTC 屏幕共享实现
anyRTC 视频屏幕共享可有两种实现方式：
一种是在Extension 子进程中通过 Socket 传输发送屏幕共享视频数据到 host app 中，host app中以自收罗Push的方式向 SDK 塞流，该方式只能传输一起视频流，要么屏幕共享要么摄像头的视频流。
一种是在Extension 子进程中初始化 SDK， 拉流设置为不订阅其他人的音频和视频，只做发送端。该方式实现了一个客户端可以发送自己的摄像头的视频流，也可以发送屏幕共享的流，只是以两个uid进入同一个频道的情势。
当地Socket传输到host app
思绪参考:博客
大抵的思绪是：当地起一个socket,通过tcp的情势传输到host app,复杂的利用在host app 中举行，有效办理Extension 50M的限定标题。
子进程中直接利用SDK
思绪：在Extension中直接利用 SDK ，只做发流，不吸收流。同时也要注意Extension 50M的标题（1：应用限定横竖屏直播，要么横盘、要么竖屏，应用横竖屏切换容易导致内存突增。2：低性能呆板限定视频的帧率（1~10帧））
1.初始化
设置频道属性为直播模式，并设置为主播角色，启用视频模块
// 实例化 rtc 对象 rtcKit = [ARtcEngineKit sharedEngineWithAppId:appId delegate:self]; [rtcKit setChannelProfile:ARChannelProfileLiveBroadcasting]; [rtcKit setClientRole:ARClientRoleBroadcaster]; [rtcKit enableVideo];2.设置屏幕共享的分辨率
由于子进程中有 50M 限定，为了体系的稳定性发起分辨率不要设置凌驾720P
根据屏幕的宽高，跟分辨率做换算，计算出最佳的分辨率输出
视频的帧率，假如在低端机型下，发起设置5帧，高端呆板不要凌驾30帧
屏幕共享的清楚度，可以得当调整bitrate，发起不要凌驾1800
// 获取当前屏幕的最佳分辨率 CGSize screenSize = [[UIScreen mainScreen] currentMode].size; CGSize boundingSize = CGSizeMake(720, 1280); CGFloat mW = boundingSize.width / screenSize.width; CGFloat mH = boundingSize.height / screenSize.height; if( mH < mW ) { boundingSize.width = boundingSize.height / screenSize.height * screenSize.width; } else if( mW < mH ) { boundingSize.height = boundingSize.width / screenSize.width * screenSize.height; } // 视频编码配置 ARVideoEncoderConfiguration *config = [[ARVideoEncoderConfiguration alloc] init]; config.dimensions = boundingSize; config.bitrate = 1500; config.frameRate = 10; config.orientationMode = ARVideoOutputOrientationModeAdaptative; [rtcKit setVideoEncoderConfiguration:config];3.设置利用外部音视频源
设置利用外部视频源收罗，打开后内部收罗自动关停
设置利用外部音频源收罗，打开后内部音频收罗自动关停
// 配置外部视频源 [rtcKit setExternalVideoSource:YES useTexture:YES pushMode:YES]; // 推送外部音频帧 [rtcKit enableExternalAudioSourceWithSampleRate:48000 channelsPerFrame:2];4.克制吸收音视频
作为屏幕共享端只必要发流，不必要吸收流。
// 克制吸收全部音视频流 [rtcKit muteAllRemoteVideoStreams:YES]; [rtcKit muteAllRemoteAudioStreams:YES];5.到场频道
获取 host app 中的用户Id,在举行一层组装，标志为某个人的辅流
获取 host app 中正在利用的频道Id,开始屏幕共享的时间以该用户的辅流的情势进入频道
// 获取 host app 中的用户Id,在举行一层组装，标志为某个人的辅流 NSString *uid = [NSString stringWithFormat "%@_sub",self.userId]; // 到场频道 [rtcKit joinChannelByToken:nil channelId:self.channelId uid:uid joinSuccess:^(NSString * _Nonnull channel, NSString * _Nonnull uid, NSInteger elapsed) { NSLog(@"joinSuccess"); }];6.发流
RPSampleBufferTypeVideo：获取视频数据，并利用外置塞流接口把视频数据发送出去
RPSampleBufferTypeAudioApp：获取应用内的声音源，并利用外置塞流接口把音频数据发送出去
RPSampleBufferTypeAudioMic：获取麦克风声音源，并利用外置塞流接口把音频数据发送出去
视频塞流，必要对视频数据举行组装，视频范例、时间戳、旋转角度等信息
- (void)processSampleBuffer CMSampleBufferRef)sampleBuffer withTypeRPSampleBufferType)sampleBufferType { switch (sampleBufferType) { case RPSampleBufferTypeVideo: { // 处置惩罚视频数据 CVPixelBufferRef pixelBuffer = CMSampleBufferGetImageBuffer(sampleBuffer); if (pixelBuffer) { CMTime timestamp = CMSampleBufferGetPresentationTimeStamp(sampleBuffer); ARVideoFrame *videoFrame = [[ARVideoFrame alloc] init]; videoFrame.format = 12; videoFrame.time = timestamp; videoFrame.textureBuf = pixelBuffer; videoFrame.rotation = [self getRotateByBuffer:sampleBuffer]; [rtcKit pushExternalVideoFrame:videoFrame]; } } break; case RPSampleBufferTypeAudioApp: // 处置惩罚音频数据，音频由App产生 [rtcKit pushExternalAudioFrameSampleBuffer:sampleBuffer type:ARAudioTypeApp]; break; case RPSampleBufferTypeAudioMic: // 处置惩罚音频数据，音频由麦克风产生 [rtcKit pushExternalAudioFrameSampleBuffer:sampleBuffer type:ARAudioTypeMic]; break; default: break; }}颠末上述步调，便可实现屏幕共享功能。为了方便开发者更能快速上手，可以参考demo快速上手。
iOS 屏幕共享
Android 屏幕共享
原文链接：https://blog.csdn.net/anyRTC/article/details/118522612 |
