大家好,欢迎大家来到「云信小课堂 」。
本栏目致力于解答有关IM和音视频的一切问题,产品特点、使用场景、技术名词、接入指南、功能实现......欢迎大家留言提问,我们每节课会选取大家感兴趣的问题进行解答。
微信的火热让网络语音/视频通话逐步替代了传统手机通话,那么如果快速实现一款轻量的音视频通话应用呢?其实并不复杂,几十行代码就能实现。
开学第一课,我们一起聊一聊如何快速实现音视频通话。
我们先来定义一下一款轻量的音视频通话应用需要哪些功能,首先基础类功能可能包含
具体可参见下图,当然在基础类功能之上我们也可以引入美颜、变声等更多高级的玩法,本期暂不做展开,后面会陆续为大家介绍哦!
本章以 iOS 为例介绍如何使用 NERTC SDK 实现音视频通话,更多终端参见网易云信官方 Github。
以下内容为大家介绍如果基于 网易云信 音视频通话2.0 SDK 快速实现音视频通话功能,基本步骤如下:
CocoaPods 集成
集成前,请先前往SDK下载页面查看当前最新版本,并查询本地仓库中对应的版本是否为最新版本。若不是最新版本,建议先更新本地仓库,以确保可以集成最新的SDK版本。
pod search NERtcSDK //本地仓库中查询 NERtcSDK 信息 pod repo update //更新本地仓库 pod install //执行安装
至此, NERTC SDK 已经导入完成。
手动导入 SDK 集成
至此, NERTC SDK 已经导入完成。
本节以 iOS 为例介绍如何使用 NERTC SDK 实现音视频通话,主要流程如下图所示:
(更多终端参见网易云信官方 Github)
*此处 Server 指的是云信 SDK Sever。
初始化
@interface Myapp () ...NERtcEngine coreEngine = [NERtcEngine sharedEngine];NERtcEngineContext context = [[NERtcEngineContext alloc] init];context.engineDelegate = self;context.appKey = AppKey;[coreEngine setupEngineWithContext:context];...
@interface Myapp () ...NERtcEngine coreEngine = [NERtcEngine sharedEngine];NERtcEngineContext context = [[NERtcEngineContext alloc] init];context.engineDelegate = self;context.appKey = AppKey;[coreEngine setupEngineWithContext:context];...
初始化的参数类 NERtcEngineContext 属性说明:
@interface NERtcEngineContext : NSObject/** 已开通音视频功能的云信应用的AppKey。 */@property (nonatomic, copy) NSString *appKey;/** log的相关设置,由开发者提供。可选参数。 */@property (nonatomic, strong) NERtcLogSetting *logSetting;/** 通话相关信息的回调接口,由开发者提供。 */@property (nonatomic, weak) id<NERtcEngineDelegateEx> engineDelegate;@end
启动视频流
@protocol INERtcEngine <NSObject>/** 开启自己的视频。可以在加入频道前和频道后调用。 @param enabled 是否开启 @return 操作返回值,成功则返回 0*/- (int)enableLocalVideo:(BOOL)enabled;@end
[NERtcEngine.sharedEngine enableLocalVideo:YES];
设置本地视频画布
启动视频流后,可以设置本地视频画布,用来显示本地采集的视频画面。
@protocol INERtcEngine <NSObject>/** 设置本地视频画布 @param canvas 视频窗口,如果需要删除则传 nil @return 操作返回值,成功则返回 0 */- (int)setupLocalVideoCanvas:(NERtcVideoCanvas *)canvas;@end
NERtcVideoCanvas *canvas = [[NERtcVideoCanvas alloc] init];canvas.container = self.localUserView;[NERtcEngine.sharedEngine setupLocalVideoCanvas:canvas];
设置成功后,即可显示本地视频画面。
加入频道
加入频道前,请确保已完成初始化相关事项。若您的业务中涉及呼叫邀请等机制,可以使用信令。
@protocol INERtcEngine <NSObject>/**加入频道 @param token 频道token @param channelName 频道名 @param uId 当前用户的Id @param completion 操作完成的 block 回调 @return 操作返回值,被执行了则返回 0 */- (int)joinChannelWithToken:(NSString *)token channelName:(nullable NSString *)channelName myUid:(uint64_t)uId completion:(NERtcJoinChannelCompletion)completion;@end
//加入房间- (void)joinChannelWithRoomId:(NSString *)roomId userId:(uint64_t)userId { __weak typeof(self) weakSelf = self; [NERtcEngine.sharedEngine joinChannelWithToken:@"" channelName:roomId myUid:userId completion:^(NSError * _Nullable error, uint64_tchannelId, uint64_t elapesd) { if (error) { //加入失败了,弹框之后退出当前页面 } else { //加入成功 } }];}
设置远端视图
视频通话过程中,除了要显示本地的视频画面,通常也要显示参与通话的其他用户的远端视频画面。
监听远端用户进出频道
@protocol NERtcEngineDelegate <NSObject>/** 其他用户加入频道的回调 @param userID 用户的id @param userName 用户名称 */- (void)onNERtcEngineUserDidJoinWithUserID:(uint64_t)userID userName:(NSString *)userName;/** 其他用户离开频道的回调 @param userID 用户的id @param reason 离开的原因 */- (void)onNERtcEngineUserDidLeaveWithUserID:(uint64_t)userID reason:(NERtcSessionLeaveReason)reason;@end
设置远端视频画布
监听到远端用户加入频道后,可以设置远端视频画布,用来显示远端用户的视频画面。
@protocol INERtcEngine <NSObject>/** 设置远端的视频播放窗口 只能在加入频道后调用 @param userID 用户的id @param canvas 视频窗口,如果需要删除则传nil @return 操作返回值,成功则返回 0 */- (int)setupRemoteVideoCanvas:(NERtcVideoCanvas *)canvas forUserID:(uint64_t)userID;@end
- (void)onNERtcEngineUserDidJoinWithUserID:(uint64_t)userID userName:(NSString *)userName { //如果已经setup了一个远端的canvas,则不需要再建立了 ... if (_remoteCanvas != nil) { return; } //建立远端canvas,用来渲染远端画面 NERtcVideoCanvas *canvas = [self setupRemoteCanvasWithUid:userID]; [NERtcEngine.sharedEngine setupRemoteVideoCanvas:canvas forUserID:userID]; ...}···- (void)onNERtcEngineUserDidLeaveWithUserID:(uint64_t)userID reason:(NERtcSessionLeaveReason)reason { //如果远端的人离开了,重置远端模型和UI ... [NERtcEngine.sharedEngine setupRemoteVideoCanvas:nil forUserID:userID]; ...}
监听远端视频流发布
当频道中的其他用户有视频流发出/关闭时,分别会走入以下回调:
@protocol NERtcEngineDelegate <NSObject>/** 其他用户打开视频的回调 @param userID 用户id @param profile 用户发送视频的最大分辨率类型 */- (void)onNERtcEngineUserVideoDidStartWithUserID:(uint64_t)userID videoProfile:(NERtcVideoProfileType)profile;/** 其他用户关闭视频的回调 @param userID 用户id */- (void)onNERtcEngineUserVideoDidStop:(uint64_t)userID;@end
订阅远端视频流
在设置完远端视频画布后,且监听到远端用户有视频发布时,可以订阅远端用户的视频流。
@protocol INERtcEngineEx /**订阅或取消订阅别人的视频,订阅了才会接收别人的视频数据。@param subscribe 是否订阅 @param userID 用户的id @param streamType 订阅的远端视频流类型 @return 操作返回值,成功则返回 0 */- (int)subscribeRemoteVideo:(BOOL)subscribe forUserID:(uint64_t)userID streamType:(NERtcRemoteVideoStreamType)streamType;@end
// 监听到远端用户有视频流发布- (void)onNERtcEngineUserVideoDidStartWithUserID:(uint64_t)userID videoProfile:(NERtcVideoProfileType)profile { //如果已经订阅过远端视频流,则不需要再订阅了 ... if (_remoteCanvas.subscribedVideo) { return; } //订阅远端视频流。 _remoteCanvas.subscribedVideo = YES; [NERtcEngine.sharedEngine subscribeRemoteVideo:YES forUserID:userID streamType:kNERtcRemoteVideoStreamTypeHigh]; ...}// 监听到远端用户停止视频流发布- (void)onNERtcEngineUserVideoDidStop:(uint64_t)userID { if (userID == _remoteCanvas.uid) { // 收到此回调后,SDK 内部会取消对应的视频流订阅,无需开发者主动取消订阅。 ... _remoteStatLab.hidden = YES; ... }}
订阅成功后,即可显示远端的视频画面。
音频流
在 NERtcSDK 中,本地音频的采集发布和远端音频订阅播放是默认启动的,正常情况下无需开发者主动干预。
离开频道
当通话结束,需要离开频道,可以调用以下接口:
@protocol INERtcEngine <NSObject>/** 离开频道 @return 操作返回值,成功则返回 0 */- (int)leaveChannel;@end
//UI 挂断按钮事件- (IBAction)onHungupAction:(UIButton *)sender { [NERtcEngine.sharedEngine leaveChannel]; [self dismiss];}
执行完 leaveChannel 方法后,SDK 会触发 离开频道回调通知开发者:
@protocol NERtcEngineDelegate <NSObject>/** 离开频道回调 @param result 离开的结果 */- (void)onNERtcEngineDidLeaveChannelWithResult:(NERtcError)result;@end
- (void)onNERtcEngineDidLeaveChannelWithResult:(NERtcError)result{ // 进行业务数据清理}
销毁音视频实例
释放当前的 NERtcEngine 实例,建议在 App 确定不再需要使用 NERtcEngine 实例时,通过该接口释放 NERtcEngine 实例的对象资源。
@interface NERtcEngine : NSObject <INERtcEngineEx>/** 释放当前的 NERtcEngine 实例 建议在 App 确定不再需要使用 NERtcEngine 实例时,通过该接口释放 NERtcEngine 实例的对象资源; 1. 该接口的工作方式为同步调用方式,必须在子线程中才能调用,否则会调用失败;如: dispatch_async(dispatch_get_global_queue(DISPATCH_QUEUE_PRIORITY_DEFAULT, 0), ^{ [NERtcEngine destroyEngine]; }); 2. 该接口不得在 SDK 的回调中调用,在接口返回前也不允许调用 SDK 的其他任何接口;3. 接口调用返回之后,如果需要再次使用 SDK,可以重新调用 sharedEngine 来获取一个新的 NERtcEngine 实例。 */+ (int)destroyEngine;@end
- (void)dealloc { [NERtcEngine destroyEngine]; //销毁实例}
为了便于大家学习理解,我们将上文内容作为开源项目发布在了 Github 上,各位有兴趣可以前往查看示例项目。
了解更多关于网易云信:https://netease.im/