实时音视频与智能家居的完美融合，开启“真互动”时代！

智东西

作者 | 程茜

编辑 | 漠影

我们的生活、工作正在被越来越多的设备连接起来，从家庭中大大小小的智能家居设备，到每天佩戴的智能手表，以及出行工具汽车的智能化、网联化。与此同时，这些设备也正在通过音频或视频的实时互动方式，最终使得人、设备和家庭、工作场景无缝连接起来。

就在上周末，声势浩大的中国家电及消费电子博览会（AWE）落下帷幕，可以看出，这场家电盛宴中，越来越多的智能家居设备在互动中都需要音视频技术的支持，并让用户拥有酷炫、沉浸式的互动体验。

多了一块屏幕的冰箱、有语音交互能力的电视……都预示着拥有“眼睛”和“耳朵”已经成为智能家居设备的硬指标。

作为全球实时互动API平台开创者和引领者的声网，同样看到了这一趋势。在AWE同期的GTIC 2023全球AIoT智能家居峰会上，声网IoT负责人侯云忆以《声网实时互动：开启智能家居「真互动」时代》为主题进行了演讲。

声网IoT负责人侯云忆

那么，智能家居的“真互动”时代到底是什么？在这一背景下，声网在其中扮演了什么样的角色？实时互动技术又将为智能家居行业带来哪些新的变量？我们试图从声网的布局中找到这些问题的答案。

一、以人为中心，跨越距离、空间和设备限制

智能家居设备的边界正在以人为中心不断向外延伸，而交互属性更强、用户感知度更高的实时互动技术正在这之中迸发出旺盛的生命力。

侯云忆说，几乎每个家庭里都会有三到五个音视频设备，而这些设备正在从家庭这个物理空间内向外拓展，根据用户需求连接到更多的应用和终端上。而这些硬件设备也正在被实时互动赋予新的形态、角色和定位。

作为用户智慧家庭的入口，拥有视频画面的智能门锁已经成为这一行业的标配。这都得益于视频画面带给智能门锁的新变量，不同的设备通过同一屏幕画面进行了连接，并且智能门锁的角色定位已经从简单的监控、门铃功能，围绕着用户的需求不断渗透至人们生活的方方面面，如今，这一设备已经与用户的智能手机、家中的智慧屏、智能汽车的终端设备实现了跨场景、跨设备的互联互通。

华为智能门锁Pro可以与智能手机、智慧屏相连接（图源：华为官网）

此外，人们对智能家居设备远程互动和情感连接的需求正在日益增长。以智能摄像头为例，除监控这一基本功能外，搭载音视频技术的智能摄像头可以化身人们联系远程朋友、亲属的工具，其作用已经从简单的监控安全升级至情感连接和提供陪伴服务。

亚马逊此前发布的家庭助理机器人Astro，更是通过音视频为原先冷冰冰的机器人赋予了“机器人家庭管家”的角色。

亚马逊家庭助理机器人Astro支持远程视频通话（图源：亚马逊）

事实上，实时互动带来的新变量不止于此，一些屏幕出现在了很多意想不到的场景中。侯云忆称，在智能教育赛道上，各类搭载屏幕的台灯、桌子等新设备层出不穷，这些与学生学习息息相关的硬件设备，通过音视频增加了一键连线家长、老师，辅助教学等增值服务，使其在教育场景下成为能输出高质量内容且有高粘性需求的品类。

可以看出，实时互动技术正在以人为中心，从用户的不同需求、不同场景出发，拓展硬件设备的形态的同时赋予其连接用户家庭情感的纽带。

综上，这些硬件设备角色的延伸，也预示着两大趋势。侯云忆认为，首先，智能硬件设备正在从单品智能向场景智能以及以人为本的终端互联迈进，其次，能多人多端实时交互的屏幕，正在使得这些设备从工具化身为人与人之间情感连接的角色。

智能硬件角色转变的背后，是实时音视频技术的发展。侯云忆认为，早期的智能设备通过P2P技术只能达到即时预览、能看能听，而目前这些智能设备之所以能化身以人为中心的情感连接和陪伴，是因为进入了“真互动”时代，声网为这个行业定义的“真互动”就是全球端到端400ms级别以下的超低延迟，可以在全球任意终端、任意形式、任意规模实现随时随地互动无界的交互。

可见，以人为核心的“真互动”时代正在向智能家居渗透，并逐渐成为标配。

基于这样的思考，声网的IoT解决方案已经布局了面向智能穿戴、家居和出行领域等共40+的品类设备。基于这些场景和设备，声网提供了包括实时音视频、媒体加速和可靠信令等PaaS服务，帮助这些设备提供远程实时监控、视频通话和远程应急协作等服务和功能。

二、首创全球软件定义实时网，刷新互动体验天花板

可以看出，实时互动技术广泛应用于智能家居设备已经成为必然趋势，这也在硬件设备厂商之间达成了共识。但其对于硬件设备厂商而言并不是一件容易的事，它们不仅要从头开始研发，还需要考虑开发难度、部署难度、运维难度以及这背后的成本。

“我们希望设备厂商在硬件不增加成本的情况下，通过声网的IoT解决方案，在网络、音频和视频几个方面，能够突破网络限制、平台限制和设备限制做到互联互通，让本身的低端设备也可以做到高端体验，使用户能获取高质量互动体验。”侯云忆透露。

作为在实时互动领域的专业玩家，声网深耕在实时音视频领域数年，并一直围绕物联网设备和场景去不断优化实时互动用户体验。依托于声网自研的全球软件定义实时网—SD-RTN，可以让硬件设备突破网络限制，即使在弱网的情况下，也能保障80%丢包下音视频通话流畅。

在面向场景的深度适配上，声网的智能人居解决方案适配了安卓、鸿蒙、LiteOS、小米VelaOS等主流操作系统，以及为硬件厂商提供了软硬一体以及官方适配的SDK，如有乐鑫科技、BEKEN等能满足低功耗音视频设备场景的品牌，也有英伟达等面向高性能计算的解决方案组合。

此外，智能家居设备的碎片化特征，导致设备形态、种类丰富多样，想要提升用户的使用体验，声网解决方案需要考虑到更多智能硬件设备的需求。侯云忆称，声网目前是整个行业里RTC厂商当中覆盖平台以及能够做到互联互通终端最全、最多的厂商，其解决方案能覆盖手机、音箱、小程序、智慧屏等多个终端。

值得一提的是，声网的解决方案同时支持对接第三方生态，能够实现主流Amazon Alexa和Google Assistant在海外的协议互通。

“过去硬件本身的性能可能决定了用户体验的上限，我们希望帮助伙伴，在不增加硬件和不增加云端算力的情况下，能够突破硬件使用的上限。”侯云忆介绍，以视频门铃或者门锁的场景为例，当硬件资源不足或者带宽不够、网络差的情况下，画面的画质会变差，但通过客户端的视频增强方式，基于深度学习的自研超分算法，可以支持1.5倍、2倍、3倍的移动端实时超分，帮助硬件从360P增加到720P，提升画质清晰度。

不仅如此，声网的多项音视频黑科技不断刷新用户互动体验天花板，有专为实时互动打造的自研高清语音引擎， 视频增强策略、实时美声算法、AI降噪和回声消除能力等技术，让用户拥有更高保真、更趣味、更高清画质的音视频体验。

在实时互动这条路上，声网不断深耕打磨自己的技术，进一步让音视频技术赋能于硬件设备上。其和智能家居硬件厂商的角色也正印证了这句俗语：让专业的人做专业的事。

三、实时互动生态能力凸显，不断突破硬件能力边界

当一个趋势成为行业共识的时候，参与者的相互碰撞必然会产生新的火花。

声网去年推出灵隼物联网云平台至今已近一年时间，在这个过程中，实时互动与智能家居设备碰撞出的火花也越来越多。

智能家居产业上游，更多的芯片厂商正在将实时互动作为产品规划标配。侯云忆认为，这也体现了上游厂商对音视频的重视程度在不断提高。

此前，芯片和模组原厂很少关注其产品会较多出现在哪些细分场景或哪些硬件设备中，但随着实时互动技术的成熟，智能家居在其中的参与度越来越高。与此同时，声网作为软件提供商与上游玩家进行软硬件结合的过程中，也开始探索新的使用场景。

一定程度上，这一产业模式也会推动应用端设备的创新与迭代，智能家居玩家会去竞争实时互动领域的差异化能力，例如一些互动性更强的宠物机器人、割草机器人等。当这一技术成为基准后，其在智能家居设备上体现出的能力也更具多样性。侯云忆补充说，虽然很多品类的布局在他们预期之内，但开发者拓展过程中给了他们很多惊喜。

在这个过程中，声网的灵隼物联网云平台更像撬动实时互动在智能家居领域应用的关键枢纽，真正让这一技术在上中下游之间“开始游动”，使得整个产业链开始关注这件事。

而置身其中的参与者声网的感受也更为深刻。2020年，声网和小天才合作落地了全球首个RTOS儿童电话手表，成为业内独家实现RTOS平台量产实时互动全功能服务的企业。侯云忆透露，声网解决方案为儿童手表提供了音视频通话能力，扩展了它的场景，也就是“用软件去提高儿童手表这类低功耗设备的能力上限” 。

这些经验的积累，也成为声网不断探索新场景，并转化为自己在智能家居领域积累的技术优势。

目前，声网已经和国内智能摄像头、智能门铃、智能门锁等行业的头部玩家达成合作，在软件的加持下，让实时互动技术的优势更广泛的体现在智能家居设备中。

面向未来，生成式AI技术强大的内容生成、理解、推理能力也带给了人机交互更大的想象空间，与此同时，大模型加持下的设备能更懂人、更理解人，那么人对基于此的智能家居设备黏性也一定会被提高。侯云忆认为，前沿技术的加持下未来可穿戴设备、家庭机器人等设备的需求将会爆发，这一趋势对于这其中实时互动能力的建设等都会有巨大的推动作用。

结语：实时互动正在与智能家居擦出火花

各类前沿技术的出现与快速发展正在赋予智能家居新的想象空间，同时，实时互动技术的出现为智能家居玩家带来更多拥有差异化竞争优势的可能性。不过，这离不开以声网为代表的专业玩家的技术支撑。

当下，我们已经看到实时互动在智能家居设备之中的必要性，被赋予“眼睛”和“耳朵”的硬件设备正频繁出现在我们的生活中，硬件设备承载的信息密度正在不断提升，并且视频、音频、图片等多模态信息的大量输入输出。

正如侯云忆所说，声网的愿景是希望实时互动可以像水和空气一样无处不在。实时互动技术未来可能让智能家居设备的形态、用户体验等方面都产生质的飞跃。