智能家居多屏互动场景白皮书.pdf

2020-12-30 保密信息 ,未经授权禁止扩散 第 1 页 , 共 17 页 软件绿色联盟 智能家居多屏互动场景白皮书 编制单位 :软件绿色联盟泛终端智能家居工作组 2020-12-30 公示 2021-1-13 发布 2020-12-30 保密信息 ,未经授权禁止扩散 第 2 页 , 共 17 页 目 录 前 言 . 3 1 智能家居行业背景概况 . 3 1.1 概念与现状 . 3 1.2 发展与前景 . 4 1.2.1 需求升级 . 4 1.2.2 操控升级 . 5 2 智能家居里的常见多屏互动场景 . 6 2.1 多屏互动的三个层级 . 6 第一层：内容同屏 . 6 第二层：跨屏遥控 . 8 第三层：多屏互动 . 10 3 当前难点：产品孤岛仍存在 . 13 4 解决思路：抓住四大机会点 . 13 4.1 机会点一：硬件发展带来更多可能性 . 13 4.1.1 迎头赶上的 “大屏电视 ” . 13 4.1.2 潜力无限的 “智能音箱 ” . 14 4.1.3 从 “智能手机 ”到 “IoT 全场景 ” . 15 4.2 机会点二： 乘着政策的东风 . 15 4.3 机会点三： 5G 时代为物联网提供实现沃土 . 16 4.4 机会点 四：协同合作的开放时代 . 16 5 结语 . 16 2020-12-30 保密信息 ,未经授权禁止扩散 第 3 页 , 共 17 页 前 言 本标准由软件绿色联盟技术与标准工作组提出并归档 本标准 归档 单位：软件绿色联盟 本标准主要起草单位 ： 中国 信息通信研究院 泰尔终端实验室、深圳市奇 虎智能科技有限公司、中国移动 智慧家庭运营中心 、中国电信股份有限公司、 青岛 国创智能家电研究院 有限公司 、 松下电器（中国）有限公司 、 四川长虹电 器股份有限公司 、 深圳 TCL智能家庭科技有限公司 、 深圳市酷开网络科技有限公 司 、 深圳市海雀科技有限公司 、 成都极米科技股份有限公司 、美的集团股份有 限公司 、华为 技术 有限公司 1 智能家居 行业 背景 概况 1.1 概念 与 现状 智能家居是互联网物联化（ IoT）的体现，它以住宅为平台，将智能家居网 关作为家居控制核心，通过网络化综合智能控制和管理，将家居生活设备集 成，构建高效的住宅设施与家庭日程事物管理系统。 目前借助飞速发展的网络和信息技术，人们可以足不出户纵览全球。为了 适应信息化的需求，智能家居场景为现阶段规模最大、落地最快的消费物联网 场景，集中了 CIoT市场的大多数玩家。根据 IDC的预测 ,到 2023年将增长到 14.6 亿台，复合年增长率为 14.9%。 其中大屏及视频娱乐、智能音箱和家庭安防是主 要的细分领域 。 家电类产品在智能家居当中占 比最高，智能空调、智能冰箱和 智能洗衣机三者市场占比合计超过 70%。 2020年国内智能家电的 Wi-Fi模组出货 量将达到 1亿 2000万片。 以智能空调为例，目前智能空调销售的占比已经达到 35%，传统空调为 65%，设备激活率平均可以达到 26%，但活跃度仅为 5%，空调智能化的使用留存 率仅 13%。 2020-12-30 保密信息 ,未经授权禁止扩散 第 4 页 , 共 17 页 语音助手的搭载逐渐向中小功率家电产品倾斜， 3匹智能空调的语音助手 搭载比例最高，达到 38.4；在 2匹智能空调上的语音助手搭载比例增长最快。 1.2 发展与前景 1.2.1 需求升级 家庭 里 智能设备 品类更多，联动场景需求更多，组合形式更复杂，如何在 不同的家庭里面，低成本的实现不同的组合，是对智能家居产品未来的高要 求。目前用户最多的产品分别是智能家电、智能音箱、智能锁、智能摄像头、 智能照明和电动窗帘，用户对安全性与系统性需求增长明显。 仍有部分产品停留在的智能家居 1.0 时代 ：通过各种感知技术，接收探测 信号并予以判断后，给出指令让家庭中各种与信息相关的通信设备、家用电 器，家庭安防、照明等装置做出相应的 动作 ，以便更加有效的服务用户且减少 用户劳务量。 目前更多解决方案面向的是智能家居 2.0 时代 ：综合利用计算机、网络通 讯、家电控制等技术，将家庭智能控制、信息交流及消费服务等家居生活有效 地结合起来，保持这些家庭设施与住宅环境的和谐与协调，并创造出高效、舒 适、安全、便携的个性化家居生活。 2020-12-30 保密信息 ,未经授权禁止扩散 第 5 页 , 共 17 页 未来我们希望的是可以进入智能家居 3.0 时代 ：可以感知用户在家中做的 任何事情，随时能够通过智能化的功能，给予用户生活上的支持，同时针对用 户的及时性需求，提供智能化的服务。 未来智能家居场景，一定会围绕人的需 求进行场景阐述与布局，例如安全场景、舒适场景、娱乐场景、便捷场景、健 康场景等，将原有冷冰冰的区域智能场景，提升为有 温度的生活智能场景。 1.2.2 操控 升级 目前智能手机是普及率最高的智能终端， APP控制是所有功能与场景的标配 控制功能，用户更加追求自然的沉侵式自然人机交互体验，目前声控、再到无 感将会是主流方向。 随着 5G+AIoT新时代的演进，触发交互形态更迭新演变，海量新终端以单品 +系统形式融入家庭与社区，实现真正的“内容 +硬件 +服务”特色产品形态，更 加无感的体验将引爆痛点，无感混合式交互方式将会流行。混合无感模式下， 2020-12-30 保密信息 ,未经授权禁止扩散 第 6 页 , 共 17 页 智能家居会“看不见、摸不着”打理用户的生活。 2 智能家居里的 常见 多屏互动 场景 2.1 多屏互动的三个层级 基于前面谈过的前瞻性智能生活 3.0时代 ， 我们看到个性化 服务是其重要 组 成部分，任何离开服务的智慧生活都是伪命题。 如何让多设备、多屏幕之间实 现智慧化互动，是一个绕不过去的坎 。接下来 结合不同的 体验 层级与实践场景 案例，我们可以更精准触摸 到智能家居 里多屏 互联互助 的想象 边界 。 第一层：内容同屏 将手机、平板等智能终端的内容在大屏上播放，或者在手机和平板上观看 大屏上的内容，不论是小屏转大屏，还是大屏转小屏，如果只是在内容层的同 步，使用范围其实很有限。 老人健康检测 一个看似平常的晚上，老人在卧室休息， 子女 在客厅看电视。突然手机和 大屏上突然出现了警告信息，是老人戴的智能手表检测到了她的心率出现了异 常波动，我们赶紧将老人送到了医院。在平时，手表、手机、大屏的结合，不 仅可以当关键时候的健康报警器，哪怕不在一个房间也能及时了解各种异常情 2020-12-30 保密信息 ,未经授权禁止扩散 第 7 页 , 共 17 页 况，此外导出手表中的健康数据 /报告，还能在手机或投屏到电视上进行查看和 研究。 影音 娱乐 协同 经过了一周辛苦的工作，周末时 我们想在电影娱乐中放松一下，或是玩一场 酣畅淋漓的手机游戏。此时，我们可以将手机中的影视资源一键投屏到家中的大 屏上进行观看，手机放一边。利用电视的大屏幕特性和出色的音响效果，弥补手 机的尺寸扩音的硬件短板。或是打开一款热门游戏，投屏到电视上，手机化身手 柄。高帧率、低时延，更多游戏画面细节，更沉浸的游戏体验。 实现过程： 1) 手机作为资源方 ，大屏作为显示端。将手机和电视置于同一 Wi-Fi网络 之下。 2) 流媒体通讯与传输协议，保证在网络动荡的环境下，依然有 25%的抗丢 包率。 3) 为保证低时延、稳定性、高画质兼具等要求，集成了无线投屏能力的大 屏电视建议达到以下标准。 检查项 规格要求 建议配置 最小配置 资源 SOC 单核不低于 2500 DMIPS， 整个 CPU 不低于 7K DMIPS 2020-12-30 保密信息 ,未经授权禁止扩散 第 8 页 , 共 17 页 检查项 规格要求 建议配置 最小配置 整个 CPU 不低于 10000 DMIPS ROM 5MB 可用 5MB 可用 RAM 可用内存 250MB 可用 150MB 可用 屏幕分辨率规格 1080P 及以上 1080P 及以上 解码 视频解码器 H265/H264 硬解码 H264 硬解码 视频解码能力 支持 1080P/60fps/20Mbps 以上解码能力 支持 1080P/30fps/10Mbps 以上解码能力 视频解码器 -单帧解 码耗时 不高于 10ms 不高于 50ms 网络 以太网口 1000M 及以上 100M 及以上 Wi-Fi 支持 802.11ac 及以上 支持 802.11n 及以上 Wi-Fi 吞吐量 屏蔽室场景吞吐 量 100Mbps 屏蔽室场景吞吐量 40Mbps Wi-Fi P2P 模式 支持 可选 蓝牙 BLE5.0 以上 可选 操作系统 Android 版本 Android 8.0 及以上 Android 6.0 及以上 Framework 接口规 范 符合 CTS 标准 符合 CTS 标准 第二层：跨屏遥控 使用 手机或 pad 完成家中其他 设备 （屏幕）的各种操作 。 比第一层单纯的 内容同步，更进一步地提升多设备间的互联体验。 智能安保中的多屏互动 2020-12-30 保密信息 ,未经授权禁止扩散 第 9 页 , 共 17 页 智能安防不仅是单品购买与全宅智能的标配场景，也是空间智能化阵营的 必争之地。 某 家庭购买安装了一套智能猫眼，并在手机上安装了控制 app。一 天， 主人在客厅坐在沙发上看电视，面前茶几上有一个智能音箱。这时电子猫 眼检测到有人按门铃，电视自动显示门口摄像头画面（画中画卡片，有开门和 关闭的按钮），并自动调低原节目音量， 此时 面前的智能音箱语音提示可与来 客通话或语音控制开门 ， 用手中的手机控制电子猫眼，进行主人画面的显示或 选择开门。 实现过程： 1) 电子猫眼检测到有人按门铃后，启动摄像头和麦克风，并按原逻辑发现 主人手机接入家庭 Wi-Fi，因此发送消息给 主人手机。 2) 手机 APP响应通知消息自动启动，通过 Wi-Fi局域网获取音视频流。 3) 手机检查到用户当前最佳显示设备为电视，最佳音频交互设备是智能音 箱。 4) 手机通过 Wi-Fi直连到电视，将视频流和控制界面投屏到电视，并自适 应电视屏幕，同时具备遥控器交互能力。 5) 手机通过蓝牙与智能音箱连接，并将手机界面控制元素转换成 VUI与用 户交互，当用户选择语音通话后，建立与智能音箱的语音通话通道。 贴心的看护场景 2020-12-30 保密信息 ,未经授权禁止扩散 第 10 页 , 共 17 页 孩子 单独在家时，智能摄像头启动，智能猫眼感应与监测开启，实时传送 到父母手机 ，手机上将控制摄像头转向和开关。还可以与电视屏幕连接，如果 小孩看电视时间过长，手机可选择关闭电视。 儿童可视玩具 /儿童智能手表 /智 能摄像头，可与电视屏幕互联，小朋友 可以在大屏上与外出的父母远程视频通 话。 实现过程： 1) 智能摄像头拥有自定义告警区域功能， 有人闯入划定的区域时，及时推 送告警消息至手机端 。 2) 在智能大屏中安装了畅连视频通话 App，通过 App可以直接向其他具备畅 连通话能力的手机或其他设备发起视频通话 3) 手机通过 Wi-Fi和家庭远程监控子系统可以实现通过对家庭的远程监 控，实时监控家中的情况。 第三层：多屏互动 多屏互动的意义不在于同屏，也不在于操控，而在于数据内容层面。现在 不论线上还是线下，手机是每个人的信息节点，通过点击、摇动、手势、划 屏、拍照、语音、 GPS等交互方式，用手机这个载体去激活其他媒介，在数据内 容层面实现多屏内容互动。 人工智能加持的在线 教育 2020-12-30 保密信息 ,未经授权禁止扩散 第 11 页 , 共 17 页 2020 年 的特殊环境成为了远程在线教育的催化剂，通过互联网、智能设备 和数字化课程提供教育服务，能否保障在线服务持续稳定运行，能否实现不卡 顿、低延迟、不掉线、无宕机。同时，更需要在多个终端设备上的无缝替换， 当我们在书房中使用 PC 上网课时 ， 需要移动到客厅去 ，那么课程可以跟着我们 走，在客厅电视上依然可以继续学习。在课堂互动时，大屏显示课程内容，手 机或平板可以书写、输入需要学生反馈的内容，完成实时交互。课后，网课应 用可以根据孩子的学习能力、学习习惯、学习盲点等，定制 专门的方案，实现 自适应学习。另外，父母还可以在办公室里，通过移动设备 就可以看到家里孩 子的学习情况。 实现过程： 1) 通过无线音视频传输接收功能，将小屏的内容投放到大屏上继续观看。 2) 借助场景化数据，辅助 AI技术，人工智能在教研方面，能够对考试规律 做深度分析，根据学员的答题预判该学员的考试结果； 基于数以百万 千万计的过往学生的学习大数据，通过 AI技术为学生们提供专属的学 习方案。 3) 手机 与 大屏的协同模式实现反向控制 ， 异源投屏技术使 手机屏幕作为子 2020-12-30 保密信息 ,未经授权禁止扩散 第 12 页 , 共 17 页 窗口显示，手机上可以实现滑动、批注等，并且可以拖拽文件到大屏 上。 4) 手机通过 Wi-Fi和家庭远程监控子系统可以实现通过对家庭的远程监 控，实时监控家中的情况。 运动过程 的人性化控制 当我们在跑步机或是动感单车上大汗淋漓的时候，有时想看下运动的结 果， 手表 可以将健身的数据、课程投屏到电视 上，方便我们随时调整自己的运 动计划。除了简单的内容同步之外，我们还可以在智能手表、手机上选择音频 输出的设备，例如：大屏电视。并通过手表跨屏控制大屏的音乐播放情况。 实现过程： 1) 健身与音乐的场景，是指在大屏上后台运行音乐播放，界面展示健身 课程。 2) 音乐播放的 FA在手表上面运行，动感单车的 AA在大屏上面运行与健身 课程进行协同。 3) 一 键完成设备组网连接。 2020-12-30 保密信息 ,未经授权禁止扩散 第 13 页 , 共 17 页 3 当前难点 ： 产品孤岛 仍存在 伴随着上面提到的几个场景，我们可以看到需要完成其中任何一个都需要 好几种智能设备的共同支持。可 随 着家里的智能产品越来越多，虽然解决了过 去的痛点，但也产生新的问题 。 最近几年，我们陆续为家里添置一些智能产品，如 A品牌的音箱、 B品牌的 空调、 C品牌的烤箱、 D品牌电视、 E品牌的冰箱尽管 它们 都是智能硬件，几 乎每个品牌都要在手机上下载一个单独的 APP，使用时需要操控多个 APP。手机 上的 APP太多了 严重影响了用户体验，如果这些产品能互联互通，用一个平台就 可操作 那该多好 。 我们希望构建一个更简单易操作，最大减少用户劳务量的智 能设备环绕使用方式。 4 解决思路：抓住四大机会点 4.1 机会点一 ： 硬件 发展带来更多可能性 4.1.1 迎头赶上的 “ 大屏电视 ” 在近百年的发展历程中，无可否认电视机一直在进化。比如从八十年代的 黑白电视到九十年代的彩色电视，以及后来我们看到的 4K、 8K电视。但实际上 这些改变都没有 突破电视这个概念的框架限制， 皮囊改变不了它依旧只能靠提 供影视内容才能存活的本质。 基于安卓智能系统的产品 越来越多，从智能手机到平板电脑再到智能电 视。对于不少涉及三条产品 线领域的企业来说，如何将三个大小不同的屏幕合 三为一既是产品研发的亮点也是吸引和打动消费者的卖点。 在市场调查机构 TECHnalysis Research对中国、美国、英国、德国以及巴 西五国超过 3000名的受访者进行了关于电视使用行为习惯的调查。结果显示， 在看电视的同时使用智能手机、平板电脑、笔记本等设备的人数比率高达 75%至 80%。既然在看电视时，如何更好的将手机活动结合起来 实现多屏互动， 是一个 亟需探讨的课题 。在国内也 有多屏互动的实践，比如许多综艺节目的摇一摇抢 2020-12-30 保密信息 ,未经授权禁止扩散 第 14 页 , 共 17 页 礼品活动，还有微信中识别节目的 功能等。但是，这些还远远不够，互联网电 视和 多屏互动的市场前景 都 相当可观。 上面说到的应用场景 未来将激活海量 5G+AI应用，视觉大屏的普及，将引爆高品质、高集成、多声道音频市场。 4.1.2 潜力无限 的 “ 智能音箱 ” 随着人工智能在家居方面的硬件落地被一一实现，智能音箱成为继智能手 机之后最为畅销的智能硬件之一，在智能家居市场占有重要地位。智能音箱被 赋予智能家居的控制权，利用 AI语音技术实现对其他智能硬件统一操控，以及 拥有丰富的互动性和内容生态，使智能音箱的市场价值凸显。 IDC中国发布 IDC中国智能家居设备市场季度跟踪报告显示，截止 2019 年底，中国智能音箱市场的总销售量达到 4589万台，同比增长了 109.7%。并 且，人工智能和 5G技术的带领，会加快智能音箱的普及速度， 2020年的智能音 箱有望突破 1800亿元。 智能音箱作为智能家居中枢产品，能够连接智能家居场 景，为传统家居设备实现智能化升级，在智能家居平台生态的支撑下，搭载 AI 语音技术的智能音箱使人们对便捷家居生活的向往得以实现。 市面 上常见的智能音箱 A， 看上去是可以控制室内其他设备，像空调、电视 机插座、灯具等，但还停在 控制单个设备基础上。 例如它可以实现 ：打开空调、打开电视、空调温度调成 25 度 但却不能这样实现 ： 我想看电影 （需要同时控制投影仪、机顶盒、音箱等） 语音控制只是智能的一部分 ， 或者说是一个入口 ，真正的智能家居体验是 智能联动。 脱离了场景的支持 ， 控制设备 A看上去就仅仅像一个遥控器，执行不 了更复杂的算法结果，哪怕它接入合作的产品再多，也只是有量无质。 此时 ， 设备 B出现了，设备 B完美配合使用场景，深度控制其他产品，还有 各种传感器数据查询，但问题是支撑的更多是自家各系列设备，大部分活动都 紧缩在单一品牌生态链内，虽说也可以构建出较为完整的智能家居生态，却难 以实现真正的万物互联。这就是有质无量。 但 这两种都不是真正的 IoT，音箱形式的控制方式尚无法与手机控制相 比 拟，也并未与周边设备实现更深层的数据互通 ，我们需要在音箱基础上，结合 多屏，塑造出一种声控、触控、视觉选择多合一的控制方式 。 2020-12-30 保密信息 ,未经授权禁止扩散 第 15 页 , 共 17 页 4.1.3 从 “ 智能 手机 ” 到 “ IoT 全场景 ” 除了上述的语音操控或是面部识别等指挥家中设备屏幕的方式外，智能 手 机 仍是未来智慧生活最主要的入口。通过将手机、平板、电视、音箱、汽车等 连接起来， 同时华为 提供自适应的 UX 框架，让开发者一次开发、多端部署， 不管是在手机上、 Pad 上、车机上、更大的屏上，我们自动适应，大小屏的自 适应，横屏竖屏的自适应，方便开发者部署与开发。 而其中的分布式技术 ，是 HarmonyOS 系统的核心底座。其中，一是分布式的软总线 ，二是分布式的文件 系统和分布式的数据库，三是分布式的解决方案。此基础上， 以手机为核心， 物与物更简单地联系在 一起，构建物联网全场景生态。 4.2 机会点二 ： 乘着 政策的东风 智能家居行业涉及多个政府部门，如住建部、工业信息化部，同一个部委 下还设有分管通信和电子产品的部门 中国政府工作报告提出中国制造 2025强国战略，坚持创新驱动、智 能转型、强化基础、绿色发展，促进工业化和信息化深度融合，开发利用网络 化、数字化、智能化等技术。 国家发布了新一代人工智能发展规划，新一代人工智能发展分三步 走的战略目标，到 2030年使中国人工智能理论、技术与应用总体达到世界领先 水平，成为世界主要人工智能创新中心。智能居家标准工作应该引导智能家居 的自动控制，并相继给出一些指引性文件，比如人工智能技术智能家居行业 应用指南等。 网络安全法、密码法、网络安全等级保护 2.0等，从企业到运营负责人， 从传统网络安全延伸到物联网安全，正是国家在积极带动物联网技术全方位提 升安全能力决心的最好诠释。 中央会议多次提到加快新型基础设施建设，以 5G、工业互联网 、大数据 中心、人工智能为代表的新基建被寄望成为我国稳投资、调结构、扩内需的关 键新引擎。 以上这些条例 都对智能家居的发展做出过重要指示，这些都是利好的方 2020-12-30 保密信息 ,未经授权禁止扩散 第 16 页 , 共 17 页 向。 家庭智能化势必在未来将会在政策层面进行逐步进行完善，在此之前，我 们仍然需要有足够信心与决心，在越来越受重视的智能设备行业里 ，借助 5G的 通信技术 的蓬勃 ， 变被动为主动， 扭转 行业中的乱象 ，实现全场景设备互联互 通的 智能生活体验 。 4.3 机会点三 ： 5G 时代 为物联网提供实现沃土 得益于 5G网络“大带宽、低时延、海量连接”的技术突破，物联网在应用 上逐步落地，智能硬件实现高速增长。消费物联网逐渐走进人们的生活，覆盖 了智能家居、运动健康、家庭安防等诸多应用场景。 步入 5G+AIoT时代后，无 论从底层协议、云端互联还是 AI互通出发，将彻底击溃智能家居无法全面互联 互通的孤岛效应。 4.4 机会点四 ： 协同合作 的开放 时代 智能家居江湖会诞生平台性企业有两大原因，一是没有一家企业可以提供 智能家居全系产品，二是没有统一的互联互通标准协议。平台生态建设的目 的，是将云、 AI、大数据等技术能力下沉，通过顶层设计思路，赋能 生态硬 件，赋能智能家居产品，提升用户的体验感，解决各智能终端之间，跨品牌、 跨品类互联互通、云端一体化、 AI交互赋能的问题。 目前，平台生态格局形成了局部的互联互通生态，降低了生态产品的沟通 成本，大幅提升了产业链之间的协同创新。对接到各大平台的设备方，获取的 资源优势显而易见，包括认证赋能、制造赋能、生态赋能、销售赋能、品牌赋 能、技术赋能、测试赋能、设计赋能、渠道赋能等。 （图表化） 平台参与方也 被演化成线上或者线下的渠道聚集地，能够赋予 厂家更多的带货能力。 5 结语 5G+AIoT阶段，智能家居行 业环境更加开放，越来越多的智能家居企业将自 身的云服务数据、各种接口等开放给生态合作伙伴。但每个互联的小生态都有 2020-12-30 保密信息 ,未经授权禁止扩散 第 17 页 , 共 17 页 着独特的壁垒，生态之间也有着一定的隔阂。未来终局，多生态 平台协同创新 力度加强，海量的智能产品基因以及连接需求，推动着各产品 、多品牌之间的 互联互通 ， 激发全行业产业链发展活力， 塑造 更美好的 家庭场景智慧化 生活 。