891
6月30日，由智东西和智东西公开课主办的GTIC 2022全球AIoT智能家居峰会（以下简称AIoT智能家居峰会），在线上成功举办，在全网16个渠道同步直播，线上观看人数达到了90多万人，众多嘉宾的议题都引起了大家热烈讨论。
8位行业重磅大咖就AIoT智能家居的技术突破、创新应用和行业展望展开了精彩的深度探讨，直击行业痛点。
▲小度科技IoT生态业务部总经理沈健
作为小度科技IoT生态业务部总经理，沈健带来了题为《小度全屋智能：交互的变革与场景的进化》的演讲。
小度全屋智能是百度AI技术与IoT智能家居技术结合的产物，以环绕智能为核心能力的小度助手7.0，将多模态的感知理解相融合，让人与机器的交互和理解变得更加简单，这也正是小度全屋智能的核心能力。
附小度科技IoT生态业务部总经理沈健演讲实录
沈健：非常感谢组委会的邀请，借此机会我今天简单介绍一下小度在全屋智能的交互和场景方面的一些工作。
在整体讲解之前，我想和大家聊一个常见的单词AI，我们平常所说的是人工智能，而这里我想说的AI是Ambient Intelligence，也就是环绕智能。
我们对环绕智能的定义是这样的，将数字世界的内容和服务通过设备“编织”入物理世界，在物理世界中，智能环绕着你，持续适应、理解你所处的场景和你的偏好，在你需要时响应你，不需要时隐入环境。
环绕智能也是目前小度一个较大的中台算法团队在做的工作。在这个过程中，我们也会用到很多人工智能技术，这也符合百度的理念，通过技术来将复杂的世界变得更加简单。
我们认为，环绕智能主要有两方面能力，第一个是感知世界的能力，第二个是感知之后，能对感知到的内容进行理解的能力。
目前，在小度整个系统里，我们有三种类型的感知和理解能力，分别是语音、视觉和多重感知，接下来我会针对这三种类型的感知和理解能力进行分别介绍。
第一个是语音感知和理解，因为小度设备最初是以语音交互为主要的交互方式，因此我们认为用户对语音感知和理解已经比较熟悉了。经过几年的发展，目前小度提供的听清、听懂、满足理解能力已经是业界最好的。小度设备每天有将近几千万的用户，通过小度设备进行各种交互，有事问小度也已经成为很多用户的日常习惯，这一部分的技术我就不深入介绍了。
第二个是视觉感知和理解，一开始小度的智能型设备中，我们是以语音交互感知理解能力为主，还增加了一些视觉感知能力，例如对于儿童的屏幕保护、距离保护，AI摄像头捕捉用户的动作，然后判断用户是否距离屏幕过近。此外，我们还有通过手势控制音视频播放、远程唤醒等功能。
事实上，视觉感知和理解已经成为社会上最主要的感知和理解能力。去年，我们推出了一款新的产品小度添添智能健身镜，AI摄像头捕捉用户肢体动作，并对其进行判断，就可以对用户动作进行打分。
这个技术的实现方式是，通过AI摄像头把用户的视觉图像以每秒30帧进行捕获，上传到AI芯片中，然后通过平滑、补帧等预处理，并结合用户当前意图下所做的动作来进行判断，还会结合一些动态模型，比如当你跟着镜子中的教练进行运动时，我们会有包括计数模型、计时模型、匹配模型、动作纠正模型等，这些模型结合用户当前的动作，进行理解、匹配和动作纠正，最终给用户的动作生成结果，这个结果包括给一个动作打了多少分以及动作是不是能做的更加准确等。
这个过程中，很多用户会十分关注数据隐私，我们承诺所有关于视觉的原始图像都是在本地进行处理的，不会上传到云端。
第三个多重感知和理解，就是利用各种类型的传感器设备，对整个物理实际空间各种变化进行感知。
小度的整个系统有一套开放的IoT生态，各种类型的传感设备都可以通过这套IoT开放平台接入到小度设备中。接入后，小度的整个系统都可以获取到这些信息，同时，这个过程也能帮助小度将整个感知能力进行延伸。
视频中简单介绍了一下这些感知和理解能力，在小度系统中是如何带给用户感知效果的，这些功能其实很多人用过，但可能大家都不太清楚它的背后是怎么实现的。
对于环绕智能而言，除了上述独立的不同类型的感知和理解能力之外，还有一个非常重要的点，就是能对不同类型的感知和理解能力进行无缝融合。
原因在于，用户和机器哪怕只有一次交互，也会产生不同类型的交互方式。因此，机器能不能将不同类型的感知和理解能力进行无缝融合就显得非常关键。这一点也是体现机器智不智能、聪不聪明、方不方便的关键。在融合能力上，我们简单将其分为交互上的融合和理解上的融合。
对于交互上的融合，我可以举几个例子，例如我们首先推出了延长聆听功能，目前已经在全场景和全领域上线了该功能。第二个例子是，小度快捷指令。
这背后的技术实现上有一个重要的技术就是，人机置信度判断模型。在自然交互的场景下，麦克风会接收到各种各样的声音，小度就需要判断收到的声音是否是用户有意和其交互的，因为有很多声音是杂音或者即使是用户发出的声音，也并不一定是和小度说话，而可能是和其他人进行交流，所以这是非常关键的技术点。
我们使用了深度学习模型，参考语音特征、语义特征和视觉特征，比如用户盯着设备看的时候，这时候的判断可能会使得置信度变高。这个模型也促成了上述两个功能的实现。
目前延长聆听的全双工2.0功能已经在所有设备上线，小度快捷指令在小度智能屏X8上线，后边会逐步开放至所有的小度智能屏、智能健身镜等产品上。
除了交互上的融合之外，理解上的融合也很关键，实现上也更加复杂。
理解上的融合其实是针对对话理解，是语义上的融合，它的融合比单纯交互上的融合更加复杂。原因在于，用户的语义是很难去猜测的。
在这一点上，我们针对语义融合专门构建了PCAN模型，这个模型有两个特点，一个是百万级别的需求空间的超大规模。第二个是在整个实验过程中，用户跟小度设备在很长一段时间内的交互，会积累更多个性化数据，将这些数据和当前用户上下文筛选的数据进行结合，就可以对用户当前场景下的意图、需求进行多轮追踪和判断。
下图左下方就是上下文编码的模块，需要考虑当前、过去以及一系列的向量特征，比如设备的状态、视觉状态等，然后编码出当前上下文的向量。图片右侧就是用户的个性化数据编码模块，能够将用户长期的偏好进行数字化。这两个模块进行融合，我们就可以实现多种应用，包括全空间领域的连续目标追踪、语义纠错、上下文和个性化消除歧义等。
为了实现刚才的功能，我们首创了PCAN大模型，除此以外，小度还自研了一套自学习深度学习语义理解系统，它的最大特点是可以在线上进行自学习。
首先用户产生一个新的需求，如新的垂类、服务，我们一开始需要文法标注系统进行冷启动，针对用户行为数据进行标注，然后将新需求上线，就可以累计用户的数据行为，并通过自动样本挖掘，实现更多的满意度反馈，使用标注好的数据来进一步训练PCAN模型。
再加上它是自学习系统，就意味着即使小度工程师放假，也不会对其产生影响，只要用户在不断使用小度产生新的意图和服务，小度就会基于这些意图和服务增强理解能力，也就会变得越来越聪明。
我们前面主要介绍了环绕智能，原因在于去年年底，百度Create 2021·小度智能生活论坛上小度助手7.0发布，环绕智能就是小度助手7.0的核心能力之一。
从2017年发布小度助手1.0开始，5年时间，我们已经对小度助手进行了7次迭代，几乎每次迭代都围绕着两个方面对小度助手的能力进行提升，一是智能能力，其次是如何把生态打造的更加成熟。
小度助手7.0是一个跨设备的助手系统，目前包括智能音箱、智能健身镜、智能屏、智能电视、平板等绝大多数小度设备上都运行的是小度助手7.0.
从小度助手7.0的全景图上，我们可以看到，包括人脸、眼神、声音、手势、人体都有相关应用，同时希望大家可以使用这些功能，给我们提出宝贵的意见。在智能化方面，我们也会提升小度助手的能力，带给用户更好的体验。
刚才讲了很多技术方面的内容，接下来我介绍一下业务侧。
近几年，全屋智能赛道爆火，传统家电厂商、做平台的厂商等都纷纷加入，越来越多的玩家入局，但到底什么是全屋智能？我们也一直在思考这个问题。
在小度看来，第一个就是要让环绕智能无处不在，一句话、一个眼神、一个动作甚至一个表情，机器都能秒懂，让人和机器的交互更简单、自然，让机器对人的理解更精准。
智能也就是全屋智能的基石，这也是为什么我刚才一直在讲环绕智能，以及我们在这一领域做了什么。如果你的全屋智能解决方案中智能化程度较弱，那么即便颜值再高，这也只是一个硬件的对接，我们认为这种做法缺少温度。
第二个就是全屋智能满足用户需求的程度和维度是什么。目前在便捷控制、物理安防、环境安全等场景已经有很多玩家做的非常美观、便捷。我认为，这些需求只是用户的生理需求场景，从不同层次的用户需求来看，用户更高维度的精神层面需求也需要去满足。
事实上，当今社会很多人把更多时间放到了更高层面的精神需求满足上，包括日常信息助手、身体健康、学习成长、娱乐等，我认为这些都是更高维度的需求场景。
对于小度来说，我们希望在更高维度的场景上做更多的解决方案来满足用户。
接下来，我会通过小度正在做的最重要的4个场景，简单介绍一下我们在做的工作和理念。
第一个场景是全屋智能控制场景，这个场景也是目前行业中做的比较好的，包括照明、影音、安防等。我想强调一点，全屋智能控制并不等于全屋智能，我们认为它只是其中的一个场景。
在这个场景下，小度科技坚持三大理念，首先是提供符合大众美的产品，我们认为大众美才是绝大部分用户所需要的，专业极致的产品可能只是小部分用户的需求，因此我们的设计理念还是坚持提供大众类产品。
其次是长久稳定，目前做整套方案的智能家居产品，在稳定性方面仍然参差不齐，因此，选择品牌过硬、技术过硬的产品是非常重要的，在这一点上，百度的口碑还是可以的。
在过去20年间，用户看网络连接状态的首选工具就是访问百度首页，如果访问成功就代表网络连接正常，如果发现404，用户并不会认为是百度首页出现问题，而会想到是网络出现问题。这一点足以证明，百度在稳定性方面给用户留下的口碑和影响。
最后是我们希望通过建立生态，给用户提供丰富的品牌，让用户去进行选择，因为，我们认为目前小度的产品线仍然不能满足所有用户，所以我们还是先将稳定性做好，再让用户选择更多的品牌产品。
下一个场景是生活娱乐场景，这个场景用户更加熟悉，也是我们首要切入的场景，我们就是用户日程生活娱乐的助手。很多用户已经习惯用小度去问天气、查股票、查百科、听新闻、设闹钟、设日历、问时间等，这些生活上的小工具服务已经成为了习惯。
此外，很多人也会用我们的设备听歌、看剧、刷视频等，尤其在疫情的背景下，居家生活时间越来越多，我们也能明显看到，通过小度设备进行娱乐的需求大增。也是因为这个原因，我们去年推出了两款专门面向娱乐的产品，智能屏和电视。
第三个场景是运动健康场景，小度从去年开始深入这个场景，因为疫情，我们对居家健康场景产生了更多的思考。在这个场景下，我们的思路有两个，第一是独立或建立生态与合作伙伴共同推出若干款产品，这些产品可以收集用户行为数据，然后进行分析推测用户当前的情况是正常还是异常。
再加上百度医疗是目前流量最大的医疗信息查询和在线问诊平台，对用户行为数据的分析结合百度医疗系统，小度就可以主动报告用户的异常数据，并为用户提供一些健康生活的建议。
同样，用户也可以主动询问小度，获取相关疾病方面的信息，或者通过这个平台去找到专业医生进行在线问诊。
对于用户健康来说，监测只是保守的做法，最重要的还是应该动起来。我们去年推出了健康套装，其中最重要的产品就是智能健身镜，此外，小度联合合作伙伴推出了智能跳绳、跑步机、瑜伽垫、智能哑铃等产品，组成了家居健身套餐，为用户提供完整的健身工具和方法。在健身镜产品中，小度科技在视觉交互上也实现了技术创新。
在产品侧，我们也做了一些有意思的事情，健身、运动会有反弹，我们在里面增加了游戏化方案，让用户在游戏过程中健身，同时，我们还推出了社交化方式，用户可以和陌生人或朋友一起健身，让健身过程变得更加有趣。
同时，这款产品在今年3、4、5月，连续三个月的销售额排名第一。
还有我们刚刚推出的智能闹钟，这一产品的最大特点是可以针对用户鼾声进行检测，用户睡觉期间它就可以作为床头闹钟，还能对用户打鼾长度、频次、时间、是否异常等情况进行数据分析。
此外，我们尝试通过不使用毫米波技术，而是其他不需要升级硬件的方式，来检测人体呼吸等，这样的话，我们就可以通过声音、呼吸来对用户睡眠进行检测，保证用户的睡眠健康。
第四个场景是儿童成长场景，针对孩子从婴儿期、学龄期到学龄后，我们都有很专业的产品解决方案。去年，我们开始做学习平板这一品类，去年第二季度，小度入局学习平板这一品类，从第三季度开始，连续三个季度在线上销售排名第一，去年第四季度和今年第一季度同样是全渠道销售第一，这也可以直接说明用户对它的喜爱程度。
最后，我想和大家聊一聊中控屏。
在过去一年中，中控屏市场变得越来越卷，很多玩家都推出了自己的中控屏产品，中控屏的屏幕也变得越来越大，从6寸、7寸、8寸一直到现在的13寸、15寸，分辨率越来越高，颜值、美学、前装等方面都在不断提升。
但是这些中控屏的界面和功能基本上都大同小异，都是以全屋控制加背景音乐作为最主要的功能。
因此，借这个机会我也想和大家探讨一下，以及去讲解一下我们如何看待中控屏产品。
首先，去年3月，小度推出小度智能中控屏。
谈及小度为什么推出这个产品，首先我们通过分析认为，用户玄关确实需要一块拥有智能控制、社区监测等核心功能，并配合闹钟、日历等辅助功能的智能产品。其次，这也是小度践行“一屋一屏”整个大战略的重要一步，我们希望用户在家里每一个需求点上，都有一个能够对应解决当前场景问题的设备。
回到智能中控屏产品，我们主要是针对玄关，对于整个智能中控网关来说，小度整体全屋智能分布式网关解决方案中，包括小度智能中控屏和所有的屏幕，有客厅智能电视、健身区域的健身屏、学习方面的学习屏等，这些屏幕共同组成了小度全屋智能分布式网关的系统，每个屏幕都是一个分布式网关，用户也可以和每个屏或者音箱进行交互来进行中控控制。
因此在小度的整个系统中，每个屏都是中控屏，这也是我们对于中控屏的定位和理解。
针对上面新思路的布局，我们也对小度全屋智能体验店进行了全面升级，从陈列、布局、体验，各个方面都能体现出我们的新思路。我们今年的目标就是基于新的体验店，实现百城百店。
最后，我简单聊一下小度在酒店方面的一些工作，前段时间，小度酒店客房数已经突破40万。实际上，如果没有受疫情影响，我们预计这个数据在今年第一、二季度就可以实现，从现在的趋势来看，疫情的影响在不断消退，今年6月份实现了较高速的增长，因此我们保守预测，今年年底这个数字可能会突破60万。
除了头部酒店集团外，单体、独立酒店的增速也很快，目前已经超过50%，这也显示出目前小度智慧酒店的生态是很完善的。
这是目前我们在酒店解决方案中的所有产品，主要有5款，其中2款是桌面有屏产品，2款是桌面无屏产品，1款是挂墙有屏产品。
接下来我们将上线一款新产品，是主要针对酒店的小度送货机器人，这代表着小度客需这一层面的服务闭环打造完成。这样的话，小度在客控和客需上都能给客户、酒店等提供完整的解决方案。
在客控领域，2021年8月，我们推出了小度基于蓝牙Mesh的公寓直连方案，截至现在，已经落地2000多家酒店、公寓，超30000个房间。目前，通过小度智能设备主控的被控设备数量已经超过40万台。在这个方案中，我们也和一些合作伙伴，在产品、服务、定价体系、运营体系方面进行更多的监督把控，保证我们最终的方案能实现三方互赢。
以上就是我讲的所有内容，感谢大家。
