20240530_ABiresearch_人工智能行业：评估企业和消费者的设备上人工智能（AI）机会_16页.pdf

评估设备上的人工智能(AI)机会适用于企业和消费者首席分析师：Reece Hayden 分析师：Paul Schell，Malik SaadiTABLE OF CONTENTS如何进行软件创新支持设备上的 GENERATIVE AI?12企业未来应该如何-证明他们的人工智能战略？15INTRODUCTION人工智能（AI）市场在生成 AI 的可访问性的刺激下继续快速发展，这扩大了企业和消费者部署的机会。到目前为止，生成和其他 AI 模型大多部署在云中，但随着 AI 变得更容易访问，市场希望跨用例扩展，这个以云为中心的框架提出了重大的商业和技术挑战。设备上的 AI 能力-以及最终的混合 AI-其中大型复杂模型的推理工作负载在本地执行，正在出现，以更好地支持大规模部署 AI 的情况。本白皮书探讨了设备上 AI 为企业和消费者带来的机会，以及“高效 AI”应用程序在为最终用户构建强大的基于投资回报（ROI）的价值主张中的作用。KEY TKEAWAYS 将推理工作负载移动到设备将帮助企业和消费者通过解决基础商业和技术挑战来大规模解锁 AI例如数据隐私、网络和服务器延迟，以及网络和云基础设施订阅和/或成本，同时使用户能够享受各种针对其个人需求量身定制的生成 AI 应用程序。然而，设备上生成 AI 将带来围绕工作负载管理，功耗和内存负担的潜在扩展，这将需要神经处理单元（NPU）和模型缩小已经发生在今天。2评估企业和消费者的设备上人工智能（AI）机会数据隐私对数据如何存储、利用和可能泄露。偏置AI 模型可能会放大训练/微调数据集中存在的偏见。准确性幻觉和不可靠性限制了可部署的用例。知识产权(IP)不清楚谁拥有第三方拥有的公共模型生成的内容。设备上生成 AI 将推动企业部署智能设备和新的 AI 模型融入现有流程，使用户能够提高生产力和效率，这要归功于潜在的节约成本和时间。例如，制造商拒绝部署增强现实(AR)在工厂车间;然而，本地生成 AI 处理可以实现高价值的应用程序，这些应用程序将提供切实的 ROI。设备上的 AI 将是迈向混合 AI 系统的第一步，这将有助于优化资源使用，应用程序性能和数据隐私，从而实现从云到设备的联合处理。实现向混合 AI 的飞跃将需要：能够在多个云资源和多个设备和操作系统（OS）中分配 AI 工作负载的智能系统；以及集成的模型架构和明确定义的 AI 工作负载规则。设备上生成 AI 商业成功的最大障碍将是软件不成熟和针对体验的应用程序，而不是生产力。鼓励最终用户购买新设备仍然具有挑战性；这只能通过开发一个强大的 ROI 驱动的业务案例来实现，该案例可以节省时间或金钱。要实现这一目标，市场需要超越设备硬件，并开发基于小型优化模型的杀手级生产力 AI 应用程序。像高通这样的市场领导者已经很快意识到与云、软件和人工智能供应商(如谷歌、元和微软)合作开发全栈产品的重要性。人工智能的状态概述AI 对消费者或企业来说并不陌生，但是 ChatGPT 的引入已经使公众意识到了生成 AI 的功能，并使模型，工具和应用程序得到了更广泛的使用。现在，生成 AI 应用被用于增强消费者和企业流程。这些基本的聊天机器人或内容生成应用程序使用大型语言模型（LLM）或大型视觉模型（LLM），在数十亿甚至数万亿的数据点上训练，以确定能够基于输入或提示生成内容（即文本，图像，声音）的神经网络结构中的参数（权重和偏差）。虽然大规模使用生成 AI 带来了机会，但它也会带来巨大的风险和焦虑，每个人在使用之前都必须意识到这一点，如图 1 所示。图1:生成的 AI 风险（来源：ABI Research）但生成 AI 并不是为消费者和企业提供价值的唯一框架。图 2 解释了其他四个传统的 AI 框架。生成 AI 能够处理相同的应用程序和用例，但通常由于价格，内存，训练数据和风险等其他考虑因素，使用其他“传统”AI 框架。预计大多数消费者和企业用例将利用传统和生成 AI 模型的组合。每一个都有适合不同用例的核心能力、风险和商业因素，必须在部署之前进行评估。ZXCXwPqNtQmNqOpMtOtMnM6MdN6MsQmMnPrNlOmMrMjMpMoP8OqRoOvPrQvMuOmNmO3评估企业和消费者的设备上人工智能（AI）机会机器或计算机视觉：使计算机能够解释，理解和分析图像和视频。例如，对象识别或质量控制。自动语音识别(ASR)：处理、理解人类语音并将其转换为文本。例如，移动数字助理。自然语言处理(NLP)：使机器能够理解，解释和生成人类语言。例如，文本分类或文本分析。预测性 AI 或基于图形的模型：利用历史数据和机器学习算法来预测未来结果。例如，推荐系统。图 2：“传统”AI 框架（来源：ABI Research）IMPACTFUL 趋势本节探讨支持设备上 AI 市场发展的主要趋势。神经处理单元(NPU)的可用性将补充图形处理单元(GPU)和中央处理器(CPU)：不同的处理器擅长不同的 AI 任务。CPU 用于顺序控制，GPU 用于并行数据流，NPU 用于核心 AI 工作负载。将这些架构结合在片上系统（SoC）中，将实现更高效的 AI 工作负载处理，并提高应用程序性能，热效率和电池寿命，以实现新的和增强的生成 AI 体验。一个例子是高通的 Sapdrago 8 Ge 3，这是一个将公司旗舰产品 Kryo CPU，Adreo GPU 和 Hexago NPU 相结合的异构计算平台。这种组合使平台能够支持从特定用例（如机器视觉（MV）或语音控制）到更复杂的模型（如 LLM）的各种 AI 工作负载的推断，这些模型具有高达 100 亿个智能手机和 130 亿个个人计算机参数（PC）。芯片供应商、原始设备制造商(OEM)和独立软件供应商(ISV)对齐：合作伙伴将齐聚一堂，构建针对设备上 AI 硬件优化的“以生产力为中心”的应用程序，以满足消费者和企业的痛点。这将基于节省时间/金钱，为新设备创造 ROI 驱动的需求。开源市场获得更多投资：供应商希望支持创新速度，降低进入门槛，并进一步民主化获得市场领先的生成 AI 模型。尤其是在构建防弹开发工具时，开发人员可以轻松使用这些工具来开发创新的 AI 应用程序。对小于 150 亿参数的压缩和优化模型的有力支持：这些模型是通过参数修剪等优化技术开发的，可以减少功耗，减少推理时间并限制内存负担，同时展示类似于“巨型”模型的行为和准确性。这些适用于具有较低资源负担的设备上部署。谷歌、Meta、Mistral、百川、微软在这些模式上投入了大量资金，旨在复制“巨人”模式的表现。4评估企业和消费者的设备上人工智能（AI）机会经验通过消除网络延迟来增强体验：提高应用程序性能并启用离线应用程序。通过确保更自然和高效的交互，这对于数字助理等实时交互式用例尤其重要。在不损害数据隐私的情况下开发个人 AI 双胞胎设备传感器和内存可以利用个人数据在本地微调模型，使模型能够随着时间的推移而适应，并为用户提供个性化的见解。从无缝的多设备体验中获益：AI 工作负载可以跨设备和位置的生态系统移动，以自动优化最终用户的性能，功耗和体验技术数据隐私和个人 AI 模型：用户提示，个人数据，摄取的传感器数据都保留在设备上，从而消除了数据隐私挑战。降低网络、云订阅和处理成本：随着 AI 模型的扩展，网络和计算成本将呈指数级增长。设备上消除了许多这些成本，减轻了网络负担，并减少了能源使用。嵌入基于 AI 的安全性：AI 模型可以以非常低的延迟提供增强的威胁检测和其他网络安全功能。例如，语音/面部识别和恶意软件检测。芯片供应商构建软件开发工具包(SDK)：构建设备上生成 AI 生态系统需要降低开发人员的进入门槛。SDK 支持底层硬件中应用程序的高效优化。高通公司的 AI Stac 提供了一个神经处理引擎 SDK，ISV(e.Procedre，Faceboo)已经利用部署新的应用程序。这得到了 Qalcomm AI Hb 的支持，它为受支持的平台和特定用例提供了一个优化模型库。无/低代码平台将减少发展障碍，加速生产力 AI 生态系统：供应商正在投资于可视化软件开发环境，以提高可访问性，并使“任何人”都能构建应用程序。市场的下一步将利用自然语言来构建应用程序，例如 OpenAI 发布的 Generative Pre-Trained Transformers（GPT）。为设备上的 AI 构建案例AI 模型主要在云中运行训练和推理工作负载，因为它提供可扩展的计算资源容量、高速网络以及高内存和存储储备。然而，由于许多商业和技术原因，集中式云部署将抑制用例可扩展性。ABI Research 认为，答案是通过能够处理更大模型的设备上 AI 来使推理更接近最终用户（例如。Procedre，生成 AI 的 LLM)。设备上 AI 部署将推理工作负载从云移动到设备。这为 AI 部署带来了改进的商业和技术案例。设备上的 AI 并不是一个全新的现象，因为用于音频处理或视觉增强的基本 AI 工作负载已经在本地运行;硬件（和软件）创新现在使在设备上运行大型生成，自动语音识别（ASR），自然语言处理（NLP）或图像生成工作负载成为可能。与“传统”以云为中心的模型相比，这为消费者和企业提供了强大的价值主张，如第 4.1 节和第 1 节所述。4.2.但是，提供能够运行大型模型的硬件将无法提供足够的商业价值，无法在基本停滞的市场（尤其是智能手机和 PC）中创造增长。随后，ABI Research 认为，这必须辅之以有针对性的“生产力”应用程序，以节省时间或金钱，因为这将为购买具有设备上生成 AI 功能的新设备建立一个强大的 ROI 驱动案例。消费市场以云为中心的 AI 模型部署为 AI 工作负载提供了巨大的计算和电源资源，但随着 AI 在消费者应用程序中扩展，设备上的 AI 将变得越来越必要，以控制网络和服务器成本并减轻数据隐私挑战。图 3 解释了设备上 AI 的经验和技术价值主张。图 3：设备上的 AI 价值主张（来源：ABI Research）diwpeQ63VSIe8ZLkXZ/u1ZKvZxvDHl7CnYBIQwX/6MPNt/GIdxv3aeCZrHwKbLvW 5评估企业和消费者的设备上人工智能（AI）机会移动游戏：通过低延迟和离线 AI 改善用户体验语言翻译：使经验更真实，更符合人的需求。健康与健身：个人数据保持本地，模型适应摄取的用户数据以提高洞察力。数字助理：始终在线的 AI，通过本地存储实现自然交互和数据隐私的低延迟。数据隐私、成本优化和更逼真的人机通信将成为消费者设备上 AI 的关键价值驱动因素。许多 AI 用例将受益于本地处理，因为它带来了更低的延迟，这将提高消费者和企业的性能和可访问性。图 4 中探讨了一些受益更多的用例。图 4：设备上 AI 消费者使用案例示例（来源：ABI Research）但是，设备上的硬件必须补充“生产力”AI 应用程序，这些应用程序超越了设备的经验，并建立了切实的 ROI，因此需要进行设备升级。例如，自动完成消费者纳税申报单的生成 AI 应用程序可以节省资金，因为用户不再需要外部会计师和时间。这建立了强大的 ROI，可以证明购买新设备是合理的。ABI Research 预计这对消费者和企业市场都很重要。企业市场人工智能已经在企业中部署，实现了数百个用例。但是随着企业寻求扩展模型，云部署将产生商业和技术障碍，例如网络成本、带宽拥塞和飙升的云托管成本。设备上的人工智能可以解决这些挑战。其价值主张如图 5 所示。图 5：设备上的 AI 企业价值主张（来源：ABI Research）能够处理未来的 AI 工作负载可以优化部署在设备上的 AI 加速器，以支持新的生成 AI 模型和应用程序。保护您的投资快速变化的 AI 功能需要能够确保有效性能的面向未来的硬件。数据隐私用于提示/微调的传入传感器数据和用户数据仍然是本地的，限制了主权和 IP 泄漏风险。可靠性消除网络延迟波动风险并提高推理可靠性，实现关键任务用例。分布式劳动力通过离线功能消除对工作人员的连接需求，为所有人提供生产力用例。有效地扩展成本网络成本将随着集中部署而迅速扩大，但本地处理消除了这些成本。它还降低了与以云为中心的模型相关的提示和输出费用。Commercial 技术多设备体验确保与跨设备本地同步和实施预测模型的一致性，以了解用户模式。个性化利用传入的非结构化数据，经济高效地微调本地模型，以优化最终用户的输出。6评估企业和消费者的设备上人工智能（AI）机会应用生态系统企业与消费者不会购买具有 AI 功能的新设备，除非“生产力”应用程序需要本地处理，从而获得明确的投资回报率（ROI）。设备成本设备价格继续增长快于通货膨胀；随着供应商将 AI 芯片创新成本转嫁给消费者，这可能会进一步增加。然而，有效部署设备上的人工智能将增加客户价值，可能抵消不断增加的设备成本。功耗在标准 CPU 硬件上运行的未优化 AI 模型可能会增加设备的功耗然而，在 AI 加速器上运行的优化模型尚未显著影响功耗。规模化管理机器学习操作(MLOps)挑战随着分布式设备部署而增加.监控模型漂移、降级、再训练、数据质量和漂移、法规遵从性跨区域使用离线设备将带来运营挑战。尽管设备上的 AI 具有跨垂直吸引力，但早期采用者将具有适用于设备上的 AI 部署的共同功能：高度分散的劳动力，对延迟敏感的用例，低连接部署环境，严格的数据要求和大型上游数据流。表 1 探讨了企业内六个设备上的 AI 早期部署。Table1:在企业中早期部署 On-Device AI（来源：ABI Research）垂直 Manufacturing 医疗保健 物流与运输 电信 后端操作&办公室专业服务AI部署痛点自主可靠性物联网(IoT)具有分布式劳动力的低连接环境患者数据安全可靠性和延迟敏感性分布式劳动力，连接不良数据调控不对称的全球分布网络可靠性分布式劳动力高相关成本客户数据隐私问题高运营支出(OPEX)由于劳动力部署生产率成本和当前工具缺乏直观性AI 人才短缺糟糕的数据和 AI 治理框架分布式和移动劳动力数据主权设备上的 AI 用例IoT 自动化工作流,人工智能生成的工作流程指令，远程协助维修；员工培训，机器预测监控患者监测和护理、患者病史总结、远程患者援助和远程诊断、Pap-tient 聊天机器人、具有 AI 支持的 Extended Reality(XR)的外科医生培训智能路线映射、供应链跟踪、XR 平视显示器(HUD)现场技术人员的动态说明；技术人员的数字助理和聊天机器人，XR HUD由生成式 AI 驱动的智能生产力工具；增强的计算体验；本地虚拟助手在非现场项目中运行个人副驾驶；数字助理；移动中的生产力应用程序AI 将部署在哪些设备上？IoT、可穿戴设备、XR 物联网、可穿戴设备、智能手机、XR、PC物联网、可穿戴设备、智能手机、XR、汽车IoT、XR、智能手机、笔记本电脑 PC、智能手机 智能手机、PC关键挑战对于消费者和企业中的设备生成 AI，存在一个明确的价值主张，但是将推断转移到设备级别带来了需要解决的商业和技术挑战。图 6 中解决了这些问题。图 6：企业设备上 AI 的感知挑战（来源：ABI Research）7评估企业和消费者的设备上人工智能（AI）机会这些挑战中最具商业影响力的是应用生态系统。例如，目前，AI 应用程序开发侧重于使用启用自动照片编辑的工具的体验。然而，这些不会为停滞或新设备市场中的设备升级建立足够强大的案例。相反，应用程序应以“生产力”和易用性为目标，并可量化地节省时间或金钱。按设备类型划分的设备上生成 AI以下部分提供了跨不同形式因素的设备上生成 AI 的应用、机遇和挑战的评估。智能手机和平板电脑使用 Siri 或 Google Assistant 等利用基于云的 NLP 模型的语音助手，智能手机和平板电脑对 AI 并不陌生。但是，这些通常依赖于云的应用程序几乎没有创造商业价值-提供较差的用户体验和显着的延迟和网络连接要求。为了减轻基于云的 AI 提供的非优化体验，现代高端智能手机现在集成了设备上的 AI 加速器，以在本地处理语音控制，AI 增强成像和其他基本 AI 应用程序的推理。但是，仅靠这些传统 AI 应用程序增加的价值可能不足以对消费者升级智能手机的决策产生重大影响。人工智能在智能手机上的商业成功将取决于这些设备支持生成和通用模型的能力，这些模型可以为各种生成人工智能应用提供动力。这些设备需要配备足够的设备上处理引擎来完成以下工作：开发与 AI 的直观、自然的交互：减少 ASR、NLP 和生成 AI 模型的延迟，以实现增强/个性化数字助理的实时响应。支持“个人 AI”模型：目前在云中进行微调的本地模型，基于来自传感器和最终用户的数据流入，以提供个性化的响应/见解，而不会损害数据隐私。启用更丰富的应用程序开发环境：除了语音控制和增强成像之外，开发人员将能够创建大量创新应用程序。智能手机用户将能够享受这些应用程序，这些应用程序将改善整体用户体验，同时帮助他们更具创造力和生产力。建立数据主权和数据隐私：确保数据监管和治理不妥协，这尤其适用于员工分布在多个区域的企业。启用始终在线 AI，无论智能手机是否连接：模型继续运行所有 AI 工作负载，从基本和特定用例到更大的生成 AI 模型，并实时提供不提示的建议。本地处理限制上游数据流，并确保应用程序在与网络断开连接时正常工作。在过去的 8 年中，智能手机市场的增长仍然有限，这是由于缺乏整合创新，导致更换周期不断增长，以及消费者决定升级到高端设备并将其保留更长的时间。随着消费者与智能手机的关系从基于娱乐的关系转变为可以帮助他们提高日常生活中的创造力和生产力的关系，仅通过启用“体验”应用程序（如生成的个性化壁纸），就无法实现该市场的解锁增长。相反，开发应该以高效的人工智能为目标；例如，消费者会喜欢使用生成式人工智能应用程序，帮助他们管理智能家居，优化能源使用，完成管理任务，并从水电费中节省费用。这些应用将帮助消费者在时间和成本方面实现显著节省。一些供应商已经认识到高效 AI 对设备上生成 AI 的价值主张的重要性;一个例子是高通和三星的合作伙伴关系，专注于为 Galaxy S24 系列带来生成 AI 功能。8评估企业和消费者的设备上人工智能（AI）机会1.61.41.21.00.80.60.40.20.0图 1 探讨了设备生成 AI 如何在四个不同的场景中影响智能手机市场规模（这些场景也适用于第 4.4.2 节的笔记本电脑/PC 市场）。图表 1：有和没有设备上生成 AI 世界市场的智能手机市场规模：2011 年至 2027 年（来源：ABI Research）无 AI最坏的情况 AI2011 2013 2015 2017 2019 2021 2023 2025 2027ABI Research 预计，最大限度地提高市场增长需要强有力的硬件和软件配置，包括针对消费者和企业痛点的生产力 AI 应用程序。针对特定痛点的硬件优化生产 AI 将节省足够的时间和/或金钱，以鼓励最终用户购买新设备。这将降低刷新率，而新硬件将提高平均销售价格（ASP），从而在智能手机和 PC 市场创造新的增长。下面，ABI 研究提供了为每个情景预测提供信息的定性方法：最佳案例：端到端（E2E）优化的设备上生成 AI 主张，结合了硬件，软件和垂直的，以生产力为重点的应用程序。构建强大的生产力 AI 主张，以更高的 ASP 激励购买新设备，显着增加出货量并带来长期市场增长。现实的 AI：主要关注体验（而不是生产力）的应用程序生态系统创造了一些但有限的设备市场增长。最坏的情况 AI：市场仍然相对平坦，因为设备上的 AI 硬件没有通过消费者或企业应用程序推向市场。无 AI:人工智能没有部署在设备上，市场在预测期内仍然停滞不前。实现“最佳案例”方案需要利益相关者促进智能手机生产力 AI 应用程序的开发。第 5 节强调了关键的软件创新和合作伙伴关系调整，这将有助于最大限度地提高市场增长。PCS 和笔记本电脑在 PC 或笔记本电脑上本地部署 AI 将为离线生产力、数据隐私、增强的用户设备通信和模型个性化创造巨大价值。它将适用于消费者和企业，因为它支持任何地方的生产力。例如，专业服务提供商将能够运行 Microsoft Copilot 或其他由生成 AI 提供支持的创造力工具，以扩大他们的日常工作流程并降低成本，同时前往客户网站。(万亿美元)9评估企业和消费者的设备上人工智能（AI）机会AI 最佳案例现实 AIAI 最坏的情况无 AI利益相关者一直看好通过将 NPU 集成到 PC 处理器中进行硬件创新的机会，但也认识到构建全栈价值主张的重要性。高通继续与包括微软在内的 ISV 合作伙伴扩展其 Sapdrago 计算生态系统。与此同时，像英特尔这样的竞争对手正在通过 AI 加速器计划开发 PC AI，为 ISV 提供资金和专业知识。这些策略概括了这样一种理解，即“以生产力为中心的软件”将是设备上生成 AI 的关键变量。图表 2 显示了 PC 的市场规模，并提供了四种不同场景的预测，所有这些场景都与设备上生成 AI 部署和生产力 AI 有关（有关场景细分，请参见第 4.3.3 节）。图表 2：有和没有设备上生成 AI 世界市场的 PC 市场规模：2011 年至 2029 年（来源：ABI Research）35030025020015010050020112014 2017 2020 2023 2026 2029与智能手机市场一样，要在停滞的 PC 市场中释放增长，就需要高效的 AI 应用程序与消费者和企业的痛点密切相关，并基于节省时间或金钱的清晰 ROI 案例。例如，针对员工用例的高效 AI 应用程序，如日程安排、笔记记录、副驾驶和自动合同创建，可以节省每天的时间。假设这些应用程序可以节省 30 分钟，而员工的成本为 20 美元/小时，这个高效的 AI 应用程序将转化为每天节省 10 美元，每年节省 2,210 美元（基于 231 天的工作年）。假设企业将这些储蓄再投资到能够运行设备上生成 AI 的设备上，它将把刷新率从平均 4 到 5 年降低到不到 2 年。这将刺激 PC 市场的大规模增长。对于供应商来说，要解锁这一点，他们必须瞄准高效的 AI 战略。在第 5 节中，ABI Research 探讨了如何通过软件创新和利益相关者参与来开发这一点。汽车与其他设备不同，人工智能已经本地部署在支持各种用例的车辆中，包括自动驾驶功能，该功能在本地运行 MV 模型以理解、解释和响应传入的传感器数据。随后，创新的重点是升级本地 AI 功能，以支持更大，更复杂和高性能的模型（例如。Procedre，LLM）以增强娱乐和功能上的应用程序和用例，例如 Telsa 的 Gro AI，它将为驾驶员提供车载智能助手。这些用例在图 7 中突出显示。无 AI最坏的情况 AI（亿美元）10评估企业和消费者的设备上人工智能（AI）机会娱乐 功能车载 Chatbot/数字助理 减少延迟互动更自然。确保个人和位置数据不会与云中的公共模型共享。智能路线规划&预测 在本地保留数据。为低连接环境提供脱机功能。高级驾驶辅助系统(ADAS)确保可靠性和超低延迟。降低数据传输成本。防撞和巡航控制 实现车对车智能通信和低延迟传感器处理。消除云连接要求，以始终在用例上支持关键任务。驾驶员监控 在本地保留驱动程序健康数据。确保离线监控，而无需云连接。体验个性化游戏中对新的超个性化体验的需求，其中生成的内容反映了最终用户的情绪、偏好和体验，数据主权分布式劳动力可能难以遵守数据主权法规或承担高昂的成本。用户体验云处理/运动到光子延迟阻碍体验质量。对于游戏等消费者用途至关重要。连接不良和成本坚固的企业环境遭受不良和不可靠的连接，例如，采矿，物流。而传感器云数据流将压倒网络和驱动成本.图 7：汽车设备上的 AI 使用案例（来源：ABI Research）考虑到设备限制，本地处理将是必要的，以保护用户数据，确保体验质量，实现关键任务用例，并减轻相关的连接成本。OEM 已经瞄准了以娱乐为中心的用例。欧宝与高通合作，正在将 LLM 集成到其新 Corsa 系列的信息娱乐系统中，以提供上下文感知和自适应的驾驶舱系统，以适应驾驶员的喜好;宝马和梅赛德斯正在部署芯片，以支持其信息娱乐系统中的生成应用。扩展现实(XR)(包括增强现实(AR)、混合现实(MR)和虚拟现实(VR)AI 部署将有助于转变消费者的 XR(例如。Procedre，游戏/娱乐）和企业（例如。Procedre、制造和电信)用例。生成，NLP 和 ASR 模型可以为用户提供更身临其境，更高效和直观的体验，从而实现一系列新案例-元图像生成，3D 内容生成，工厂工人的始终在线数字助理或基于用户提示和传感器数据的自动表单填写。到目前为止，大多数 XR 设备仍然依赖于云来运行生成 AI 模型和应用程序。但是云处理将带来挑战，满足用户的期望将需要设备上的 AI 处理，如图 8 所示。Meta 利用高通的 Snapdragon 处理器为 Quest 3 中的生成模型提供原生处理，从而成为先行者。图 8：XR 中驱动设备上生成 AI 的因素（来源：ABI Research）启用生成模型以有效地个性化客户用户。消除可变延迟并降低网络成本减少网络延迟部署硬件优化的 AI 模型，以降低推理滞后并实现离线游戏。确保数据存储在本地并偶尔与云共享。11评估企业和消费者的设备上人工智能（AI）机会XR 将与本地设备上的 AI 处理相结合，使用分布式工作负载处理框架，在连接的设备上运行不同的工作负载，例如连接智能手机。这将优化处理速度和功耗。企业 XR 部署相对缓慢，但由设备上生成 AI 处理支持的“杀手级”生产力 AI 应用程序最终可以为医疗保健、制造、物流和更多垂直领域的实施构建强有力的主张。互联网的事物和磨损物联网是一个设备网络，可以感知和使用触发操作来响应某些条件。这些设备使用简单的基于规则的 AI，但是部署在云中的强大预测或生成模型的用例越来越多。这给某些部署环境带来了挑战，包括以下方面：数十亿的数据点将阻塞网络并提高相关成本。通常在低/无连接位置部署，这意味着不可靠的云连接。无法依赖可变网络连接的对延迟敏感的应用程序。本地部署生成式 AI 可以缓解这些挑战，并实现有价值的企业用例：预测性维护、问题管理、关灯制造、流量监控、库存管理/调度以及处理计划/优化。然而，考虑到物联网计算和功率限制，这仍然具有挑战性。可穿戴设备可以使用生成 AI 模型将传入的传感器数据转换为见解和建议。目前，这些模型使用简单的基于图形或表格的预测 AI 模型来了解传感器数据趋势，因此可以使用 TiyML 框架在设备上轻松执行其中一些模型的推断。然而，为消费者领域的洞察力和个性化推荐提供重要机会的生成模型只能由这些设备与云服务结合使用。WHOOP Coach 就是一个例子，它使用 GPT-4 应用程序为用户查询提供对话和个性化的响应。这仍然依赖于智能手机与云的连接。考虑到功率和资源的限制，在可穿戴设备上本地运行生成 AI 将是具有挑战性的。在大多数情况下，可穿戴设备将 AI 工作负载分布在连接的设备上。这种分布式 AI 计算框架利用多设备方法来确保 AI 工作负载得到有效处理。这将实现从患者护理到空间计算的消费者和企业用例，可穿戴设备可以利用主动监控和实时洞察，同时减轻网络、延迟和隐私风险。设备上可穿戴式生成 AI 仍处于早期阶段，Meta 和 Qalcomm 支持 Ray-Ba 眼镜上的 AI 应用；Hmae 正在与 OpeAI 和 Qalcomm 合作，将 Ai Pi 推向市场；Zebra 正在演示由 Qalcomm 提供支持的设备上生成 AI。12评估企业和消费者的设备上人工智能（AI）机会软件创新将如何支持设备上生成 AI？设备生成 AI 硬件必须与生产 AI 应用程序的开发互补。这些应用程序需要提供足以激励购买新设备的成本或时间节省；例如，AI 应用程序可以通过智能账单管理为消费者节省个人财务时间-这些应用程序必须是多模式的，以增强人类的可访问性，并为用户与 AI 的互动提供更直观的界面。它们还应该能够同时运行多个模型；例如，使用语音控制引擎将语音转换为文本，以提供生成的 AI 请求和提示。软件需要如何发展？鼓励高效 AI 应用程序的开发将需要更大的开发人员可访问性。基于 Web 和智能手机应用程序的历史性市场增长就是例证。这些分别通过向可视化编码的过渡和 SDK/本地编程语言的引入而解锁。与考虑到这一点，ABI Research 已经确定了 AI 软件的四个领域，需要硬件供应商的关注，以促进设备上“高效 AI”应用程序的开发：AI 模型优化技术：市场必须投资于研究和开发（R&D）目标新的和改进的技术，如压缩，量化，模型模仿，修剪，或蒸馏。鉴于 LLM 的复杂性和复杂性，现有技术将越来越多地与 LLM 斗争。目标应该是进一步减小模型大小、提高电源效率并降低内存负担，同时保持一致的准确性；使更复杂、性能更好的模型能够部署在设备上。高通公司的 AI Hb 提供了一个优化模型库，并开源了 AI 模型效率工具包(AIMET)，这是朝着正确方向迈出的一步，将增加对设备应用程序开发的支持。除了优化之外，使用“小型”目标模型支持企业应用程序的一个工具是检索增强生成（RAG）。RAG 使模型能够从特定数据集中检索信息，而无需重新训练模型，并且具有较低的内存需求，从而减少了模型幻觉，提高了可靠性和准确性。开源：从模型、工具和应用程序减少障碍并实现跨软件层的创新。生成式 AI 模型已经从开源中受益，其在性能和部署方面的快速改进，例如 Meta 的 Llama（13B，7B），Microsoft 的 Orca（13B），提供与 GPT-4 类似的性能，以及 Mistral-7B。通过开源机器学习（ML）工具和数据集，启动/ISV 将有更多机会获得市场领先的技术，支持开发针对设备上生成 AI 优化的高效 AI 应用程序。统一软件堆栈：一套全面集成的软件工具、框架、库和技术，可以简化应用程序开发并提高生态系统内的互操作性。Qalcomm AI Stac 涵盖其移动、汽车、XR、PC、IoT 和云平台。它提供了从与 PyTorch 和 TesorFlow 等 AI 框架集成到 OS 的完整堆栈。它使开发人员能够构建应用程序，并在不同的 AI 硬件（CPU，GPU，NPU）上运行它们。SDK：芯片供应商必须发布 SDK 来帮助加速设备上处理的应用生态系统。SDK 通过减少将应用优化到新芯片架构所需的时间和精力来降低开发人员的障碍。Qualcomm AI Stack（包括 Neural Processing SDK 和 AI Engine Direct SDK）就是一个很好的例子。利益相关者将扮演什么角色？强大的设备生成 AI 进入市场战略应包括节能，设备优化的芯片和支持生产性 AI 应用程序的小型模型。实现这一点需要三个利益相关者，他们需要13评估企业和消费者的设备上人工智能（AI）机会（来源：ABI Research）公共模型 企业模型企业和个人模型云On-Premises边线 设备生态系统更低的延迟、更高的可靠性、更低成本的网络、数据安全性、对低功耗芯片的依赖更可扩展的计算资源、访问电源、优化的计算资源（如 GPU）与研发和进入市场战略紧密相关。图 9 提供了这一组合价值主张的概述。图 9：设备上生成的 AI 利益相关者伙伴关系（来源：ABI Research）芯片供应商构建芯片组以在设备上运行 AI 并开发 SDK 以优化软件开发独立软件供应商(ISV)开发在芯片上运行并针对芯片进行优化的模型、应用程序和工具使应用程序与客户的棘手问题和硬件保持一致原始设备制造商(OEM)将组件集成到一个设备中，以便消费者和企业成功的供应商将像 Google 或合作伙伴一样进行垂直集成（跨设备，芯片组和软件），以有效地将这些组件组合到全栈市场战略中。已经出现了一些值得注意的合作伙伴关系：Humane 与高通的 Snapdragon 和 OpenAI 合作开发了 Ai Pin。Meta 已与高通合作构建 Meta Ray-Bans 和 Quest 3（Snapdragon XR 2 Gen 2）。微软已经与高通的 Snapdragon X Elite 在 Windows AI PC 上合作。什么是混合 AI我们如何到达那里？消费者和企业将看到设备上生成 AI 的巨大价值，但这还不是故事的结局。市场将转向在混合 AI 框架内将工作负载从设备集成到云。混合 AI 架构根据用例的商业（成本，治理）和技术（安全性，功耗使用要求，延迟敏感性，模型类型/大小）要求，将 AI 工作负载从设备到边缘再到云进行分配和协调。图 10 提供了 ABI Research 对混合 AI 框架的期望蓝图。图 10：混合 AI 连续体构建通用“进入市场”战略 14评估企业和消费者的设备上人工智能（AI）机会集成模型体系结构需要在不同位置部署不同大小和特定于用例的模型，以支持和优化所有 AI 工作负载。多设备生态系统运营生态系统之间的设备将需要连接。Qualcomm 的Snapdragon Seamless 将有助于这种转变，并实现多设备联合处理。多云互连优化工作负载的价格/性能需要访问多个云位置。明确定义的规则优化 AI 应用程序需要最终用户制定明确的政策具有位置的工作负载。考虑到硬件和功率限制，培训将主要驻留在云中，以最大限度地提高价格和性能，但推理和微调工作负载将在符合每个用例的约束和要求的位置进行处理。这种混合框架将支持联合处理，通过联合处理，工作负载可以在设备或位置的组合中进行拆分和并行运行。例如,数字助理可以在本地运行 ASR 以最小化延迟,而生成模型将在边缘处或在本地运行以降低设备级功耗。此系统设计将分散功耗，减少与内存相关的工作负载瓶颈，并优化每个应用程序的性能。最初，混合框架将使用“基于规则”的方法来使工作负载部署与预定的风险保持一致。但是向前发展，推荐器模型将被部署来自动转移工作负载，以根据行为预测、不断变化的成本/性能预期和应用程序要求了解何时何地放置工作负载。该框架将能够了解应在何时何地处理工作负载，从而通过批处理实现改进的“云经济学”。作为这个混合 AI 框架的一部分，将部署不同的模型，为最终用户提供不同的功能。非常大的公共模型将驻留在云中，并用于通用搜索功能;企业或私有模型将从边缘部署到云，并提供针对内部数据集定制的专门功能;个人模型将驻留在设备上，并通过摄取非结构化传感器数据和提示对用户进行调整。为了从设备上 AI 转向混合 AI，ABI Research 已经确定了四个基本的构建模块，如图 11 所示，除了高效的设备上 AI 硬件之外，还需要业界的关注。图 11：混合 AI 的构建模块（来源：ABI Research）15评估企业和消费者的设备上人工智能（AI）机会评估.现有的 AI 部署以及他们的投资回报率(ROI)。内部数据战略并符合 ML 的期望。内部能力优化招聘、技能提升和伙伴关系。低悬挂、中期和长期用例与流程/ML 专家。企业应该如何应对未来的人工智能战略？企业已经在业务单元和用例中进行了零散的 AI 部署，而大多数企业都缺乏能够指导有效实施和价值创造的面向未来的集中式战略。在图 12 中，ABI Research 提供了一个基础框架来帮助企业开始构建面向未来的 AI 战略。图 12：企业 AI 战略细分（来源：ABI Research）开发.部署.集中化的公司战略统一 AI 部署。关键绩效指标用于 AI 部署。关于设备上的 AI 可以在哪里增加价值的观点并启用垂直用例。集中式 ML 管道帮助推出。概念证明(PoC)利用过程专业知识。评估 ROI 并确定商业可行性。重新评估部署或跨业务集团扩展针对不同的流程。2024 年 5 月发布157 哥伦布大道纽约,NY 10023+1.516.624.2500关于 ABI 研究ABI Research 是一家全球技术情报公司，位于技术解决方案提供商和终端市场公司的交汇处