近年来，与人工智慧(AI)相关的周期性热点，几乎都围绕着大语言模型(LLM)和生成式AI模型。这样的趋势反映出这些话题的影响力，日益增强和普及。与大语言模型和生成式AI模型相关的应用涵盖广泛的领域，从开放式聊天机器人到任务型助手。虽然LLM主要聚焦基於云端和伺服器端的应用，但人们对在嵌入式系统和边缘设备中部署生成式A模型的兴趣也不断增加。
嵌入式系统如家用电器、工业设备、汽车等设备中的微处理器，需要在成本和功耗受限的情况下，适应有限的运算能力和记忆体可用性。在装置资源有限的前提下，边缘设备上部署高精度和高性能的语言模型极具挑战性。
在边缘装置部署LLM
在嵌入式解决方案中，常见应用LLM的一个关键领域是操作人员与机器之间，透过自然对话进行人迹协作，即人机介面(HMI)。嵌入式系统可以简化各种输入选项，如麦克风、摄影机或其他感测器。但大多数系统不会像个人电脑、笔记型电脑和手机那样，配备完整的键盘与LLM模型，让使用者与装置进行人机互动。
因此，嵌入式系统在使用音档和影像作为LLM输入时，必须具备实用性。这需要一个自动语音辨识(ASR)或图像识别和分类的预处理模组。同样，人机互动的输出选项也有限。嵌入式解决方案可能没有萤幕，或者不方便使用者阅读萤幕资讯。因此，在生成式AI模型之後，需要一个後处理步骤，使用文字到语音(TTS)演算法将模型输出转换为音档。厂商如恩智浦正在建立eIQ GenAI Flow，透过增加必要的预处理和後处理模组，使其成为一个模组化流程，进而让边缘生成式AI更加实用。
透过LLM革新应用
透过整合基於LLM的语音辨识、自然语言处理和文字生成功能，嵌入式设备能够提供更直观和对话式的使用者体验。这包括回应语音命令的智慧家庭设备、透过自然语言控制的工业机械，以及能够进行免持对话的汽车娱乐中控系统，以指导使用者或操作车内功能等。
LLM还在健康应用中的嵌入式预测分析，和决策支援系统中发挥作用。设备可以嵌入使用特定领域资料训练的语言模型，然後利用自然语言处理分析感测器资料、识别模式并生成见解，同时在边缘即时运行并保护患者隐私，无需将资料传送到云端。
应对生成式AI挑战
在嵌入式环境中部署准确且功能强大的生成式AI模型面临许多挑战。需要最佳化模型的尺寸和记忆体使用，使LLM能够适应目标硬体的资源限制。具有数十亿个参数的模型需要数千百万位元的储存空间，而在边缘系统中，这可能会因为成本过高而难以实现。量化和修改等模型最佳化技术不仅适用於卷积神经网路，也适用於转换器模型——这是生成式AI克服模型大小问题的重要方法。
像LLM这样的生成式AI模型也有知识局限性。例如，它们的理解是有限的，通常会提供不一致的答案，也称为幻觉(Hallucination)，而且它们的知识受限於训练资料的时效性。训练模型或透过再训练来微调模型，可以提高准确性和上下文感知，但这可能在资料收集和所需的模型训练运算方面花费巨大。幸运的是，有需求就有创新，新技术检索增强生成(RAG)可以解决这个问题。RAG方法使用特定上下文资料创建资料库，LLM可以在执行时参考这些资料来准确回答查询。
产品如eIQ GenAI Flow将生成式AI和LLM的优势以实用的方式应用於边缘场景。透过将RAG整合到该流程中，为嵌入式设备提供特定领域的知识，而不会将使用者资料暴露给原始AI模型的训练资料。这样可以确保对LLM的任何更改都是私密的，并且仅在边缘本地使用。
(本文作者为恩智浦半导体边缘处理AI和ML战略及技术全球总监)