近年來，與人工智能（AI）相關的周期性熱點幾乎都圍繞著大語言模型（LLM）和生成式AI模型。這些技術的影響力和普及程度日益增強，涵蓋了從開放式聊天機器人到任務型助手的廣泛應用領域。雖然LLM主要聚焦于基于云和服務器端的應用，但人們對在嵌入式系統和邊緣設備中部署這些模型的興趣也在不斷增加。

嵌入式系統的挑戰

嵌入式系統（如家用電器、工業設備、汽車等設備中的微處理器）需要在成本和功耗受限的情況下運行，并且通常具有有限的計算能力和內存可用性。這使得在邊緣設備上部署高精度和高性能的語言模型極具挑戰性。

在邊緣設備上部署LLM

在嵌入式解決方案中，利用LLM的一個關鍵領域是操作員與機器之間的自然對話交互，即人機界面（HMI）。嵌入式系統可以簡化各種輸入選項，如麥克風、攝像頭或其他傳感器，但大多數系統不會像個人電腦、筆記本電腦和手機那樣配備完整的鍵盤與LLM模型進行交互。因此，嵌入式系統在使用音頻和視覺作為LLM輸入時，必須具備實用性。這需要一個自動語音識別（ASR）或圖像識別和分類的預處理模塊。

同樣，交互的輸出選項也有限。嵌入式解決方案可能沒有屏幕，或者不方便用戶閱讀屏幕信息。因此，在生成式AI模型之后，需要一個后處理步驟，使用文本到語音（TTS）算法將模型輸出轉換為音頻。

恩智浦的eIQ GenAI Flow

恩智浦正在構建eIQ GenAI Flow，通過添加必要的預處理和后處理模塊，使其成為一個模塊化流程，從而使邊緣生成式AI更加實用。這一流程旨在解決嵌入式系統中部署LLM所面臨的挑戰，包括資源限制和用戶交互的特殊需求。

通過LLM革新應用

通過集成基于LLM的語音識別、自然語言理解和文本生成功能，嵌入式設備能夠提供更直觀和對話式的用戶體驗。這包括：

智能家居設備：響應語音命令的智能家居設備。

工業機械：通過自然語言控制的工業機械。

汽車娛樂中控系統：能夠進行免提對話的汽車娛樂中控系統，以指導用戶或操作車內功能。

LLM還在健康應用中的嵌入式預測分析和決策支持系統中發揮作用。設備可以嵌入使用特定領域數據訓練的語言模型，然后利用自然語言處理分析傳感器數據、識別模式并生成見解，同時在邊緣實時運行并保護患者隱私，無需將數據發送到云端。

應對生成式AI挑戰

在嵌入式環境中部署準確且功能強大的生成式AI模型面臨許多挑戰。需要優化模型的大小和內存使用，使LLM能夠適應目標硬件的資源限制。具有數十億個參數的模型需要數千兆字節的存儲空間，而在邊緣系統中，這可能會帶來高成本且難以實現。量化和修剪等模型優化技術不僅適用于卷積神經網絡，也適用于轉換器模型——這是生成式AI克服模型大小問題的重要方法。

像LLM這樣的生成式AI模型也有知識局限性。例如，它們的理解是有限的，通常會提供不一致的答案，也稱為“幻覺”（hallucination），而且它們的知識受限于訓練數據的時效性。訓練模型或通過再訓練來微調模型可以提高準確性和上下文感知，但這可能在數據收集和所需的訓練計算方面花費巨大。

RAG方法

幸運的是，有需求就有創新；通過檢索增強生成（RAG）可以解決這個問題。RAG方法使用特定上下文數據創建知識數據庫，LLM可以在運行時參考這些數據來準確回答查詢。

eIQ GenAI Flow的優勢

eIQ GenAI Flow將生成式AI和LLM的優勢以實用的方式應用于邊緣場景。通過將RAG整合到該流程中，我們為嵌入式設備提供特定領域的知識，而不會將用戶數據暴露給原始AI模型的訓練數據。這樣可以確保對LLM的任何更改都是私密的，并且僅在邊緣本地使用。

結語

恩智浦通過eIQ GenAI Flow推動了嵌入式系統中生成式AI和大語言模型的應用。這一創新解決方案不僅解決了資源限制和用戶交互的挑戰，還提供了更直觀和對話式的用戶體驗。隨著技術的不斷進步，恩智浦將繼續推出更多創新產品，滿足市場對高性能嵌入式AI的需求。