1 引言
近年來,大模型(如 GPT-4o 等)憑借大規模訓練數據、大規模參數、大規模算力,涌現出傳統 AI 模型所不具備的強大生成能力、泛化能力和交互能力。在自然語言處理領域,大模型能夠生成高質量的文本并完成復雜的對話任務;在計算機視覺領域,大模型能夠實現精準的圖像識別并生成高保真的圖像或視頻。此外,大模型還在醫學、教育等專業領域展現出巨大的應用潛力,通過對領域數據的學習,提供準確的問答、診斷、預測和決策支持,已成為邁向通用人工智能的里程碑技術。
工業制造業是立國之本和強國之基,建設制造強國是我國的重大戰略決策。在新一代信息通信技術的推動下,制造業正從數字化網絡化邁向智能化的全新發展階段。如何推進人工智能賦能新型工業化,培育面向工業領域的大模型,推動人工智能與實體經濟深度融合,成為當前重要的國家創新戰略。
歐美發達國家已開始探索大模型在工業領域的應用。例如,西門子采用 ChatGPT 來自動生成可編程邏輯控制器(PLC)代碼,OpenAI 采用多模態大模型操控機器人并嘗試在寶馬制造車間從事簡單的抓取工作,英偉達正在基于大模型打造通用人形機器人平臺。當前國內外的研究主要是利用已有的通用大模型尤其是大語言模型,嘗試解決工業制造業的具體問題。學術界和產業界對于工業大模型的巨大發展潛力抱有極高的期待。
然而,工業制造業的復雜性使得工業大模型的發展面臨諸多嚴峻挑戰:
工業跨模態協同難:通用大模型擅長處理文本、圖像、視頻等常見數據模態,其數據多來源于互聯網等公開渠道。但對于工業制造業中難以獲取的特有數據模態,如 CAX 模型、傳感信號、工藝文件、機器指令等了解甚少。工業場景中多模態數據融合時存在異質性和同步性問題,不同類型傳感數據采樣率和數據格式不同,存在信息冗余和語義不一致性,大模型難以對復雜異質的工業數據模態進行有效對齊和協同。這是因為大模型缺乏對工業復雜模態數據特性的深刻理解,導致其跨模態數據協同處理能力有限。
工業高可信輸出難:通用大模型對輸出的精準性和可靠性沒有統一的嚴格要求,能容忍一定程度的幻覺現象。而工業應用對準確性和可靠性要求極高,如機械臂協作裝配的精確控制。現有大模型基于概率預測,輸出結果不確定性高,難以滿足工業任務的高精度要求。這是由于大模型的概率特性和非目標驅動特性,使其難以學習到任務背后的工業機理和規律。此外,多任務優化與單任務的沖突使得模型在處理高精度任務時可能出現信息沖突和遺忘,降低單任務性能。
工業多場景泛化難:通用大模型常見的文本或圖像內容生成、知識問答等應用場景,底層邏輯較為統一,大多可基于對話界面完成任務。而工業領域產品全生命周期涵蓋研發設計、生產制造、試驗測試、運維服務等多種不同應用場景,不同行業不同場景任務需求各異,且生產任務需機器設備執行才能完成,大模型難以適應復雜多變的工業場景。這是因為大模型對工業多學科跨領域專業知識的泛化能力不足,且工業場景中存在大量硬件設備交互任務,使當前大模型主流應用范式無法適應。
工業多流程關聯難:通用大模型應用場景涉及的多流程關聯邏輯性任務較少。而工業制造業應用離不開具有內在關聯的多流程業務,各流程任務之間的關聯和依賴關系復雜,如跨企業多工序多因素耦合的質量問題追溯與根因分析,實現多個流程任務的有效關聯和協同是一個重要挑戰。大模型難以全面理解和認知復雜的工業流程語境和任務間的動態關系,缺乏對復雜流程的深層次任務關聯和長期記憶能力,使其難以有效處理多流程任務。
工業高實時推理難:通用大模型對應用的實時性沒有統一的高要求。而工業現場應用,如設備控制等,具有嚴格的實時性要求(毫秒級),同時還受到算力設施的限制,大模型在工業邊緣實時應用中面臨資源受限的挑戰。現有輕量化方法,如模型剪枝、量化等,雖在壓縮率和加速效果方面取得一定進展,但仍無法滿足工業邊緣輕量實時應用的高要求。這是因為大模型參數規模龐大,執行工業任務時需要激活大部分計算單元,難以在工業邊緣有限的計算資源下實時運行。
從上述挑戰可知,當前通用大模型無法直接用于解決復雜的工業問題,工業大模型不是通用大模型在工業領域的簡單垂直應用,亟需開展全新的工業大模型基礎理論和關鍵技術研究。目前,國內外關于工業大模型的系統性研究仍屬空白。
本文提出了工業大模型的全新定義和體系架構,包括基礎設施層、基座層、模型層、交互層、應用層;提出了工業大模型的四階段構建方法,闡述了核心關鍵技術;基于工業大模型 6 種核心應用能力,探討了面向工業制造業全生命周期的典型應用場景,并給出 “基石” 工業大模型原型系統在生成式人工智能方面的應用實例;最后,探討和展望了工業大模型未來的研究方向和開放性問題。
2 工業大模型定義與體系架構
工業大模型是面向工業產品全生命周期應用的、具有大規模參數的深度學習模型體系,包括工業基座大模型、工業任務導向大模型、工業行業領域大模型等不同層次和類別的模型系統。它具有工業數據和機理知識融合驅動、工業專業化內容生成、高可信高可靠輸出、工業多場景跨域任務學習與自適應、工業多模態融合交互、人 - 智能體 - 工業系統協同、算力與效率靈活適配等主要特征,具備智能問答、場景認知、過程決策、終端控制、內容生成、科學發現等核心任務能力,能夠適配離散行業和流程行業不同行業領域、不同工業任務,為產品研發設計、生產制造、試驗測試、經營管理、運維服務等全業務域智能化升級提供基于大模型的新應用范式和新方法技術。
圖 1 工業大模型體系架構圖
工業大模型體系架構包含基礎設施層、基座層、模型層、交互層、應用層 5 個層次,具體如下:
基礎設施層:是構建工業大模型所需的基礎資源,包括工業數據、算力、知識等。工業數據涵蓋 CAX 文件、工業時序數據、機器指令、工業文檔以及圖像、視頻和音頻等多模態數據,是模型訓練和操作的基礎。計算資源包括用于大模型訓練和推理的云邊端算力、存儲,以及專為 AI 運算設計的芯片。工業知識包括工業通用知識和企業私有知識,涵蓋行業規范、操作文檔、機器運作原理和維護經驗等工業知識文件和專用的領域知識圖譜,為模型提供決策分析的深層次知識邏輯基礎。
基座層:是工業大模型的核心支撐,主要包括基于工業多模態預訓練技術、工業機理內嵌微調技術、工業智能體交互推理技術 3 類核心技術的工業基座大模型。預訓練通過與下游任務無關的工業多模態數據的初始訓練,使工業大模型具備理解和處理工業場景中多模態數據的通用能力。微調是在較小、特定數據集上進一步訓練預訓練模型,以提高模型在特定任務上的性能和泛化未見過任務的性能。工業推理使模型在復雜的工業環境中能夠迅速、準確地處理數據并作出決策,包括模型壓縮、硬件加速、工業檢索增強生成等方法。工業基座大模型具備工業任務的通用解決能力,為更精細的模型適配及場景應用提供基礎。
模型層:是工業大模型的主干部分,面向不同的工業任務和行業領域進行適配,形成任務導向大模型和行業領域大模型。工業任務適配是以工業基座大模型為基礎,經過多任務指令微調,在保留通用任務能力的基礎上使其在特定任務上表現更優,包括智能問答模型、場景認知模型、過程決策模型、終端控制模型、內容生成模型、科學發現模型。行業領域大模型則是在其基礎上通過行業領域知識嵌入和適配器微調得到的,涵蓋航空航天、汽車、機械等離散制造領域,以及石化、冶金、電力等流程工業領域。
交互層:由人、大模型智能體、工業賽博物理系統三部分組成,形成有機整體對工業生產過程進行交互協作。用戶包含研發人員、工程人員、生產操作人員和經營管理人員等各類專項人員,在制造過程中承擔不同任務目標。智能體集成工業大模型的幾項基本能力,并增強記憶、規劃、行動、感知來與外界交互,具有主動感知和控制工業環境的能力,能夠自發記憶、觀測和影響外界環境。賽博物理系統包含物理系統(如機器人、機床、自動導引車等)和賽博系統(數據庫、工業軟件、工業網絡等),是智能體感知、調用和控制的對象。
應用層:是工業大模型在服務端的表現形式。工業大模型涵蓋智能問答、場景認知、過程決策、終端控制、內容生成和科學發現等 6 大能力,這些能力使其能完成復雜專業的問答,理解和分析復雜的工業環境,作出科學的過程決策,直接控制工業設備,以及自動生成技術文檔和仿真設計。基于這些能力,面向工業制造業全生命周期,對研發設計、生產制造、試驗測試、經營管理、運維服務 5 個工業環節進行支撐應用。
圖 2 工業大模型構建方法
3 工業大模型構建方法
工業大模型的構建主要包括工業數據制備、工業基座模型訓練、工業任務 / 行業模型適配、工業場景交互應用 4 個階段:
工業數據制備:工業數據具有多種模態,如傳感器的時序數據、工業視頻和圖像數據、CAD 數據、工業代碼等,其制備方式更加多樣化,主要包括數據收集、預處理、仿真及生成三個流程。可以通過使用公開或企業自有數據集、數據爬取和聯邦學習等多種方式獲取數據。為確保模型訓練的效度和可靠性,需要進行數據清洗和預處理,包括質量過濾、敏感內容過濾、數據去重以及針對不同模態數據的標準化等操作。為滿足大模型對大量數據的需求,可以通過仿真系統生成和生成式模型兩種方法增加數據量,生成的數據需經過工業仿真系統篩選與過濾,剔除不可信樣本后用于后續模型訓練。
工業基座模型訓練:主要包含工業自監督預訓練、跨模態注意力對齊以及工業機理內嵌微調 3 個任務。自監督預訓練旨在使大模型獲取對工業領域復雜數據集進行特征提取與編碼的能力,對于常見模態數據可直接采用預訓練網絡,對于工業特殊模態數據則需要重新設計并訓練對應的編解碼器。模型需要進行多模態對齊,調整不同模態數據的向量表征,確保它們在同一語義空間內的一致性,針對工業特殊模態數據的特點,在凍結原有參數的同時重點訓練對應的輸入和輸出映射器。完成注意力對齊后,大模型具備感知工業多模態數據的能力,但仍需進行工業機理內嵌微調,收集相關工業知識并轉換為可用于訓練的嵌入向量特征,通過并入訓練目標、并入大模型的輸入、進行知識圖的指令微調等方法完成工業機理內嵌微調,對于工業機理方程,可將其信息表征為神經網絡可識別的特征信息嵌入模型中,或者添加符合物理規律的后處理模塊實現工業機理內嵌,提高模型輸出的合理性。
工業任務 / 行業模型適配:完成工業大模型的訓練后,基于工業基座大模型,通過模型適配獲得適用于具體工業任務的模型和行業領域模型。模型適配過程包括針對任務模型的任務適配微調以及針對領域模型的行業知識內化。在任務適配微調過程中,對不同的任務準備不同的任務指令集,在任務指令集上對模型進行指令微調,提高模型在專精任務上的表現。完成任務模型微調后,為使模型應用于各個行業時具有更強的適配性,需要進行適配器微調,通過添加小規模適配層而不改變預訓練模型參數,減少訓練成本的同時保留預訓練模型的泛化能力,提高在行業特定數據集上的性能。
工業場景交互應用:主要分為 “人 - 智能體 - 工業賽博物理系統” 交互和高效實時推理增強兩項任務。人、智能體、工業賽博物理系統作為相互交互的主體,形成有機整體。智能體以工業大模型的能力為內核,并增加與應用環境的交互功能,如主動感知、情景記憶、行動規劃、執行控制等,根據多變的工業任務目標,在工業環境中實現主動化的觀測、行動與協作。在模型推理過程中,可以使用檢索增強生成(RAG)技術進行推理效果增強,預先將工業賽博物理系統中的領域或者環境信息編碼為知識圖譜,動態地從外部知識庫中檢索相關信息,并將其與模型當前處理的內容結合起來,增強模型的知識理解和回答能力,該技術特別適用于存在大量動態變化因素的工業環境場景。對于端側算力不足的情況,可以使用工業輕量端側部署加速推理技術實現高效實時推理,通過模型剪枝、模型量化、知識蒸餾等方法對模型進行壓縮與量化,減少使用過程中需要的算力。
4 工業大模型關鍵技術
4.1 工業多模態預訓練技術
工業生產中存在大量多模態數據,如圖像數據、設備運行聲音數據、操作日志中的文本數據、各類傳感器數據等。各模態數據來源和表現形式不同,模型難以直接處理并用于任務決策。因此,需要首先訓練工業模態編碼器和生成器,然后對不同模態的數據在統一語義空間內進行協同對齊編碼和跨模態融合,完成預訓練。
圖 3 工業大模型多模態預訓練
工業自監督預訓練:旨在對模態編碼器、模態生成器和骨干網絡進行預訓練,賦予它們對各自模態數據的語義理解及特征提取能力,涉及對工業領域復雜數據的特征提取與編碼。對于常見模態的數據(文檔、圖像、視頻等),可直接采用預訓練的網絡,預訓練方法包括預測下一個 token 或句子和去噪自編碼任務等。針對時序數據,可通過在特定時間點添加掩碼并預測還原來實現預訓練;對于工業 CAX 數據,可以采取序列化處理并輸入到專門設計的拓撲、幾何等編碼器中,學習各種變化。
工業多模態協同編碼:為解決工業場景下不同數據的模態間未對齊問題,可通過多模態協同編碼方式統一表征,縮小或消除模態間的語義間隔,為后續多模態預訓練奠定基礎。針對不同模態數據的特點進行預處理及特征編碼,文本數據根據工業詞表使用分詞器分詞得到詞元序列并編碼;視覺數據進行標準化預處理后劃分為圖像塊或點簇,通過 2D 或 3D 編碼器轉換為編碼向量;音頻數據采樣并轉換為音頻頻譜,再通過頻譜編碼器輸出音頻向量表征;傳感器數據間隔采樣提取時序點數據進行數值標準化,采用時序編碼模型得到時序編碼向量。
工業跨模態對齊:結合多模態數據的編碼,通過注意力對齊調整不同模態數據的向量表征,確保它們在同一語義空間內的一致性。具體可通過訓練輸入和輸出映射器優化預定義的目標函數實現多模態對齊。多模態預訓練對齊階段通常涉及大規模的文本配對數據,利用自監督學習損失函數優化各模態的編碼器,使各模態在聯合嵌入空間中更為接近。由于工業場景數據模態更豐富,還需設計針對性的工業模態數據對齊方法,如 CAX - 文本匹配、傳感時序數據 - 文本匹配等,并在保持預訓練模塊凍結的同時,重點訓練輸入和輸出映射器. 可采用基于聯合優化的投影轉換跨模態融 合, 或基于交叉注意力的感知增強跨模態融合等方法. 當配對數據較為充足時, 可采用端到端的方式 在混合模態數據進行訓練對齊 [26] , 優化跨模態訓練的穩定性.
4.2 工業機理內嵌微調技術
預訓練完成后,大模型具備了一定的普適性通用化能力,能應對部分任務。然而在工業多場景任務中,由于缺乏工業領域的專業知識和機理,大模型難以準確理解和處理工業問題,輸出結果的可信性也較差。所以,結合工業知識和機理對大模型進行微調十分必要,具體過程如圖 4(工業機理內嵌微調)所示。
圖 4 工業機理內嵌微調
通用知識融合與工業機理內嵌:大模型常用指令微調的方式,即在由人類指令和期望輸出組成的配對集合上,對預訓練后的模型進行微調。為將工業知識融入大模型,首先要從多種渠道收集工業知識,如工藝流程、技術規范等經驗知識。其次,把這些知識轉化為大模型能夠理解和處理的形式,比如創建知識圖譜中的三元組數據(頭實體、關系、尾實體),并利用知識圖嵌入技術將知識轉為嵌入向量特征,用于后續訓練。最后,使大模型融合工業知識,可通過將知識圖譜整合進訓練目標,以及進行知識圖的指令微調來實現。
在將工業機理方程嵌入模型方面,可把機理信息表征為神經網絡能識別的特征信息,嵌入網絡架構中。在模型輸出階段,引導模型輸出符合工業物理規律的結果,例如在損失函數中添加機理方程,對違反物理規律的輸出結果進行懲罰。此外,還能依據機理知識庫中的規則,檢查約束模型輸出,使其符合工業機理,也可以使用仿真工具或專家系統,驗證模型輸出的可信性和準確性。
行業知識適配器微調:完成不同工業任務的模型微調后,為增強模型在各個行業的適配性,還需進行行業知識嵌入微調,讓大模型精通特定行業的專業知識,從而在不同行業發揮更出色的作用。在行業模型微調時,使用適配器微調,既能最大限度保留任務模型的能力,又能顯著增強模型對不同行業的適應能力。之后,準備詳細的行業數據集,在這些數據集上微調模型性能,提升模型在行業專業問題上的表現。
場景知識內化強化自訓練:場景知識內化強化自訓練技術主要用于解決工業行業知識中細分場景標注數據有限的問題。該技術先對小規模標注數據進行初步訓練,然后利用模型生成偽標簽,標注大規模未標注數據,并引入強化學習設定獎勵機制,優化偽標簽質量,進而提升模型性能。在標注數據有限的情況下,這種技術有助于解決工業細分場景問題的場景大模型微調,提高模型訓練效率和精度。
4.3 工業智能體交互推理技術
“人 - 智能體 - 工業賽博物理系統” 交互技術:在工業生產過程中,人、智能體、工業賽博物理系統是三個主要組成部分,具體關系如圖 5(人 - 智能體 - 工業賽博物理系統交互)所示。其中,人包括研發設計師、生產操作工、經營管理人員、運維服務人員等。智能體相較于大模型,具有更強的主動感知和控制工業賽博物理系統的能力。工業賽博物理系統涵蓋了實際生產中的工業設備、控制系統、工業軟件、工業互聯網等,是智能體感知和控制的對象。
圖 5 人 - 智能體 - 工業賽博物理系統交互
在人和智能體的交互過程中,人可根據具體任務需求,為工業智能體設定決策目標。智能體依據目標設定,主動規劃任務流程、優化目標,并分解任務,設計不同的解決方案,同時協調各子流程任務關系。此外,人還能向智能體提供獎懲反饋機制,促使智能體迭代優化自身策略,不斷進化發展。在智能體和工業賽博物理系統的交互過程中,主要任務包括工業環境監控及資源的動態調配等。智能體利用感知能力觀察生產要素條件和生產環境,再通過優化決策能力設計生成相應的控制邏輯,最終控制工業軟件和工業設備,在工業賽博物理系統中完成生產任務。
工業高效實時推理技術:工業大模型采用多種推理加速技術,如模型壓縮、剪枝、量化等,以減少模型的計算量和存儲需求,提高推理速度。同時,它還支持 GPU、TPU 等高性能硬件,進一步加速推理過程,滿足工業應用場景對實時性的高要求。此外,推理加速還有助于降低模型的能耗和成本,提高模型的可用性和普及度。除滿足實時推理需求外,在使用工業大模型進行推理時,還可借助以下技術提升模型表現。
工業知識庫檢索增強生成(RAG)結合了檢索和生成的方法,適用于工業場景中的知識密集型任務。首先構建包含產品設計、工藝流程和設備維護等工業知識的數據庫,然后利用 BM25 和 Dense Retrieval 等高效檢索算法,從知識庫中檢索相關信息,最后基于檢索到的信息,通過大模型生成更準確、更具針對性的回答。在工業制造中,RAG 系統能快速提供技術支持、生成維護手冊和優化生產流程。
prompt 工程是通過設計合適的提示(prompt),引導大模型生成符合用戶需求和期望的文本或響應,是對 prompt 的結構、內容等維度進行優化的 AI 技術。用戶既可以選擇預制模板,也能創建自定義 prompt。
低秩微調(LoRA fine-tuning)是一種低秩適應方法,通過引入少量可訓練參數,實現對大模型的高效微調。由于編碼器經過大量數據預訓練,具有較強且通用的模態先驗,采用低秩微調可避免災難性遺忘問題,同時減少訓練參數量,提升模型訓練速度。
5 工業大模型應用能力與典型場景
基于上述工業大模型構建方法得到的模型,可適用于具體工業場景。本章節將闡述工業大模型的核心應用能力及典型應用場景。
工業大模型核心應用能力:與通用大模型不同,工業大模型面向工業應用需求,在獨特的架構和訓練方法支持下,具備以下 6 種核心應用能力。
圖 6 工業大模型典型應用場景
智能問答能力:工業大模型不僅要有通用大模型的文本理解和生成能力,還應能深入理解并回答工業領域的復雜專業問題,提供即時專業知識支持。例如,通過工業多學科多領域專業知識推理,為全流程制造任務提供問答服務,像創新設計案例知識、制造工藝知識等,大幅提高工業用戶獲取專業知識的效率。
場景認知能力:工業大模型的場景認知能力不局限于視覺圖像識別,還應能理解工業環境中各種動態場景和工況的內在含義,為后續分析和決策奠定基礎。比如,通過分析設備多維傳感信號模式識別潛在故障趨勢,通過生產多工序多任務進度分析識別瓶頸,實現對工業場景語義層面的認知和更精準的生產控制。
過程決策能力:工業產品全生命周期涉及各類決策,如設計方案決策、生產工藝決策、排產調度決策、突發異常應對決策、管理決策等。工業大模型應基于知識和推理給出建議,輔助人們做出決策。例如,學習歷史生產過程中的調度優化方案后,針對柔性制造產線突發插單情況,通過邏輯推理和演算給出優化調度方案的決策建議。
終端控制能力:工業大模型要具備控制各類工業機器和設備等輔助生產工具的能力。與通用大模型局限于數字空間交互不同,工業生產需在物理世界執行,工業大模型借助具身智能體操控物理世界的機器設備。例如,機械手面對陌生產線零部件抓取任務時,工業大模型可根據機器人具身智能體學習的知識和機械手力反饋等實時傳感信號,控制機械手完成抓取和分揀。
內容生成能力:工業大模型不僅能生成工業特定領域的技術知識文檔和報表報告,還能生成 CAX 模型、傳感信號樣本、工藝文件、機器指令等專業化內容。以北京航空航天大學的 “基石” 工業大模型為例,它能生成復雜產品多學科仿真系統代碼、產線數字孿生場景、機器人操控指令、非標零部件切削類生產工藝、工業時序數據樣本、設備健康指標預測模型等,服務于研發設計、生產制造和運維服務等場景。
科學發現能力:工業制造業基于物理化學原理,但仍有許多機理尚未明確。工業大模型具備發現科學機理和高階關聯關系的能力,可服務于新材料、新工藝、新產品、新模式的研發應用。例如,通過大規模多學科跨領域知識關聯學習,識別復雜產品機、電、液、熱、氣、磁多學科耦合機理,揭示新產品設計的物理和化學機理,輔助提出創新的產品工藝設計方案。
制造業產品全生命周期典型應用場景:如圖 6(工業大模型典型應用場景)所示,工業大模型貫穿產品全生命周期,圍繞 6 項核心應用能力形成了典型應用場景。在實際工業生產流程中,工業大模型以工業智能體為載體,與工業場景中的人員和工業賽博物理系統交互,完成特定任務。以下介紹典型業務域應用場景,并以北京航空航天大學的 “基石” 工業大模型原型系統為例給出應用案例。
研發設計:研發設計涵蓋新產品的概念形成、原理設計、原型制作、仿真設計等環節,以確定最終產品規格。傳統研發設計過程,設計人員需查閱大量資料、進行大量演算,再編制復雜的設計文件,工作繁瑣且效率低。工業大模型學習了大量工業知識和設計理論,可根據需求輔助設計文件編制。在工藝知識問答和零件尺寸設計場景中,工業大模型基于工業知識和設計文檔,以對話問答形式提供設計指導,同時運用決策能力自動推演零件參數設計方案,給出合理尺寸設計方案并生成相應設計文件。此外,在新工藝研發過程中,工業大模型能識別化學反應動力學機理,揭示反應機制和影響因素,優化材料合成過程,輔助提出創新的產品工藝設計方案。
生產制造:生產制造是將產品設計方案轉化為實際物品的過程,包括原材料采購、計劃排產、產線優化、加工組裝、質量檢測等環節。在生產制造階段,工業大模型主要在加工工藝生成、生產設備控制、生產計劃安排、產品質量控制等方面提供流程輔助。例如,基于內容生成能力,工業大模型可生成零部件打磨指令軌跡,并轉化為機器人加工指令,控制機器人進行實際加工。同時,利用視覺感知能力實時監控加工狀態,動態調整加工過程。北京航空航天大學 “基石” 工業大模型能根據工業機器控制需求,生成機器操作指令,實現機器人自動抓取等復雜任務。針對非標準零件加工需求,工業大模型基于決策和生成能力,輔助工程師制定精確加工方案,提高生產制造環節的效率。
試驗測試:試驗測試用于檢測評估制造出的產品或半成品的性能、可靠性、安全性等,確保其符合設計要求和行業標準,滿足用戶使用需求。在試驗測試階段,大模型主要輔助試驗方案設計、試驗設備控制、測試結果分析、測試報告生成等流程。例如,工業大模型可生成多模態感知的計量檢測報告,替代人工記錄歸檔,并智能解析試驗數據,給出試驗分析結果,輔助測試人員評估被測件質量。同時,工業大模型跟蹤試驗測試過程,記憶流程操作和測試事件,實現質量追溯問答,精準定位問題部件及問題根因。
經營管理:經營管理是制造業企業為實現經營目標,對生產流程、市場營銷、財務狀況、人力資源等方面進行計劃、組織、協調、控制和優化的過程。在經營管理階段,工業大模型主要對計劃排產、財務報表、產線運行狀態等進行輔助分析,并優化質量、成本、效率條件下的多目標生產模式。例如,工業大模型監測生產經營過程中的各類報表數據,以問答形式向管理人員匯報企業經營狀況,生成企業運營報告,并發出潛在風險預警。它還具備基于決策支持的動態優化能力,能根據訂單插單情況,實時調整生產過程中的資源分配,優化供應鏈和排產計劃。此外,工業大模型能發現多目標優化生產模式,綜合考量成本控制、生產周期、產品質量等因素,基于過往運營大數據關聯分析,改善生產運營模式。
圖 7 具身智能機器人控制指令生成
圖 8 工業零部件工藝自動生成
運維服務:運維服務為制造設備和工業產品提供調試、維修、保養、升級等技術支持和售后服務,確保設備和產品正常穩定運行。例如,工業大模型憑借認知能力實時感知設備運行狀態,發現潛在故障,并通過智能問答為維護人員提供預防性維修建議。此外,工業大模型還能生成運行樣本和健康狀態預測模型輔助運維服務。北京航空航天大學 “基石” 工業大模型可生成工業時序數據樣本,用戶上傳需求后,模型生成帶標簽少樣本的工業時序數據,輔助預防性維護預測。同時,結合歷史退化數據、實時監測數據和生成的大規模數據,以及用戶預測需求,生成工業時序預測模型,預測設備健康狀態,輔助維護決策。
圖 9 工業時序數據樣本生成
圖 10 工業時序預測模型生成
6 工業大模型展望
工業大模型已展現出巨大的應用潛力,作為學術界和產業界關注的焦點,雖已在部分領域開展初步應用探索,但距離廣泛應用仍有較大差距。未來,工業界制造業企業需深入挖掘實際應用需求,提煉典型應用場景,通過實踐和需求推動工業大模型能力的提升。從技術發展角度看,工業領域的應用目標對工業大模型提出了特殊要求,如工業多模態對齊、高可信度和安全性等。工業大模型正朝著機理內嵌、統一模態表征、高可信生成與輸出、具身智能交互、大小模型協同、輕量化、高安全等方向發展。以下對工業大模型未來重點技術發展方向進行展望。
融入工業世界模型和機理知識的新型神經網絡底層架構:當前以 Transformer 為代表的大模型底層神經網絡架構,基于概率輸出,在理解客觀物理世界方面存在不足。而無論是離散制造業還是流程制造業,其物質轉化過程都基于物理化學原理和客觀規律。工業大模型的智能問答、場景認知、過程決策等核心能力的應用,都離不開工業機理的支撐。雖然通用大模型常用的 RAG 技術可檢索外部知識源,但對于復雜的工業機理,難以檢索到精確答案。因此,需對 Transformer 等主流神經網絡架構進行底層改造,探索融入工業世界模型和機理知識的新型架構。
工業多模態數據統一表征:工業大模型需要處理傳感信號時間序列、CAX 模型、工業圖像、工藝文件、機器指令等多模態數據的對齊問題。現有的多模態對齊方法主要針對文本、圖像、視頻等常見模態,無法處理工業應用中的專業化數據模式,跨模式整合語義信息的能力也較弱。未來的工業多模態對齊方法應研究如何對工業多模態數據進行編碼,將不同模態數據表示為統一的語義空間,并開發端到端的工業多模態表示方法,實現不同工業模態的無縫連接和推理。
高可信工業內容生成:工業大模型的生成任務涉及工藝策略、機器控制指令等專業化內容,這些生成結果必須高度準確,不能出現幻覺現象。目前提高模型可信度的方法,如后處理、驗證機制、人工反饋和監督等,雖能減少幻覺出現,但無法根本避免不符合預期的結果。因此,在工業大模型的構建和訓練過程中,應加強知識嵌入,使模型的表征空間更接近真實物理世界,還可考慮構建完整的世界模型,指導工業大模型的訓練和部署。
基于工業具身智能體的新型交互范式:在工業大模型的使用場景中,其不僅以軟件形式存在,還大量依托機器設備等硬件載體。通用大模型主要通過人機交互,不直接作用于物理世界,而工業大模型需借助機器人、加工設備等具身智能體影響和改造物理世界。人 - 工業具身智能體 - 工業賽博物理系統構成的交互協作空間,將是工業大模型的運行環境,需要建立新的交互范式和運行機制。
工業大小模型協同:近年來,工業界企業應用中積累了大量針對具體場景的 AI 小模型,如特定工況下旋轉類設備的故障診斷模型。這些小模型在細分場景解決單一問題時,應用效果可能優于工業大模型。企業引入工業大模型后,需要考慮大小模型的協同問題,明確不同場景下大模型和小模型的適用范圍,發揮各自優勢,獲得最佳效果。
工業任務實時推理控制:工業現場任務對實時性要求極高,如機械臂控制任務需達到毫秒級響應。工業大模型參數量大、計算復雜度高,現有的模型壓縮和加速方法無法滿足工業邊緣推理和實時控制的需求,且過高的壓縮比可能降低模型性能。因此,工業大模型需要在計算成本和模型精度之間尋求平衡,研究新的高效操作符替代資源密集型計算,創建新的分布式計算模型,利用集群智能提高計算效率。
工業場景異構算力適配:不同行業的工業生產場景配備的算力資源不同,如 GPU、CPU、FPGA 等,這些異構計算設備的計算和推理模式差異較大,導致工業大模型難以在這些異構算力下部署。所以,需要研究面向工業大模型的異構算力適配框架,使工業大模型能夠自適應不同生產環境下的異構算力資源計算模式。
工業大模型安全:工業界企業數據包含大量商業秘密,如產品設計方案、工藝文件、訂單任務、經營報表等。工業大模型處理敏感數據時,必須采取有效數據保護措施,防止信息被未經授權的人員或系統訪問、泄露或濫用。未來需研究工業大模型的安全防護方法和技術,既能保護企業隱私數據,又能支持工業大模型的訓練和使用。
7 總結
工業大模型已成為國內外學術界和產業界關注的新焦點。然而,通用大模型在工業領域應用時面臨諸多挑戰,如工業跨模態協同難、高可信輸出難、多場景泛化難、多流程關聯難、高實時推理難等。因此,工業大模型并非通用大模型在工業領域的簡單應用,而是一套全新的理論與技術體系。