11月26日，在湖北武漢舉行的2024東湖國際人工智能高峰論壇上，“紫東太初”大模型3.0全球首發。
2021年發布的“紫東太初”大模型1.0是全球首個圖文音三模態大模型，由中國科學院自動化研究所聯合武漢人工智能研究院研發。2023年，“紫東太初”大模型2.0發布，其在原有三模態基礎上，進一步融入視頻、信號、3D點云等多種模態數據，具備全模態理解能力、生成能力和關聯能力。
日前在2024年世界科技與發展論壇期間發布的《2024年人工智能十大前沿技術趨勢展望》中，“全模態大模型：打破數據壁壘”被列入其中。與多模態大模型相比，全模態大模型有何不同之處？它將為相關行業帶來哪些變化？科技日報記者就這些問題采訪了相關專家。
延伸升級多模態
全模態大模型是一個綜合性概念，指的是一種能夠處理、理解和生成多種模態數據的人工智能模型。中國科學院自動化研究所紫東太初大模型研究中心常務副主任、武漢人工智能研究院院長王金橋解釋，多種模態包括但不限于文本、圖像、音頻、視頻、傳感器數據，以及結構化和非結構化數據等。
“全模態大模型的核心目標是通過統一架構，完成多模態數據的感知、理解、生成和推理任務，提供通用解決方案，而無需針對特定模態單獨開發模型。”北京科技大學智能科學與技術學院副教授王耀祖介紹，全模態大模型致力于實現模態間的無縫交互與信息融合，構建一個統一的智能體系。
相比于全模態大模型，多模態大模型這一概念似乎更廣為人知。“從單模態到多模態，再到全模態是人工智能大模型技術發展的必然趨勢。”王金橋認為，全模態大模型在多模態大模型的基礎上，進一步融合了更多種類的模態數據，提升了模型的認知、理解和創作能力。因此，全模態大模型可以被視為多模態大模型的延伸和升級。
王耀祖解釋，傳統的人工智能系統需要為每種模態開發單獨的模型，造成數據孤立和互通困難。而全模態大模型通過統一的表征學習，將不同模態的數據映射到同一個語義空間，能夠消除模態隔閡，實現數據的跨模態融合和協作。
全模態大模型還可提升數據利用效率。在傳統架構中，數據通常以模態為單位獨立存儲和處理，可能造成數據重復存儲和浪費。而全模態大模型則允許系統以更加集約化的方式處理多模態數據。
“全模態大模型有望解決‘數據孤島’問題。”王耀祖介紹，在醫療、工業制造、金融等行業，數據常以模態為劃分依據，彼此孤立。全模態大模型能夠作為橋梁，連接這些“孤島”，并挖掘出它們深層次的關聯。
促進智能化發展
目前，一些國產大模型不斷提升多模態能力，在眾多領域落地。今年6月，華為云盤古大模型5.0發布，在全系列、多模態、強思維三個方面全新升級。盤古大模型5.0能更好更精準地理解物理世界，包括文本、圖片、視頻、雷達、紅外、遙感等更多模態。盤古大模型已在30多個行業、400多個場景中落地，在政務、金融、制造、醫藥研發、煤礦、鋼鐵、鐵路、自動駕駛、工業設計、建筑設計、氣象等領域發揮積極作用。王耀祖舉例說，湖南鋼鐵集團與湖南移動、華為合作聯合開發的湘鋼盤古大模型，實現全廠關鍵設備在線監測、提前預警和智能診斷，生產作業率提高20%；實現產品質量在線判定、一鍵追溯和一鍵分析，分析效率提升60%。
“紫東太初”大模型在多領域發力，持續賦能行業智能化發展。在該大模型加持下，武漢人工智能研究院與華工科技打造的智能焊接智能體直接支持25種焊接工藝自動化焊接；與九州通合作研發的智慧系統，支持1萬多種醫療骨科器械和耗材自動化的管理；與國家體育總局推出面向奧運人才體教融合的大模型……
王耀祖說，在現有大模型的基礎上，未來的全模態大模型可以整合更加多樣的數據類型，讓分析更準確、決策更智能、控制更精準。
王金橋認為，在醫療領域，全模態大模型可以更高效處理各種模態的海量病歷數據，進行臨床癥狀描述并檢驗檢查結果，為醫生提供更加全面、精準的診斷建議；在交通領域，它將進一步助力智能交通系統建設，提升交通運輸效率和安全性，有效緩解交通擁堵；在教育領域，它能為每個學生量身定制學習方案，提高學習效果和學生滿意度……
“憑借超大規模參數和復雜計算結構，全模態大模型在多個行業中展現出巨大應用潛力，未來能夠助力許多行業實現智能化、高效化和個性化發展。”王金橋說。
開發仍面臨難題
受訪專家認為，全模態大模型有利于進一步拓展人工智能的應用場景，但這并不意味著全模態大模型將完全替代多模態大模型。王金橋說，在某些特定應用場景下，多模態大模型已經能滿足需求，這種情況就無需引入全模態大模型。
王耀祖也認為，多模態大模型通常針對特定模態組合進行優化，適用于特定領域應用。全模態大模型雖然通用性強，但可能在某些領域表現不如專門設計的多模態大模型。同時，全模態大模型對計算資源的需求遠高于多模態大模型。對于許多中小型企業或資源受限的場景而言，多模態大模型仍是更為實際的選擇。
“全模態大模型的開發與應用，本身還面臨著一系列挑戰，涉及技術、數據、資源、行業接受度等多個方面。”王金橋說，全模態大模型需要大量高質量數據進行訓練，收集、整理和標注這些數據可能耗費大量資源。數據的質量和多樣性對大模型的性能有很大影響，而某些領域的數據可能難以獲得或獲取成本過高。
王耀祖還提到，大模型容易受到數據偏差的影響，可能生成帶有偏見或有害的內容。此外，大模型在處理隱私信息時也存在一定風險。因此，開發全模態大模型時，還需要進一步研究、監測大模型中的潛在偏見，并且在訓練過程中引入隱私保護機制，以保護用戶數據安全。
“未來，我們需要優化數據采集與處理、簡化模型結構、加強行業合作與定制化開發、建立倫理和監管框架，逐步克服難題，推動全模態大模型在更多領域應用。”王金橋說。
