易觀分析發(fā)布《2025年AI產(chǎn)業(yè)發(fā)展十大趨勢》報告，后續(xù)將針對十大趨勢分別進行解析：
趨勢之二：多模態(tài)模型能力持續(xù)升級，朝向多模態(tài)理解和生成的統(tǒng)一發(fā)展
當前自然語言、音頻、視頻等多個模態(tài)的理解與生成能力均提升顯著，在模型創(chuàng)新、跨模態(tài)能力提升、性能優(yōu)化上有進展，并涌現(xiàn)出不少基于多模態(tài)模型的應(yīng)用和探索。目前多模態(tài)大模型主要有兩種思路，具體如下：
具體來說，當前多模態(tài)模型的進展如下：
l新模型不斷涌現(xiàn)
研究機構(gòu)和企業(yè)不斷推出性能強大的多模態(tài)模型，例如智源人工智能研究院 Emu3，是全球首個原生多模態(tài)世界模型，通過自回歸技術(shù)結(jié)合圖像、文本和視頻三種模態(tài)，在圖像生成、視覺語言理解和生成方面表現(xiàn)出色。
l訓練方法優(yōu)化
訓練方式不斷創(chuàng)新，例如新的聯(lián)合訓練策略，即在訓練過程中先固定大語言模型的權(quán)重參數(shù)，對圖像編碼器和橋接組件進行初步訓練，然后再對整個模型進行整體訓練，這種分階段的訓練方式有助于提高模型的性能和效率。
l跨模態(tài)交互能力增強
能夠更好地理解和關(guān)聯(lián)不同模態(tài)之間的信息，實現(xiàn)更精準的跨模態(tài)交互和轉(zhuǎn)換，例如，可以根據(jù)文本描述生成高質(zhì)量的圖像或視頻，也可以理解圖像或視頻內(nèi)容并生成相關(guān)的文本描述，并且在語義一致性方面有了很大提升。
l性能提升
計算效率提高，多模態(tài)模型計算速度加快、響應(yīng)時間縮短，可快速處理分析數(shù)據(jù)滿足實時需求。同時，模型結(jié)構(gòu)與訓練方法優(yōu)化使精度提升，在圖像、語音、自然語言處理等任務(wù)準確率和召回率顯著提高。
面對現(xiàn)實世界，信息是以多種模態(tài)存在的，如文本、圖像、音頻、視頻等。人類的認知過程是多模態(tài)的，我們通過視覺、聽覺、觸覺等多種方式感知世界。然后，上述在多模型能力方面的進展，通常都是將理解和生成任務(wù)分開處理，使用獨立的模型分別應(yīng)對，多模態(tài)模型的統(tǒng)一有助于使其更接近人類的認知模式，從而更好地理解和處理復(fù)雜的自然場景，增強人機交互體驗，拓展更廣泛的應(yīng)用領(lǐng)域。相應(yīng)地，多模態(tài)理解和生成的統(tǒng)一是當下多模態(tài)模型能力提升的重要發(fā)展方向。
無論是上述何種思路，多模態(tài)整體上需要在如下方向進一步研究與提升，從而實現(xiàn)更廣泛的應(yīng)用落地：
技術(shù)發(fā)展
l增強跨模態(tài)理解能力
不同模態(tài)的數(shù)據(jù)（如文本、圖像、音頻、視頻等）具有各自獨特的特征和表達方式，統(tǒng)一發(fā)展能更好地建立起不同模態(tài)之間的關(guān)聯(lián)和映射，讓模型更準確、深入地理解各模態(tài)信息的內(nèi)在聯(lián)系和語義一致性
l提高模型的泛化能力
單一模態(tài)的模型往往只能處理特定類型的數(shù)據(jù)，在面對復(fù)雜多變的實際場景時可能表現(xiàn)不佳。而多模態(tài)模型的統(tǒng)一發(fā)展可以整合多種模態(tài)的信息，使模型能夠從多個角度對事物進行理解和分析，從而提高模型的泛化能力，適應(yīng)不同的應(yīng)用場景和數(shù)據(jù)變化
數(shù)據(jù)管理
l促進數(shù)據(jù)融合和共享
多模態(tài)模型的統(tǒng)一發(fā)展需要對不同模態(tài)的數(shù)據(jù)進行融合和處理，這將推動數(shù)據(jù)的標準化和規(guī)范化，促進不同來源、不同格式的數(shù)據(jù)之間的融合和共享
l緩解數(shù)據(jù)稀缺問題
某些模態(tài)的數(shù)據(jù)可能比較稀缺或難以獲取，而多模態(tài)模型的統(tǒng)一發(fā)展可以通過利用其他模態(tài)的數(shù)據(jù)來彌補某一模態(tài)數(shù)據(jù)的不足
應(yīng)用落地
l拓展應(yīng)用場景
統(tǒng)一的多模態(tài)模型可以打破不同模態(tài)之間的界限，為各種創(chuàng)新應(yīng)用場景的開發(fā)提供了可能。例如，在文化娛樂領(lǐng)域，可以打造出具有多模態(tài)交互功能的虛擬現(xiàn)實（VR）或增強現(xiàn)實（AR）游戲，讓玩家沉浸在更加豐富的虛擬世界中等
l降低應(yīng)用成本
對于企業(yè)和開發(fā)者來說，使用統(tǒng)一的多模態(tài)模型可以減少對不同單一模態(tài)模型的開發(fā)和維護成本
l提高應(yīng)用效率和質(zhì)量
多模態(tài)模型的統(tǒng)一發(fā)展使得不同模態(tài)的數(shù)據(jù)能夠在一個模型中進行協(xié)同處理，減少了數(shù)據(jù)在不同模型之間的轉(zhuǎn)換和傳輸時間，提高了應(yīng)用的效率。同時，統(tǒng)一模型能夠更好地整合多模態(tài)信息，做出更準確、更全面的決策和判斷，從而提高應(yīng)用的質(zhì)量和可靠性
以上觀點摘錄自《2025年AI產(chǎn)業(yè)發(fā)展十大趨勢》