2024 年大模型技術(shù)快速演進(jìn)，相較于 2023 年的大小模型之 爭(zhēng)，技術(shù)的進(jìn)步方向逐步向應(yīng)用落地方向傾斜，降低端側(cè)模型 部署門(mén)檻，縮短模型推理時(shí)延，提升模型交互能力，大模型的 發(fā)展迎來(lái)了新的變化。本文將從技術(shù)視角梳理 2024 年以來(lái)大模 型各個(gè)L域發(fā)生的變化，以行業(yè)L先實(shí)踐為佐證，提出大模型技術(shù)演進(jìn)方向。語(yǔ)言大模型發(fā)展迎來(lái)新范式，通過(guò)強(qiáng)化學(xué)習(xí)優(yōu) 化內(nèi)部思維鏈策略，以提升復(fù)雜邏輯推理能力。多模態(tài)大模型架構(gòu)正向端到端演進(jìn)，決策準(zhǔn)確性和靈敏度提升推動(dòng)機(jī)器人場(chǎng)景應(yīng)用落地。在視頻生成L域，DiTs 架構(gòu)的可擴(kuò)展性?xún)?yōu)勢(shì)顯現(xiàn)， 推動(dòng) AI應(yīng)用商業(yè)化。在硬件部署方面，模型壓縮、安全控制等 技術(shù)正降低部署門(mén)檻。在智能體實(shí)踐方面，垂類(lèi)大模型開(kāi)始在 智能終端環(huán)境應(yīng)用。在合成數(shù)據(jù)策略方面，自我獎(jiǎng)勵(lì)語(yǔ)言模型 生成合成數(shù)據(jù)，試圖打破數(shù)據(jù)瓶頸。

一、語(yǔ)言大模型的新范式：強(qiáng)化學(xué)習(xí)優(yōu)化思維鏈

規(guī)模定律的延伸

在2024年之前，語(yǔ)言大模型的“規(guī)模定律”已經(jīng)得到了業(yè)界的廣泛認(rèn)可。模型參數(shù)的擴(kuò)展、數(shù)據(jù)集質(zhì)量的提升以及人工微調(diào)，使得語(yǔ)言模型展現(xiàn)出了前所未有的泛化能力和通用能力。然而，2024年的技術(shù)進(jìn)步，將這一定律延伸至后訓(xùn)練階段。

OpenAI的o1推理大模型

今年9月，OpenAI公開(kāi)發(fā)布的o1推理大模型，通過(guò)強(qiáng)化學(xué)習(xí)優(yōu)化模型內(nèi)部思維鏈推理邏輯步驟，模擬人的思考過(guò)程，加深對(duì)問(wèn)題的理解程度，從而提升處理復(fù)雜推理任務(wù)的能力。這一技術(shù)突破，標(biāo)志著語(yǔ)言大模型的發(fā)展迎來(lái)了新范式。

強(qiáng)化學(xué)習(xí)的威力

通過(guò)強(qiáng)化學(xué)習(xí)，模型學(xué)會(huì)了精煉思維鏈并優(yōu)化所用策略，識(shí)別并糾正錯(cuò)誤，將復(fù)雜步驟分解為更簡(jiǎn)單的部分，并在當(dāng)前方法無(wú)效時(shí)嘗試不同的途徑。這一過(guò)程顯著提升了模型的推理能力，在多個(gè)G難度推理基準(zhǔn)測(cè)試中，o1的表現(xiàn)超越了人類(lèi)專(zhuān)家和GPT-4o，展示了其強(qiáng)大的推理能力和專(zhuān)業(yè)知識(shí)。

二、多模態(tài)大模型：端到端架構(gòu)的演進(jìn)

跨模態(tài)到端到端的轉(zhuǎn)變

過(guò)去，多模態(tài)大模型多采用基于語(yǔ)言模型為主干的跨模態(tài)架構(gòu)，通過(guò)模態(tài)特定的編碼器轉(zhuǎn)化為統(tǒng)一的向量表示后再輸入語(yǔ)言模型。但這樣的架構(gòu)帶來(lái)了任務(wù)響應(yīng)時(shí)間長(zhǎng)、模態(tài)間交互細(xì)節(jié)損失的問(wèn)題。

端到端架構(gòu)的優(yōu)勢(shì)

2024年以來(lái)，以GPT-4o、Gemini為代表的多模態(tài)大模型開(kāi)始使用端到端支持多種模態(tài)統(tǒng)一輸入輸出的模型架構(gòu)。這一架構(gòu)通過(guò)簡(jiǎn)化模型的輸入接口，減少模態(tài)間的信息損失，提升了模型處理即時(shí)任務(wù)的響應(yīng)時(shí)間。

英偉達(dá)的GR00T項(xiàng)目

在2024GTC大會(huì)上，英偉達(dá)發(fā)布了人形機(jī)器人項(xiàng)目GR00T，基于控制、執(zhí)行和決策三個(gè)層級(jí)分層實(shí)現(xiàn)模型的端到端訓(xùn)練學(xué)習(xí)，通過(guò)合并反向反饋得到準(zhǔn)確輸出結(jié)果，大幅提升了機(jī)器人處理復(fù)雜任務(wù)的精度、G效性以及靈活性。

三、視頻生成L域的突破：DiTs架構(gòu)的可擴(kuò)展性

DiTs架構(gòu)的優(yōu)勢(shì)

2024年以來(lái)，國(guó)內(nèi)外科技大廠發(fā)布的視頻生成模型多以DiTs為基礎(chǔ)，基于Transformer架構(gòu)的擴(kuò)散模型在視頻生成任務(wù)中可擴(kuò)展性?xún)?yōu)勢(shì)凸顯。相較于原先的U-Net卷積網(wǎng)絡(luò)架構(gòu)，Transformer骨干架構(gòu)可以提供基于參數(shù)規(guī)模和訓(xùn)練數(shù)據(jù)量提升而帶來(lái)更優(yōu)越的性能。

OpenAI的Sora視頻生成模型

OpenAI發(fā)布的視頻生成模型Sora基于DiTs架構(gòu)，在生成視頻的像素穩(wěn)定性、前后邏輯連續(xù)性以及信息丟失等方面有大幅提升。Sora在數(shù)據(jù)處理和視頻標(biāo)注L域做了創(chuàng)新，基于視頻編碼器將樣本空間數(shù)據(jù)進(jìn)行時(shí)間空間維度壓縮和Patch化處理，再通過(guò)相應(yīng)解碼器實(shí)現(xiàn)隱空間向視頻像素空間的映射，以訓(xùn)練新的視頻壓縮網(wǎng)絡(luò)實(shí)現(xiàn)長(zhǎng)視頻生成的能力。

Meta Movie Gen視頻生成模型

Meta Movie Gen視頻生成模型發(fā)布，其在原先視頻生成模型架構(gòu)的基礎(chǔ)上，疊加了一個(gè)13B參數(shù)轉(zhuǎn)換器模型Meta Gen Audio，通過(guò)數(shù)百萬(wàn)個(gè)小時(shí)的音頻參考數(shù)據(jù)的對(duì)比總結(jié)，Meta Gen Audio可準(zhǔn)確匹配聲音和畫(huà)面之間的對(duì)應(yīng)關(guān)系，根據(jù)不同情緒和環(huán)境的提示詞，找到與畫(huà)面出色契合的音樂(lè)。

四、硬件部署實(shí)踐：端云結(jié)合架構(gòu)的創(chuàng)新

蘋(píng)果的Apple Intelligence

蘋(píng)果在2024年6月發(fā)布的Apple Intelligence為大模型硬件部署實(shí)踐提供了很好的指引。Apple Intelligence采用端云結(jié)合方案，分別在設(shè)備端和服務(wù)器端部署大小語(yǔ)言模型（AFM-on-device和AFM-server），不同應(yīng)用可以通過(guò)統(tǒng)一的語(yǔ)義索引、意圖檢測(cè)等工具調(diào)用AFM模型。

量化壓縮疊加適配器架構(gòu)

為保障在端側(cè)設(shè)備上運(yùn)行模型同時(shí)避免精度上損失，蘋(píng)果創(chuàng)新推出量化壓縮疊加適配器的架構(gòu)，一方面采用量化壓縮的方法降低模型大小，同時(shí)通過(guò)LoRA適配器來(lái)恢復(fù)量化模型的精度。

Responsible AI原則

蘋(píng)果制定了Responsible AI原則，包括用戶賦能、代表、謹(jǐn)慎設(shè)計(jì)、隱私保護(hù)四大原則，被整合到基礎(chǔ)模型開(kāi)發(fā)的每一個(gè)環(huán)節(jié)中，包括數(shù)據(jù)的收集與處理、模型訓(xùn)練、模型評(píng)估、用戶反饋等。

LLM-in-a-flash技術(shù)

蘋(píng)果研發(fā)了LLM-in-a-flash技術(shù)，讓大模型可以不受限于DRAM的限制，在推理時(shí)將參數(shù)加載至閃存中來(lái)輔助完成計(jì)算，分擔(dān)存儲(chǔ)壓力，從而降低端側(cè)設(shè)備部署大模型門(mén)檻。

附件：2024年AI大模型技術(shù)變遷情況回溯：技術(shù)演進(jìn)方向,推動(dòng)機(jī)器人場(chǎng)景應(yīng)用落地,AI應(yīng)用商業(yè)化