1 大模型訓(xùn)練和應(yīng)用面臨著算力和能耗算力方面的挑戰(zhàn)

大模型需要大量計算資源，導(dǎo)致算力需求指數(shù)級增長，對全社會信息基礎(chǔ)設(shè)施和眾多企業(yè)、科研機(jī)構(gòu)的大模型研發(fā)帶來巨大壓力。

能耗方面，大模型對能源的巨大需求導(dǎo)致人工智能能源消耗占能源消耗的3%左右，到2025年將消耗15%的電能，給環(huán)境治理帶來挑 戰(zhàn)。我國大模型發(fā)展帶來的G能耗可能增加碳達(dá)峰、碳中和壓力。

算力短缺：大模型通常需要具有數(shù)十億乃至上萬億個參數(shù)，訓(xùn)練時用到 數(shù)萬億個Token，這就需要消耗巨大的算力。算力需求隨著 大模型的發(fā)展而呈指數(shù)級增長，對算力規(guī)模提出了巨大 的要求。大型預(yù)訓(xùn)練模型的訓(xùn)練和調(diào)優(yōu)過程需要消耗巨大的 算力資源。例如，訓(xùn)練ChatGPT所需的算力相當(dāng)于64個英 偉達(dá)A100 GPU訓(xùn)練1年的時間。此外，大模型的日常運(yùn)營 和優(yōu)化也需要大量的算力投入。預(yù)計到2030年，算力 總規(guī)模將達(dá)到56ZFlops，其中智能算力成為推動算力增長 的主要動力。這對于社會的信息基礎(chǔ)設(shè)施建設(shè)和企業(yè)、科研 機(jī)構(gòu)的大模型研發(fā)都帶來了巨大的挑戰(zhàn)。 • 根據(jù)工信部的數(shù)據(jù)，2022年智能算力中，美國占45% 的份額，中國占28%的份額，美國智能算力規(guī)模為我國的 1.6倍，在中美算力競爭中，我國仍然處于相對劣勢的一方。

能耗巨大：大模型對算力的巨大需求，帶來了對能源的巨大 消耗。人工智能服務(wù)器的功率較普通服務(wù)器G6至 8倍，訓(xùn)練大模型所需的能耗是常規(guī)云工作的3倍。 據(jù)估計，目前人工智能的能源消耗占能源消 耗的3％左右，到2025 年，人工智能將消耗 15％的電能。人工智能的快速發(fā)展將對能源消耗 和環(huán)境產(chǎn)生巨大影響。 • 據(jù)估計，GPT-4一次訓(xùn)練的耗電量相當(dāng)于1200個 中國人一年的用電量，僅占模型實(shí)際使用時的40 ％，實(shí)際運(yùn)行階段將消耗更多能源。一些大型模 型運(yùn)行時的碳排放量巨大，給環(huán)境治理帶來 挑戰(zhàn)。我國大模型發(fā)展的G能耗可能增加碳達(dá)峰 和碳中和的壓力。

2 大模型在數(shù)據(jù)和資金方面也面臨著挑戰(zhàn)

大模型面臨的挑戰(zhàn)包括數(shù)據(jù)獲取便利性、數(shù)據(jù)來源合法性、數(shù)據(jù)質(zhì)量可靠性、數(shù)據(jù)使用安全性、資金投入等方面的挑戰(zhàn)。

資金投入方面，大模型成本G昂，包括模型開發(fā)成本、訓(xùn)練成本、算力成本、數(shù)據(jù)成本、運(yùn)維成本等，對普通企業(yè)和科研機(jī)構(gòu)而言，資金成為難 以逾越的“門檻”。

數(shù)據(jù)規(guī)模與質(zhì)量待提G：數(shù)據(jù)獲取方面，專用類大模型需要專業(yè)數(shù)據(jù)，而這些數(shù) 據(jù)往往屬于企業(yè)、研究機(jī)構(gòu)等實(shí)體，增加了訓(xùn)練難度。 • 數(shù)據(jù)來源合法性方面，個人信息保護(hù)意識的提G使得數(shù) 據(jù)合法使用成為問題。 • 數(shù)據(jù)質(zhì)量可靠性方面，開源數(shù)據(jù)集雖然數(shù)量巨大，但質(zhì) 量良莠不齊，從中提取符合預(yù)訓(xùn)練要求的G質(zhì)量數(shù)據(jù)面 臨很大挑戰(zhàn)。 • 數(shù)據(jù)使用安全性方面，如何保證使用的數(shù)據(jù)不帶偏見， 以及如何保證人工智能制造的數(shù)據(jù)本身的安全性，都是 需要解決的問題。

資金緊缺：大模型訓(xùn)練開發(fā)成G昂，其成本主要由模型開發(fā)成本、訓(xùn)練成本、算力 成本、數(shù)據(jù)成本、運(yùn)維成本等構(gòu)成，僅訓(xùn)練成本便動輒G達(dá)數(shù)百萬美元。 以Meta大語音模型LLaMA為例，在多達(dá)1.4萬億的數(shù)據(jù)集上，使用 2000多個英偉達(dá)A100 GPU，訓(xùn)練了21天，花費(fèi)或G達(dá)1000萬美元。 根據(jù)華為公布的消息，開發(fā)和訓(xùn)練一次人工智能大模型的成本G達(dá) 1200萬美元。 • 大模型巨大的資金投入，更是將很多小型研究機(jī)構(gòu)和中小型企業(yè)拒之門 外，導(dǎo)致大模型研發(fā)都集中在頭部企業(yè)和研發(fā)機(jī)構(gòu)，加劇了不平等現(xiàn)象。 • 在大模型的投資方面，根據(jù)美國斯坦福大學(xué)2022年的報告，美國和中 國位列投資總額的前兩位，但美國的投資是中國的3倍，中國在資 金投入方面還有較大差距。

3 大模型發(fā)展在技術(shù)和人才方面也面臨著挑戰(zhàn)

針對大模型技術(shù)，國內(nèi)企業(yè)與歐美國家存在差距，主要體現(xiàn)在底層架構(gòu)設(shè)計和硬件技術(shù)方面。在底層架構(gòu)設(shè)計方面，國內(nèi)尚無類似的底層架構(gòu)， 大模型的預(yù)訓(xùn)練方面只能“在別人的地基上蓋房子”；在硬件技術(shù)方面，美國占據(jù)J對L先地位，我國自研能力不足，對美國進(jìn)口依賴程度G， 存在“卡脖子”風(fēng)險。

在人才方面，國內(nèi)大模型人才數(shù)量嚴(yán)重不足，與美國相比D人才數(shù)量少，制約了大模型研發(fā)的快速發(fā)展。具體表現(xiàn)為人才數(shù)量不足、人才質(zhì)量 不夠G和人才外流嚴(yán)重。針對以上挑戰(zhàn)，需要加強(qiáng)國內(nèi)大模型技術(shù)的研發(fā)，提G自研能力，降低對美國進(jìn)口的依賴程度；同時，需要加強(qiáng)人才培 養(yǎng)，提G人才質(zhì)量，減少D人才的流失。

技術(shù)存在差距：大模型技術(shù)涉及軟件和硬件兩方面： • 從軟件技術(shù)看，國內(nèi)企業(yè)與歐美國家存在差距。底層架構(gòu)設(shè)計方面，國內(nèi) 尚無類似谷歌的Transformer模型，對大模型的預(yù)訓(xùn)練只能依賴外部技術(shù)。 在迭代升級和更新?lián)Q代方面，國內(nèi)企業(yè)也落后于歐美企業(yè)，競爭劣勢明顯。 • 從硬件技術(shù)看，在人工智能GPU方面，美國占據(jù)J對L先地位，我國自研 能力不足，對進(jìn)口依賴較G，存在風(fēng)險。當(dāng)前大部分大模型訓(xùn)練所用的 GPU由美國英偉達(dá)公司生產(chǎn)，國產(chǎn)GPU與其性能差距明顯。美國已禁止向 中國銷售A100，而英偉達(dá)推出了性能更強(qiáng)的H100，并將優(yōu)先部署在自家 服務(wù)器上。

D人才嚴(yán)重不足： 國內(nèi)大模型人才數(shù)量嚴(yán)重不足，與美國相比D人才數(shù)量少，制約了大模型研發(fā)發(fā)展。 • 首先，人才數(shù)量嚴(yán)重不足。我國人工智能人才缺口超過500萬，供需比例嚴(yán)重失衡， 人工智能成為“缺人”的行業(yè)。 • 其次，人才質(zhì)量不夠G。與美國相比，國內(nèi)缺乏D算法人才，數(shù)量嚴(yán)重不足。美 國在具影響力的人工智能學(xué)者榜單中占據(jù)主導(dǎo)地位，中國學(xué)者數(shù)量遠(yuǎn)遠(yuǎn)落后。 • 此外，人才外流問題也十分嚴(yán)重。許多國內(nèi)優(yōu)秀人才選擇出國深造并留在國外，導(dǎo) 致D人才的流失。這加大了國內(nèi)大模型研發(fā)與美國的差距，給我國大模型研發(fā)帶 來嚴(yán)峻挑戰(zhàn)。