DeepSeek通過模型算法優(yōu)化，在顯著降低訓(xùn)練成本與能耗的情形下，實(shí)現(xiàn)了與國際頂尖大模型相當(dāng)?shù)闹悄芩健τ谒懔π袠I(yè)的電力需求而言，一方面，DeepSeek的系列優(yōu)化技術(shù)可以有效減少芯片運(yùn)算，降低當(dāng)前算力行業(yè)的電力需求；另一方面，DeekSeek將適配更多的國產(chǎn)GPU芯片，有效緩解“卡脖子”問題并激發(fā)社會的普遍應(yīng)用，進(jìn)而導(dǎo)致用電總量的提升。因此，有必要分析DeepSeek的電力影響邏輯，研判未來算力行業(yè)的電力需求變化趨勢并有效應(yīng)對。
技術(shù)上看，DeepSeek引領(lǐng)的算法優(yōu)化、疊加開源的傳播優(yōu)勢，將促使算力行業(yè)由“算力”驅(qū)動轉(zhuǎn)向“算力+算法”并重，進(jìn)而影響未來算力行業(yè)的電力需求。
以ChatGPT為代表的傳統(tǒng)大模型，主要由堆砌算力和樣本量提升大模型能力。DeepSeek帶來的系列大模型技術(shù)，通過“樣本、架構(gòu)、編程、應(yīng)用”四方面優(yōu)化算力需求，將影響未來算力行業(yè)的電力需求邏輯。
樣本方面，傳統(tǒng)的通算、智算訓(xùn)練一般采用32位或16位精度，而DeepSeek的訓(xùn)練采用了16位和8位混合精度框架。如未來算力行業(yè)均采用該精度，則相較于傳統(tǒng)的32位精度，訓(xùn)練量將降低50%，甚至75%。且隨著GPU芯片對低精度樣本更好地適配，將帶來算效的提升，從而使訓(xùn)練能耗顯著降低。
架構(gòu)方面，通過僅激活部分參數(shù)，大模型推理可以實(shí)現(xiàn)更低的算力消耗。DeepSeek的MLA和MOE架構(gòu)，相較于其他大模型激活的參數(shù)量占比更少，疊加“開源”優(yōu)勢，有望吸引其他大模型模仿學(xué)習(xí)。若其他大模型未來推理過程中，激活參數(shù)占比降至DeepSeek同等水平，則能夠整體降低推理能耗的60%~70%。
編程方面，DeepSeek通過高水平編寫更底層的PTX語言，繞開英偉達(dá)成熟的CUDA架構(gòu)，提升GPU利用率（MFU）約60%，向全球展示了算力緊張情景下的高效解決方案。但該技術(shù)的實(shí)現(xiàn)依賴于高級編程人才，預(yù)計(jì)多數(shù)大模型公司仍將選擇CUDA架構(gòu)，未來能耗壓降有限，但能有效緩解算力“卡脖子”問題。
應(yīng)用方面，DeekSeek使用知識蒸餾技術(shù)，從6710億全參數(shù)模型中蒸餾出15億、70億、140億、700億參數(shù)的多類型小模型，避免重新訓(xùn)練。由于“免費(fèi)+開源”的疊加效應(yīng)，DeepSeek極大降低了大模型應(yīng)用門檻，預(yù)計(jì)未來社會應(yīng)用將爆發(fā)式增長，帶動能耗的整體上升。
行業(yè)來看，DeepSeek引發(fā)的生態(tài)變革，疊加國內(nèi)政策與國際競合因素，將促使社會應(yīng)用需求發(fā)生變化，預(yù)計(jì)未來將呈現(xiàn)出“先穩(wěn)后升”的用電態(tài)勢。
模型技術(shù)主要影響算力需求，除算力需求外，用電量還受到數(shù)據(jù)中心PUE、算力設(shè)備負(fù)載率等因素的綜合影響。DeepSeek引發(fā)模型技術(shù)之外行業(yè)生態(tài)變革，可能改變行業(yè)生態(tài)因素，從而影響整體用電需求。
目前，我國智能算力占比不足40%，雖然預(yù)計(jì)在2028年將達(dá)到75%，但目前仍以通用算力為主。DeepSeek帶來模型技術(shù)變革，當(dāng)前主要作用于智算行業(yè)，通算和超算行業(yè)應(yīng)用該類技術(shù)需進(jìn)一步適配和調(diào)整。因此，DeepSeek帶來的能耗壓降影響，將不會在短期內(nèi)大量釋放。
傳統(tǒng)大模型對算力規(guī)模的高要求，決定了主要的訓(xùn)練工作在中大型算力中心完成。DeepSeek對算力規(guī)模需求的降低，將使得中小型算力中心也具備模型訓(xùn)練和微調(diào)的能力。一方面，社會使用的擴(kuò)大將對沖掉部分先進(jìn)技術(shù)對能耗的壓降；另一方面，中小型算力中心PUE（約1.3~1.5）相較于大型算力中心PUE（約1.1~1.3）普遍較高，也將對沖掉部分能耗壓降的規(guī)模。
目前，英偉達(dá)GPU市場占有率超過90%，隨著AMD、華為等公司宣布針對DeepSeek進(jìn)行芯片適配，英偉達(dá)的芯片壟斷將被打破，引入競爭將進(jìn)一步降低GPU價(jià)格。根據(jù)杰文斯悖論，預(yù)計(jì)芯片國產(chǎn)化適配后，未來大模型在制造、信息、材料、家居等行業(yè)的應(yīng)用將更為普遍，長遠(yuǎn)來看將進(jìn)一步拉升全社會用電量。
能源行業(yè)有必要積極關(guān)注社會訓(xùn)練、推理算力的用電趨勢分化，未來可以考慮將部分社會應(yīng)用模式創(chuàng)新納入能源行業(yè)大模型應(yīng)用體系。
從全國一體化算力網(wǎng)加快建設(shè)的態(tài)勢來看，未來訓(xùn)練需求將集中于各樞紐節(jié)點(diǎn)。短期內(nèi)，DeepSeek模型優(yōu)化技術(shù)將對沖訓(xùn)練需求上升，電力電網(wǎng)設(shè)施配套不宜過早、過多、過快；長遠(yuǎn)看，未來訓(xùn)練算力需求將持續(xù)增加，樞紐節(jié)點(diǎn)是算力保電重點(diǎn)，有必要因時(shí)因地、分層分級地精細(xì)劃分裕度區(qū)間，避免資源錯(cuò)配錯(cuò)位。
研究認(rèn)為，由于數(shù)字、電商、高端制造等產(chǎn)業(yè)的聚集效應(yīng)，以及大模型應(yīng)用的可復(fù)制性和擴(kuò)散效應(yīng)，DeepSeek帶來的社會應(yīng)用增長，將率先在數(shù)字經(jīng)濟(jì)發(fā)達(dá)區(qū)域出現(xiàn)，需及時(shí)研判供電保電壓力變化。
DeepSeek類蒸餾小模型推理算力需求低、能耗低、開源優(yōu)勢明顯，有望在用戶側(cè)以小規(guī)模算力實(shí)現(xiàn)大量部署，催生出多種創(chuàng)新應(yīng)用模式。建議持續(xù)關(guān)注社會應(yīng)用模式創(chuàng)新，優(yōu)化能源行業(yè)“集中—分散”硬件資源布局，借鑒納入無人機(jī)智能巡檢、智能機(jī)器人等能源行業(yè)專業(yè)應(yīng)用。
來源：強(qiáng)電磁技術(shù)全國重點(diǎn)實(shí)驗(yàn)室網(wǎng)站 |
