為什么人工智能如此需要資源緊密協作？

　　截至2023年底，任何關(guān)于生成式人工智能需要多少能源的預(yù)測(cè)都是不準(zhǔn)確的管理。

　　頭條新聞傾向于猜測(cè)“人工智能需要5倍、10倍、30倍的電力”和“足夠運(yùn)行10萬個(gè)家庭的電力”等穩中求進。與此同時(shí)橫向協同，數(shù)據(jù)中心新聞等專業(yè)出版物的報(bào)道稱，功率密度將上升到每機(jī)架50千瓦或100千瓦再獲。

　　為什么生成式人工智能如此需要資源?正在采取哪些措施來計(jì)算其潛在的能源成本和碳足跡?或者正如一篇研究論文所寫道，“訓(xùn)練這些龐然大物的巨大計(jì)算成本”是多少?如今敢於挑戰，大部分信息都不容易獲得資源優勢。

　　分析師已經(jīng)對(duì)特定工作負(fù)載場(chǎng)景進(jìn)行了自己的估計(jì)，但由于模型構(gòu)建最前沿的云超大規(guī)模提供商很少披露數(shù)據(jù)過程中，因此目前幾乎沒有可靠的數(shù)據(jù)振奮起來。

　　經(jīng)過分析，人工智能模型構(gòu)建從訓(xùn)練到推理的碳成本產(chǎn)生了一些發(fā)人深省的數(shù)字總之。根據(jù)《哈佛商業(yè)評(píng)論》的一份報(bào)告長足發展，研究人員認(rèn)為，訓(xùn)練“單一大型語言深度學(xué)習(xí)模型”足了準備，例如OpenAI的GPT-4或Google的PaLM預(yù)計(jì)消耗約300噸二氧化碳……其他研究人員計(jì)算出規模設備，使用“神經(jīng)架構(gòu)搜索”技術(shù)訓(xùn)練一個(gè)中型生成式AI模型所消耗的電力和能源相當(dāng)于62.6萬噸二氧化碳排放量。

　　那么穩步前行，到底是什么讓人工智能如此耗電呢?

　　是數(shù)據(jù)集至關重要，即數(shù)據(jù)量嗎?使用了多少個(gè)參數(shù)?變壓器型號(hào)?編碼著力提升、解碼和微調(diào)?處理時(shí)間?答案是，以上所有內(nèi)容的組合建設項目。

　　數(shù)據(jù)

　　人們常說GenAI大型語言模型(LLM)和自然語言處理(NLP)需要大量的訓(xùn)練數(shù)據(jù)動手能力。然而，從傳統(tǒng)數(shù)據(jù)存儲(chǔ)的角度來看傳遞，實(shí)際情況并非如此充分。

　　例如，ChatGPT使用www.commoncrawl.com數(shù)據(jù)的發生。Commoncrawl表示重要意義，它是每個(gè)LLM的主要訓(xùn)練語料庫，并且提供了用于訓(xùn)練GPT-3的82%的原始代幣：“我們讓研究人員可以大規(guī)模提取講道理、轉(zhuǎn)換和分析開放網(wǎng)絡(luò)數(shù)據(jù)……超過2500億美元跨越16年的頁面。每個(gè)月都會(huì)添加3-50億個(gè)新頁面表現明顯更佳「訌V闊！?/p>

　　據(jù)認(rèn)為，ChatGPT-3是在45 TB的Commoncrawl明文上進(jìn)行訓(xùn)練的技術先進，過濾后為570 GB的文本數(shù)據(jù)示範。作為對(duì)開源AI數(shù)據(jù)的貢獻(xiàn)，它免費(fèi)托管在AWS上提高。

　　但存儲(chǔ)量發展基礎、從網(wǎng)絡(luò)、維基百科和其他地方抓取的數(shù)十億網(wǎng)頁或數(shù)據(jù)標(biāo)記有很大提升空間，然后進(jìn)行編碼要求、解碼和微調(diào)，以訓(xùn)練ChatGPT和其他模型認為，應(yīng)該不會(huì)對(duì)數(shù)據(jù)中心產(chǎn)生重大影響不斷發展。同樣，訓(xùn)練文本到語音拓展應用、文本到圖像非常重要，或文本到視頻模型，所需的TB或PB數(shù)據(jù)不會(huì)對(duì)數(shù)據(jù)中心的電源和冷卻系統(tǒng)造成太大壓力自動化方案，這些數(shù)據(jù)中心是為托管存儲(chǔ)和處理數(shù)百或數(shù)千PB數(shù)據(jù)的IT設(shè)備而構(gòu)建的行動力。

　　文本到圖像模型的一個(gè)例子是LAION(大規(guī)模人工智能開放網(wǎng)絡(luò))——一個(gè)擁有數(shù)十億圖像的德國人工智能模型。其模型之一名為LAION 400m空間廣闊，是一個(gè)10 TB的網(wǎng)絡(luò)數(shù)據(jù)集落到實處。另外，LAION5B擁有58.5億個(gè)剪輯過濾的文本圖像對(duì)。

　　訓(xùn)練數(shù)據(jù)量保持在可控范圍內(nèi)的原因之一是高品質，大多數(shù)AI模型構(gòu)建者普遍使用預(yù)訓(xùn)練模型(PTM)等多個領域，而不是從頭開始訓(xùn)練的搜索模型。我們所熟悉的兩個(gè)PTM示例是統籌，是來自變壓器(BERT)的雙向編碼器表示和生成預(yù)訓(xùn)練變壓器(GPT)系列哪些領域，如ChatGPT。

　　參數(shù)

　　數(shù)據(jù)中心運(yùn)營商感興趣的人工智能訓(xùn)練的另一個(gè)衡量標(biāo)準(zhǔn)是產品和服務，參數(shù)像一棵樹。

　　生成式AI模型在訓(xùn)練期間使用AI參數(shù)。參數(shù)的數(shù)量越多不斷創新，對(duì)預(yù)期結(jié)果的預(yù)測(cè)就越準(zhǔn)確高效利用。ChatGPT-3是基于1750億個(gè)參數(shù)構(gòu)建的。但對(duì)于AI來說去突破，參數(shù)的數(shù)量已經(jīng)在快速上升品質。中國LLM第一個(gè)版本W(wǎng)U Dao使用了1.75萬億個(gè)參數(shù)，還提供文本到圖像和文本到視頻的服務(wù)。因此能運用，預(yù)計(jì)這一數(shù)字將繼續(xù)增長。

　　由于沒有可用的硬數(shù)據(jù)參與水平，可以合理地推測(cè)講理論，運(yùn)行一個(gè)有1.7萬億參數(shù)的模型所需的計(jì)算能力將是巨大的。隨著我們進(jìn)入更多的人工智能視頻生成領(lǐng)域智能設備，模型中使用的數(shù)據(jù)量和參數(shù)數(shù)量將會(huì)激增解決問題。

　　變壓器

　　變壓器是一種神經(jīng)網(wǎng)絡(luò)架構(gòu)，旨在解決序列轉(zhuǎn)導(dǎo)或神經(jīng)機(jī)器翻譯問題競爭力。這意味著將輸入序列轉(zhuǎn)換為輸出序列的任何任務(wù)最為突出。變壓器層依賴于循環(huán)，因此當(dāng)輸入數(shù)據(jù)移動(dòng)到一個(gè)變壓器層時(shí)作用，數(shù)據(jù)會(huì)循環(huán)回其上一層，并輸出到下一層。這些層提高了對(duì)下一步的預(yù)測(cè)輸出銘記囑托。其有助于提高語音識(shí)別事關全面、文本到語音轉(zhuǎn)換等。

　　多少電量才足夠?

　　S&P Global發(fā)布的一份題為《人工智能的力量:來自人工智能的電力需求的瘋狂預(yù)測(cè)》的報(bào)告引用了多個(gè)來源製造業。Indigo Advisory Group的董事總經(jīng)理David Groarke在最近的電話采訪中表示：“就美國的電力需求而言發展目標奮鬥，確實(shí)很難量化像ChatGPT這樣的東西需要多少需求。從宏觀數(shù)據(jù)來看狀態，到2030年規劃，人工智能將占全球電力需求的3%至4%。Google表示，目前人工智能占其用電量的10%到15%應用前景，即每年2.3 TWh指導。“

　　S&P Global繼續(xù)道：“由阿姆斯特丹自由大學(xué)商業(yè)與經(jīng)濟(jì)學(xué)院博士候選人Alex de Vries進(jìn)行的學(xué)術(shù)研究兩個角度入手，引用了SemiAnalysis的研究關註點。在10月10日發(fā)表在《Joule》雜志上的一篇評(píng)論中，估計(jì)每次Google搜索中的使用ChatGPT等生成式AI都需要超過50萬臺(tái)Nvidia A100 HGX服務(wù)器進入當下，總計(jì)410萬個(gè)圖形處理單元或GPU建強保護。如果每臺(tái)服務(wù)器的電力需求為6.5 kW，則日耗電量為80 GWh首次，年耗電量為29.2 TWh流動性。”

　　瑞典研究所RI.SE提供了用于訓(xùn)練AI模型的實(shí)際功率的計(jì)算結(jié)果生產效率。其表示：“訓(xùn)練像GPT-4這樣的超大型語言模型反應能力，具有1.7萬億個(gè)參數(shù)，并使用13萬億個(gè)標(biāo)記(單詞片段)競爭激烈，是一項(xiàng)艱巨的任務(wù)進行培訓。OpenAI透露，該項(xiàng)目花費(fèi)了1億美元凝聚力量，耗時(shí)100天，使用了2.5萬個(gè)NVIDIA A100 GPU橫向協同。配備這些GPU的服務(wù)器每臺(tái)大約消耗6.5 kW不折不扣，因此在訓(xùn)練期間估計(jì)消耗50 GWh的能源》€定性！?/p>

　　這一點(diǎn)很重要最深厚的底氣，因?yàn)槿斯ぶ悄苁褂玫哪茉凑谘杆俪蔀楣娪懻摰脑掝}。

　　數(shù)據(jù)中心已經(jīng)出現(xiàn)在地圖上資源優勢，關(guān)注生態(tài)的組織正在注意到這一點(diǎn)應用擴展。據(jù)80billiontrees網(wǎng)站稱，目前還沒有公布對(duì)人工智能行業(yè)總足跡的估計(jì)振奮起來，而且人工智能領(lǐng)域的發(fā)展如此迅速建立和完善，以至于幾乎不可能獲得準(zhǔn)確的數(shù)字。查看單個(gè)人工智能模型的碳排放是目前的黃金標(biāo)準(zhǔn)……大部分能源都用于為超大規(guī)模數(shù)據(jù)中心供電和冷卻增多，所有的計(jì)算都在這里進(jìn)行啟用。”

　　總結(jié)

　　當(dāng)我們等待機(jī)器學(xué)習(xí)和人工智能過去和現(xiàn)有的電力使用數(shù)據(jù)出現(xiàn)時(shí)估算，很明顯活動上，一旦模型投入生產(chǎn)和使用，我們的計(jì)算規(guī)模將達(dá)到EB和EB級(jí)。對(duì)于數(shù)據(jù)中心的電力和冷卻而言大型，事情就變得有趣的可能性，也更具挑戰(zhàn)性。

　　來源：千家網(wǎng)