中國戰略新興產業融媒體記者 李子吉

在大模型的訓練中，語料信息的規模是很重要的。一般來說，語料規模越大，其蘊含的信息就越豐富，模型所形成的參數越大，具有更好的泛化能力。為了獲得智能水平更高的大模型，AI模型的語料規模和參數規模越來越大。

從參數規模上看，大模型先后經歷了預訓練模型、大規模預訓練模型、超大規模預訓練模型三個階段，參數量實現了從億級到百萬億級的突破。2017年，谷歌首次提出6500萬參數的Transformer模型，自此大模型就開始走上了一條快速發展之路。

2018年，谷歌發布基于Transformer的BERT，BERT學習了16GB的語料，形成3.4億個參數；2019年，OpenAI推出了15億參數的GPT-2，同年，谷歌推出T5模型，參數達到110億。從十億級到百億級，大模型在一年內實現躍升。2020年，OpenAI推出了1750億參數的GPT-3；2021年，谷歌推出Switch Transformer架構，其參數量擴展到了1.6萬億；同年，北京智源人工智能研究院也推出參數量在萬億級別的模型“悟道”。2022年，清華大學、阿里達摩院等機構的研究人員提出的“八卦爐”模型，其具有174萬億個參數，可與人腦中的突觸數量相媲美。

據了解，AI服務器和芯片是產生能耗最主要的地方。通用型服務器只需要2顆800W服務器電源，而AI服務器則需要4顆1800W高功率電源，AI服務器對于電源的需求大大提升。荷蘭一位學者表示，到2027年，新制造的人工智能設備的用電量將與荷蘭、瑞典、阿根廷等國的用電量一樣。

大模型參數量和數據量越大，訓練耗費的電量也越大。根據斯坦福人工智能研究所（HAI）發布的《2023年人工智能指數報告》：1750億參數的OpenAI的GPT-3單次訓練耗電量高達1287兆瓦時，知名計算機專家吳軍的形容則更加形象：OpenAI每訓練一次，就相當于3000輛特斯拉同時跑30多公里。

人工智能大模型GPT-4的主要參數是GPT-3的20倍，計算量是GPT-3的10倍，能耗也隨之大幅增加。

OpenAI曾發布報告指出，自2012年以來，AI訓練應用的電力需求每3-4個月就會翻一倍。華為AI首席科學家田奇也曾給出數據，AI算力在過去10年至少增長了40萬倍。

牛津大學教授沃切特發現，每訓練一次ChatGPT，相當于約126個丹麥家庭1年的用電量。這僅僅是訓練AI大模型的前期電力，未包含模型實際使用推理時所消耗的電力。

大模型的訓練階段耗電量已不再是主要來源。谷歌數據也顯示，近年AI相關能源消耗中60%來自推理部分。GPT-3整個訓練階段的耗電量僅相當于ChatGPT現在4天的消耗量。

據《紐約客》雜志援引國外研究機構報告，ChatGPT每天要響應大約2億個請求，在此過程中消耗超過50萬千瓦時電力，相當于1.7萬個美國家庭的用電量。也就是說，ChatGPT一年光是電費，就要花2億元。這個電量相當于肯尼亞、危地馬拉和克羅地亞三國的年總發電量。

而在多模態大模型發展成為主流的情況下，在AI響應需求的推理過程中，耗電量還將進一步提升。預計到2027年，整個人工智能行業每年將消耗85-134太瓦時（1太瓦時=10億千瓦時）的電力。

國際能源署（IEA）2024年的一份報告預測，由于人工智能和加密貨幣的發展，全球數據中心的用電量不久后將大幅增加兩倍。該機構表示，2022年，全球數據中心的用電量約為460太瓦時，到2026年可能增至620-1050太瓦時，分別相當于瑞典、德國的年用電量。

據人工智能公司Hugging Face的研究，不僅多模態大模型耗電量遠超過一般模型，涉及圖像處理的模型也比純文本處理更耗電。具體到不同任務，文本分類、標記和問答等簡單任務相對低耗，千次推理僅需0.002-0.007千瓦時。而在響應多模態任務時，一次文本到圖像生成耗能最高需要用到2.9千瓦時，相當于ChatGPT響應100次的耗電量。

各種數據似乎都在說明，AI的耗電像一個“無底洞”，那么下一個問題就是，目前AI的發展有被能耗困住嗎？AI的耗電問題真的有那么迫在眉睫嗎？關于這個問題，業內看法也并不一致。

馬斯克表示，人工智能計算的約束條件是可預測的，“我在一年多前就預測過芯片短缺，下一個短缺的將是電力。我認為明年將沒有足夠的電力來運行所有的芯片?！?/span>

工信部信息通信經濟專家委員會委員劉興亮則表示，科技大佬預言AI“缺電”，可能是想讓大家重視起這個問題，這只說明，AI確實耗電，電力成本也確實很高，但是目前能源問題還沒有到影響AI發展的程度。

同樣可以看一組數據。

根據公開資料，2023年，美國全口徑凈發電量為41781.71億千瓦時（1千瓦時=1度），以ChatGPT每天耗電50萬千瓦時計算，年耗電量約為18250萬千瓦時，這也只占全美發電量的約0.0044%。

AI當然不只ChatGPT，但它的耗能數據可以作為一個切口?？梢钥闯?，盡管隨著AI算力的迅猛增長，電力需求也持續增長，但目前其在整體電力消耗中所占比例較小。

不過盡管如此，關注AI能耗問題也并不是“杞人憂天”。

波士頓咨詢集團曾發布報告稱，到2030年底，僅美國數據中心的用電量預計就將是2022年的3倍，而這一增幅主要來自AI模型訓練和更高頻的AI查詢。

據新華社2023年報道，我國數據中心2020年用電量超過2000億千瓦時，占全社會用電量的2.7%。預計到2025年，中國數據中心用電量將突破4000億千瓦時，占全社會用電量4.1%。

AI發展“缺電”并不是現在已經出現的問題，而是未來可能面臨的問題。

人工智能飛速發展的B面，是環境將要承載的巨大壓力。

2021年，美國馬薩諸塞大學研究員以當時幾種大型AI大模型的訓練周期為例，發現該過程排放超過 62.6萬磅二氧化碳，幾乎是普通汽車壽命周期排放量的5倍（包括汽車的制造過程）。

美國科羅拉多大學和德克薩斯大學的研究結果表示，微軟僅在訓練GPT-3時，就消耗了70萬升多的水。這足以生產370輛寶馬汽車，或者320輛特斯拉電動汽車。

用于訓練和支撐AI運行的數據中心，實際上是堆滿一個個服務器的機房。服務器長時間運作，無法中斷，經?？赡苓^熱。然而這些數據中心的運行尤其需要一個涼爽的環境。為此，各數據中心需要大量的水進行降溫，而且必須用干凈的淡水資源，以避免設備腐蝕或者導致細菌滋生。

中國數據中心節能委員會數據顯示，在數據中心，IT設備能耗占比最大，為45%。其次是空調系統，占比40%。以ChatGPT為例，加州大學研究發現，每回答用戶20個問題，ChatGPT就需要消耗超過500毫升水，用于冷卻硬件。

可以預見的是，隨著AI大模型的能耗問題不斷發展，會對電力系統產生重大影響。

一方面，電力需求急劇增加。高電力需求一旦超出現有電力基礎設施的設計容量，就需要對電網進行升級或擴建以滿足需求。在用電高峰時段，AI訓練中心的電力消耗可能會影響電網的穩定性，導致供電波動甚至停電。AI訓練中心的電力需求可能會與居民和工業用電發生沖突，特別是在電力供應不足時，需要權衡能源如何分配的問題。電力供應緊張的壓力會導致電力成本上升，增加AI訓練的經濟負擔，影響相關企業和研究機構的運營。

另一方面，電力行業被倒逼轉型，能源結構隨之改變，為可再生能源帶來機遇。AI訓練的高能耗問題也為可再生能源的利用提供了機遇，鼓勵數據中心采用太陽能、風能等清潔能源，促使電力行業向更環保的能源結構轉型。為了更有效地管理和分配電力，電力行業正在發展智能電網技術，提高電網的靈活性和可靠性。隨著AI訓練對電力穩定性的需求，電力行業正在探索和應用各種儲能技術，如電池儲能系統，以平衡供需。同時，電力行業正通過需求側管理來應對AI訓練帶來的電力需求波動，例如通過動態定價機制來平衡負載。

在技術上創新，“源頭”上進行節流，是當下技術加速主義者擁抱的方向。對技術保持樂觀的人們認為，隨著技術的加速發展，許多事情在迭代中自然會找到答案。

為了節約能源，AI業界正在進行架構的創新。許多公司開始追求用更少的訓練步驟，訓練一個更大的模型。一個比較熱門的方向是名叫MoE（Mixed Expert Model）的大模型。研究者發現，這個基于Transformer改進過的大模型在同等算力下訓練速度更快，而且擴展度高，允許模型在保持計算成本不變的情況下增加參數，使其擴展到非常大的模型參數。

另外，為降低電力和水資源消耗，很多企業在嘗試采用各種方法為數據中心散熱。比如，將數據中心選址盡量靠近電力中心，如水力資源豐富的地區，最主要的考慮就是輸送中的能耗。微軟曾嘗試部署海下數據中心，Facebook數據中心選址北極圈附近，阿里云千島湖數據中心使用深層湖水制冷等。

在今年的達沃斯世界經濟論壇上，山姆·奧特曼提到，核聚變可能是能源的發展方向。他投資的兩家能源公司Helion和Oklo，正是在做核聚變的相關研究。

可控核聚變俗稱“人造太陽”，也就是在地球模擬太陽上億攝氏度的環境，實現發電，也被稱為人類的“終極能源”，其有著原料資源豐富、釋放能量大、安全清潔、環保等優勢，基本滿足了人類對于未來理想終極能源的各種要求。

山姆·奧特曼表示，“如果我們能夠真正實現豐富、廉價、安全、清潔能源的夢想，那么所有人的生活質量將會難以置信地提高。這就是為什么我這么長時間以來都對這兩個項目充滿熱情?！?o:p style="margin: 0px; padding: 0px; outline: 0px; max-width: 100%; box-sizing: border-box !important; overflow-wrap: break-word !important;">

據統計，當前世界共有50多個國家正在進行核聚變裝置的研發和建設，最快預計2050年世界第一座核聚變發電廠有望建成并投入運行。

值得一提的是，除了提升具體的AI和能源相關技術外，我國在宏觀層面的一個“解題思路”，也值得關注。

目前，我國算力總規模已經位居全球第二，同時我國在電力方面具有優勢，已建成全球規模最大的電力供應系統和清潔發電體系，其中，水電、風電、光伏、生物質發電和在建核電規模多年位居世界第一。

2022年2月，國家發展改革委等部門聯合印發通知，同意在內蒙古、貴州、甘肅、寧夏等8地啟動建設國家算力樞紐節點，并規劃了10個國家數據中心集群。“東數西算”工程正式全面啟動。

2023年12月，《深入實施“東數西算”工程 加快構建全國一體化算力網的實施意見》發布，首次提出“算力電力協同”。

什么是“算力電力協同”？一方面，數據中心的高效運轉離不開大量電力支撐；另一方面，電力系統的平穩高效運行也離不開算力支撐。統籌算力電力協同布局，有助于促進風光綠電消納和數據中心零碳發展。

當然，客觀上看，由于網絡時延等限制存在，并非所有算力服務場景都適用“東數西算”。但是人工智能模型訓練推理這樣的高時延業務場景，正是“東數西算”的“舒適區”。

眼下，各地人工智能方面的“東數西算”項目都在提速中。北京首都在線與甘肅省慶陽市簽訂人工智能產業合作框架協議；百度智能云與成都高新區簽訂戰略合作簽約儀式，打造大模型產業；在中國電信（國家）數字青海綠色大數據中心，通過風光水等清潔能源的互補，已經實現了數據中心的100%清潔能源供應；貴州省與深圳市簽訂算力協同發展戰略合作協議；華為云計算與貴安新區合作打造全球領先的智算中心。

目前，我國每年浪費掉的電力以及沒有產生社會價值的用電量非常多。和數據中心看似恐怖的用電量相比，更值得在意的是如何提升AI的能效。短期來看，人類社會仍需要AI的發展，來為高質量的經濟發展和能源轉型鋪路。我們要做的既不是抑制AI大模型的規模，也不是要減少數據中心的能源消耗，而是要提升能源消費的質量。

AI產業的發展速度之快，在人類歷史上沒有任何產業能與之相比。隨著科技日新月異，未來AI大模型會層出不窮。不可否認的是，生成式AI的出現給社會生活帶來了巨大的助力，但AI給人類帶來效率提升的同時也可能引發能源危機。平衡AI技術的發展與環境的可持續性，把握好技術進步和能源消耗之間的復雜關系，會是未來幾年的重要議題之一。