在中國科技界，一場圍繞十萬卡集群的競賽正在悄然展開。多家國內科技巨頭正積極投入資源，以支撐大模型的快速發展。在百度世界2024大會上，百度集團執行副總裁、百度智能云事業群總裁沈抖透露，百度在打造十萬卡集群方面取得了兩大關鍵突破，為大模型的高速發展提供堅實支撐。
百度創始人李彥宏在大會上透露，文心大模型的日均調用量已達到15億，短短六個月內實現了從2億到15億的飛躍。這一顯著增長不僅證明了大模型的市場潛力，也反映了企業對大模型和生成式AI技術的強烈需求。李彥宏表示：“‘應用來了’，這是我們對當前大模型和生成式AI的判斷。”
隨著大模型應用的不斷涌現，中國云廠商也在積極調整策略，以應對客戶快速增長的算力需求。盡管受到投入和芯片供應的限制，中國云廠商的表現相對穩健，但也在逐步向十萬卡集群邁進。百度杰出系統架構師王雁鵬表示，近年來，他頻繁接觸到高校客戶，他們對算力的需求顯著增加。特別是今年諾貝爾物理學獎和化學獎頒給人工智能相關專家后，AI for Science成為研究熱點，高校對智算基礎設施的投入也大幅增加。
車企也是當前智算市場的重要客戶。一位大型車企人士表示，用戶對智駕技術的需求正在迅速增長，端到端智駕技術已成為行業主流方案。未來1-2年內，車企智算算力有望再翻兩番左右。在教育行業，好未來集團CTO田密表示，大模型為教育行業帶來了新的曙光，可以實現大規模因材施教。好未來已推出九章大模型MathGPT，并在百度智能云上租賃數千卡算力，以支持其AI教育科技的發展。
除了教育和車企，餐飲、能源等多個行業也在積極探索大模型的應用。百勝中國CTO張雷表示，百勝中國是最早開始使用生成式AI的餐飲企業之一，已采用百度智能云的客悅AI智能客服系統，每天協助處理超15萬次消費者溝通。國家電網也在與百度合作，基于文心大模型和千帆平臺，探索AI原生應用，以推動電力行業的高質量發展。
隨著大模型應用的不斷落地，算力與算法的重要性開始對等，企業的投入比例也發生了變化。一位車企人士表示，過去在智駕研發中，人力、數據和算力的投入比是6：2：2，而現在端到端智駕研發中，算力投入占比已高達50%甚至更高。這些企業紛紛選擇與云廠商合作，以獲取更穩定、高效的智算基礎設施。
百度王雁鵬觀察到，行業龍頭企業的算力需求通常在1000卡到5000卡之間，而大模型創企的需求則高達萬卡水平。這些企業在訓練和推理過程中遇到了各種問題，對智算基礎設施提出了高速網絡互聯、集群穩定性、資源利用率和大模型訓練和推理工具等需求。這些需求與CPU云時代截然不同，給云廠商帶來了新的挑戰和機遇。
面對這些挑戰，云廠商正在積極調整策略，以適應大模型時代的發展。百度從2009年開始使用GPU做集群加速，并逐步形成了豐富的技術棧，通過百度百舸異構計算平臺解決了龍頭企業在算力上的問題。長安汽車與百度智能云合作，應用百舸平臺提升了GPU利用率40%以上。視頻大模型創企生數科技也基于百度百舸平臺推出了自研視頻大模型Vidu，并在影視、動畫、文旅等領域實現落地。
在海外，美國市場的算力競爭已進入十萬卡甚至百萬卡集群的級別。微軟計劃向OpenAI提供約30萬個英偉達最新GB200圖形處理器，而OpenAI也在與甲骨文合作建設超級數據中心。面對國際競爭的壓力，中國云廠商也在加速追趕。百度已解決了十萬卡集群的兩個難題：一云多芯混合訓練效能折損控制在5%以內，跨地域機房部署性能折損控制在4%以內。這些技術突破為中國云廠商在十萬卡集群競賽中贏得了先機。
盡管Scaling Law的增速有所放緩，但中國云廠商仍在積極推動大模型技術的發展。他們通過與國內企業的合作，加速平臺建設，推動大模型技術浪潮在市場的快速演進。未來，隨著更多行業的加入和技術的不斷進步，中國云廠商將在全球科技競爭中扮演更加重要的角色。
