大模型預訓練“狼人殺”,誰悄然落后成懸念?

   時間:2024-10-25 08:44 來源:天脈網作者:沈如風

在中國AI領域,一場關于大模型初創公司未來方向的深刻變革正在悄然上演。近期,市場傳言稱,被譽為“AI六小虎”的智譜AI、零一萬物、MiniMax、百川智能、月之暗面、階躍星辰中,已有兩家公司決定調整戰略,逐步退出預訓練模型的研發,轉而聚焦AI應用領域。這一動態不僅揭示了當前AI行業的嚴峻挑戰,也預示著大模型初創公司正面臨前所未有的抉擇。

預訓練,作為AI模型構建的基礎環節,其重要性不言而喻。它如同為模型打下堅實的語言和理解基礎,使模型能夠廣泛學習語言的統計規律、語義知識等通用特征。這一過程類似于給一個孩子提供大量學習資料,讓其通過廣泛閱讀和學習,積累豐富的知識儲備。然而,預訓練的高昂成本和不確定性,卻讓不少初創公司望而卻步。據行業專家透露,當前頂級模型的訓練成本已高達數億甚至數十億美元,且未來仍有上漲趨勢。

對于資源豐厚的行業巨頭而言,預訓練是不可或缺的投入。馬斯克為了提升自家xAI的Grok系列模型,不惜斥巨資購置了10萬張GPU卡。然而,對于“AI六小虎”這樣的初創公司來說,預訓練的高門檻卻成為了一道難以逾越的障礙。一方面,預訓練需要強大的算力和高質量數據支持;另一方面,其復雜的算法和技術也對團隊能力提出了極高要求。

預訓練不僅是模型的地基,更是大模型公司技術實力的試金石。在預訓練階段,模型能夠學習到廣泛的語言理解能力和基礎智能表現,為后續針對特定任務的微調提供堅實基礎。GPT-3的成功便是一個典型例證,其通過海量數據的預訓練,在自然語言處理任務中展現出了卓越的性能。然而,預訓練的高成本和高門檻,也讓不少初創公司開始重新審視自己的戰略定位。

在“AI六小虎”中,智譜AI、零一萬物、DeepSeek等公司憑借強大的技術實力和資源支持,繼續在預訓練領域深耕細作。智譜AI作為“清華系國家隊”,在融資和算力方面得天獨厚;零一萬物則憑借李開復的深厚背景和AI Infra布局,在預訓練領域取得了顯著成果;DeepSeek背靠幻方量化,擁有上萬張GPU資源,同樣在預訓練領域占據一席之地。然而,月之暗面、階躍星辰、MiniMax等公司卻開始逐步調整戰略,轉向AI應用領域。

在全球大模型競技場(ChatBot Arena)等權威盲測平臺上,零一萬物的Yi-Lightning、智譜AI的GLM-4-Plus以及DeepSeek V2.5等模型取得了出色成績,展現了中國大模型初創公司的技術實力。然而,月之暗面、MiniMax等公司卻未在榜單上展現出顯著進步,其基座模型的消息也顯得頗為模糊。業內有聲音指出,這些公司可能已轉向利用開源模型進行調優和應用開發,以降低成本和提高投入產出比。

在當前行業基礎模型過剩、破圈應用產品稀缺的背景下,不少初創公司開始重新審視預訓練的價值。對于某些公司來說,利用開源模型進行調優和應用開發,或許是一個更為務實的選擇。然而,這也意味著他們將放棄在預訓練領域的競爭,將模型和應用的上限拱手讓給開源模型。在這場關于預訓練的豪賭中,什么樣的玩家能夠留在牌桌上,答案已經日漸清晰。

隨著中美科技競爭的加劇,頂尖人才資源的爭奪戰也愈發激烈。多位獵頭反饋稱,自ChatGPT爆火之后,國內對于AI領域頂級研發人才的需求持續走高。字節跳動、零一萬物等公司紛紛加大人才引進力度,以期在預訓練領域取得突破。然而,隨著競爭壁壘的不斷提高,單靠挖角已難以解決根本問題。預訓練人才的流動雖然頻繁,但真正能夠推動技術進步的,還是團隊的整體實力和技術底蘊。

在這場變革中,中國大模型“小虎”們的道路已經出現分野。從預訓練開始,技術領先者已經脫穎而出,而部分公司則開始尋找新的發展方向。無論是繼續堅守預訓練領域,還是轉向AI應用開發,每家公司都在根據自己的實際情況和資源稟賦做出選擇。在這場關乎未來的競爭中,誰能夠笑到最后,還需拭目以待。

 
 
更多>同類天脈資訊
全站最新
熱門內容
媒體信息
新傳播周刊
新傳播,傳播新經濟之聲!
網站首頁  |  關于我們  |  聯系方式  |  版權隱私  |  RSS訂閱  |  違規舉報 魯公網安備37010202700497號