OpenAI GPT-5項目遭遇重重挑戰，研發進度嚴重滯后
人工智能領域的巨頭OpenAI正面臨其最具挑戰性的項目之一——GPT-5的研發困境。該項目，代號Orion，旨在成為ChatGPT技術的重大突破，然而，經過超過18個月的開發，其進度已顯著落后于預定計劃。
據知情人士透露，OpenAI已經至少進行了兩次大型訓練，每次都需要數月時間處理海量數據，但成果并未能充分證明其高昂成本的價值。據估計，僅六個月的訓練成本就可能高達5億美元。盡管GPT-5的性能有所提升，但這一進步幅度并未達到足以證明其高昂成本合理的水平。
OpenAI不僅面臨著內部動蕩，還遭受著競爭對手的不斷挖角，頂尖研究人員頻繁被開出高價挖走。這一困境進一步加劇了GPT-5項目的研發難度。
在Orion項目的掙扎中，OpenAI的研究人員意外發現了提升大型語言模型（LLM）智能的新途徑：推理。他們發現，通過讓LLM花費更多時間“思考”，可以解決一些未經過訓練的困難問題。然而，這一方法也帶來了額外的成本，因為需要生成對單個查詢的多個答案，并進行深入分析。
The Wall Street Journal的報道指出，OpenAI的新人工智能項目進度滯后，費用巨大，且前景不明。有觀點認為，世界上可能沒有足夠的數據使GPT-5足夠智能。這一項目的正式名稱為GPT-5，代號為Orion，旨在推動ChatGPT技術的重大進步。然而，至今尚未取得突破性進展。
OpenAI與微軟的合作也備受關注。微軟作為OpenAI最親密的合作伙伴和最大投資者，原本預計在2024年中期看到新模型的發布。然而，由于項目進展緩慢，這一期望落空。
為了提升Orion的性能，OpenAI決定進行技術調整，并增加更多樣化和高質量的數據。然而，公共互聯網的數據并不足以滿足需求，因此OpenAI開始從零開始創建數據。他們招聘人員為Orion編寫新的軟件代碼或解決數學問題，并分享他們工作的解釋，以增加新創建數據的價值。
然而，這一過程非常緩慢。GPT-4的訓練數據估計為13萬億個標記，而新生成的數據遠遠無法滿足這一需求。OpenAI還開始開發合成數據，即由AI創建的數據，以幫助訓練Orion。但研究表明，AI為AI創建數據的反饋循環往往會導致故障或產生無意義的答案。
OpenAI的內部動蕩也加劇了項目的困境。去年，CEO山姆·奧特曼被董事會突然解雇，引發了一系列人事變動。盡管他很快被重新任命為CEO，但公司的治理結構已經受到嚴重影響。今年已有多位關鍵高管、研究人員和長期員工離開OpenAI，包括聯合創始人兼首席科學家伊利亞·蘇茨凱弗和首席技術官米拉·穆拉提。
隨著Orion項目的停滯，OpenAI開始開發其他項目和應用程序，包括精簡版的GPT-4和可以生成AI視頻的產品Sora。這導致了在新產品開發團隊和Orion研究人員之間對有限計算資源的爭奪。
盡管面臨重重挑戰，OpenAI的研究人員仍在努力尋找讓LLM更聰明的新方法。他們正在探索推理模型的潛力，并希望將其與舊的方法結合起來，即增加更多數據。然而，這一策略是否有效尚不清楚。
在最近的一次TED演講中，OpenAI的一位高級研究科學家強調了推理模型的優勢。他指出，讓機器人在一手撲克中思考更長時間可以獲得顯著的性能提升。然而，這一方法也帶來了更高的成本。
盡管OpenAI面臨諸多挑戰，但他們仍在努力推進GPT-5項目的研發。然而，何時能夠成功發布一個值得稱為GPT-5的模型仍然未知。
