近日，銀柿財經從相關渠道獲悉，小紅書成功完成了業界迄今為止最大規模的數據湖遷移項目，將整個數據湖無縫遷移至阿里云平臺，且全程未出現任何故障。這一壯舉標志著小紅書在數據處理和存儲領域邁出了重要一步。
據悉，此次遷移項目涉及的數據量高達500PB，參與人員超過1500人，橫跨40多個部門。作為中國領先的互聯網公司之一，小紅書的月活躍用戶數已超過3億，其數據湖中存儲了過去11年的所有原始數據，包括結構化、半結構化和非結構化數據。隨著業務的快速增長，小紅書對數據處理的需求日益增加，而離線處理所積累的歷史問題也給未來的數據切換帶來了更大的挑戰和成本。
為了應對這些挑戰，小紅書于2023年11月啟動了遷云項目，計劃在一年的時間內將數據湖遷移至阿里云。遷移至阿里云后，數據湖可以通過多個OSS Bucket納入統一資源池，實現資源的高效共享和利用。這種流控能力使得小紅書在面對復雜業務場景時，能夠靈活調配資源，降低不同業務租戶間的互相影響，提高數據處理的效率和準確性。
遷云項目經歷了三個階段。在第一階段，項目組首先制定了統一的標準，并根據這些標準對數據進行治理。在第二階段，即2024年5月正式進入雙跑階段，項目組將數據拷貝到阿里云上，并同時運行兩邊的數據處理任務，以驗證數據的正確性和及時性。在第三階段，即2024年8月，項目結束了雙跑階段，進入割接階段。在阿里云團隊的全程保障下，割接過程順利完成。
此次遷移項目不僅涉及的產品眾多，而且數據體量之大也創下了業界紀錄。在0故障的情況下，小紅書成功遷移了500PB的數據，完成了11萬個數據處理任務。這一項目的成功實施，不僅提升了小紅書的數據處理能力，也為其未來的業務發展奠定了堅實的基礎。同時，這一項目的成功也展示了阿里云在數據處理和存儲領域的強大實力和技術優勢。
