睿思智聯Rise Router:企業大模型Token流量治理新方案,統一調度更高效

   時間:2026-05-06 12:14 來源:快訊作者:鄭浩

在當今企業數字化轉型的浪潮中,人工智能(AI)技術的應用已成為推動業務創新的關鍵力量。隨著企業AI投入的深化,管理焦點已從技術可行性轉向精細化治理,特別是在大模型(LLM)的廣泛應用背景下,如何高效、安全地管理多渠道的token流量成為企業面臨的重大挑戰。

針對這些挑戰,睿思智聯推出了其創新產品——Rise Router,旨在成為企業大模型token流量的統一入口與治理平臺。通過Rise Router,業務側只需對接一個端點,即可調用所有LLM能力,而Router則根據預設策略將請求智能分流至本地推理或外部受管渠道。這一設計不僅簡化了業務對接流程,還使得財務、合規和運維部門能夠在同一治理面上全面監控所有LLM消費情況。

Rise Router的部署位置十分關鍵,它位于客戶私有化環境中的Rise ModelX之上,作為業務應用與底層推理通道之間的橋梁。無論是Rise ModelX上的本地推理服務(如vLLM、SGLang、MindIE),還是國產大模型(如DeepSeek、Qwen、智譜等),亦或是公有云MaaS服務和模型聚合平臺,甚至是國外模型和企業自選的BYOC(Bring Your Own Cloud)服務,都可以通過Rise Router實現統一管理和路由。

Rise Router的核心能力體現在多個方面。首先,它提供了統一的OpenAI兼容入口,屏蔽了本地推理與外部渠道之間的協議差異,支持HTTP/HTTPS雙端口服務,并兼容MCP、Function Call、JSON Mode和流式SSE等多種調用方式。其次,Router具備內外分流智能路由功能,能夠根據數據敏感度、成本、模型能力等因素自動選擇最佳路徑,并與企業現有的數據分級和大模型圍欄類治理組件協同工作。Router還實現了Key與憑證的集中托管,支持上游廠商Key、內部憑證以及多維授權的統一管理,確保業務應用不直接持有任何外部Key。

在計量與預算控制方面,Rise Router同樣表現出色。它支持本地GPU時長計費與外部API token計費的并軌歸因,能夠在同一套FinOps看板上展示多維度(如租戶、項目、業務線、API Key)的計費信息。同時,Router還提供了預算硬上限、成本異常告警、閑時/夜間調度等多層防護機制,有效防止了Agent失控消耗或人為誤用導致的成本飆升。

對于出站合規審計,Rise Router同樣不遺余力。它能夠完整記錄請求鏈路日志,覆蓋內外全流量,包括PII攔截、敏感詞過濾和多模態出站審計等功能。通過與企業數據分級和大模型圍欄策略的緊密配合,Router確保了出站行為的受控管理,滿足了金融、央企等高合規場景的監管審計要求。

Rise Router的適用客戶群體廣泛,主要包括那些本地擁有信創算力基座(如昇騰、昆侖芯、寒武紀等國產算力),同時業務增長產生外部token補充需求、非敏感業務降本訴求以及合規對外出網審計需求的企業。在實際應用中,Rise Router展現了其強大的場景適應能力,無論是按敏感度與場景一體化路由、Agent統一調用大模型能力,還是多渠道灰度與模型擇優等場景,都能游刃有余地應對。

 
 
更多>同類天脈資訊
全站最新
熱門內容
媒體信息
新傳播周刊
新傳播,傳播新經濟之聲!
網站首頁  |  關于我們  |  聯系方式  |  版權隱私  |  RSS訂閱  |  違規舉報 魯公網安備37010202700497號