隨著人工智能技術的飛速發展，端側AI正逐漸成為行業關注的焦點。在終端芯片算力持續提升、端側模型能力日益增強以及實時響應與隱私保護需求不斷增加的背景下，端側AI已具備實際應用的條件，正引領著一場用戶體驗與生態格局的革命。
端側AI，即在終端設備如車載智能座艙、智能除草機、機器人等場景或設備上進行人工智能計算與處理。與云端大模型相比，端側大模型在資源受限的設備上展現出更高的運行效率，這得益于模型壓縮、推理加速及能耗優化等技術的綜合運用。輕量化模型技術，如模型剪枝、知識蒸餾和量化，被廣泛應用以實現最優的輕量化效果。端側AI的部署不僅降低了延遲，提升了響應速度，還增強了隱私保護，減輕了云端服務器的負擔，降低了成本，同時提供了更加個性化的服務，即使在無網絡環境下也能保持應用的可用性和靈活性。
基于端側部署的特點與優勢，多個應用場景已落地或即將落地，包括智能手機、智能家居、可穿戴設備、自動駕駛汽車、工業自動化以及醫療設備等。隨著AI技術的不斷進步和芯片產業的蓬勃發展，端側AI部署的挑戰正在被逐步克服，更多應用場景正逐漸成熟。
在算法優化方面，大模型本身正在不斷演進，計算效率在多個細分行業中顯著提升，模型參數減少，但用戶體驗卻更加智能化。更多參數較小的大模型被開源，AI能力日益成熟，這大大降低了大模型應用開發者的門檻，加速了端側AI的部署。算法層級的技術，如模型量化、剪枝、蒸餾等模型壓縮算法，以及專為端側部署設計的軟硬件平臺，都在快速發展，使得大模型在端側設備的部署更加高效。
在產業鏈方面，端側AI芯片廠商、中游模組及軟件廠商、下游終端廠商正在積極推動AI在端側的部署落地。多個芯片廠商已推出最新處理器，支持終端側多模態生成式AI，并完成了多款大模型的適配。廣和通作為AIoT產業的積極參與者，持續為行業提供模組及解決方案，積極探索端側AI相關技術，并推出了多款可應用于機器視覺、具身智能、智能割草等場景的端側AI解決方案，滿足不同終端對算力及模型的需求。
在端側AI應用方面，廣和通深度布局視覺與聽覺計算領域，推出了高算力和輕量化機器視覺解決方案。該方案融合了先進的處理能力與邊緣計算優勢，采用了多種高效的視覺處理算法，如目標檢測、關鍵點檢測、圖像分割等。同時，廣和通的機器視覺解決方案支持藍牙、Wi-Fi等多種無線通信連接方式，在高端智能影像終端、工業視覺終端、車載終端、機器人等領域具有廣泛的應用場景。
作為大模型應用的重要實踐領域，端側AI大模型的全面落地發展需要全產業鏈的共同努力。廣和通積極整合產業上下游資源，為行業提供融合通信、算力、AI算法、AI引擎、模型等能力的端側AI解決方案，加速AI技術在終端的商用化進程。
