近期，AI技術在帶來便捷與創新的同時，也引發了社會對其潛在風險的廣泛關注。全國政協委員靳東與全國人大代表雷軍，兩位在各自領域內頗有影響力的公眾人物，都不約而同地成為了AI換臉擬聲技術的“受害者”，這一事件將AI技術的監管問題推向了風口浪尖。
在政協小組討論中，靳東提及了一些粉絲因AI換臉視頻遭受詐騙的情況，他表示這類行為性質惡劣，呼吁建立更為嚴格的監管規則。無獨有偶，雷軍也針對“AI換臉擬聲”技術的濫用，提交了加強治理的建議。兩位名人的遭遇，揭示了AI技術被不法分子利用進行詐騙和惡意傳播的嚴峻現實。
據報道，靳東的粉絲曾遭遇詐騙團伙利用AI技術偽造其聲音和形象，誘導粉絲進行投資或捐款。而雷軍則因AI配音視頻在網絡上被惡意謾罵，相關話題視頻的播放量高達1.2億次，影響惡劣。這些事件不僅損害了公眾人物的聲譽，更揭示了AI技術在缺乏有效監管下可能帶來的社會危害。
隨著AI技術的飛速發展，其應用場景日益豐富，深刻改變了人們的生活方式。然而，這也使得網絡信息變得更加復雜難辨。不法分子利用AI生成工具，制作虛假圖片、錄音和視頻，混淆視聽，甚至進行詐騙等違法活動。這一現象的泛濫，對網絡安全和個人隱私構成了嚴重威脅。
為了應對這一挑戰，國家已經出臺了一系列法律法規，如《互聯網信息服務深度合成管理規定》和《生成式人工智能服務管理暫行辦法》。這些規定明確要求，任何組織和個人不得利用深度合成服務制作、傳播違法信息，從事危害國家安全、損害公共利益等活動。同時，國家也鼓勵AI技術的創新發展，但強調必須在法律框架內進行。
加強AI技術的監管，不僅是為了保護個人的隱私和權益，更是為了維護整個行業的健康發展。靳東和雷軍的遭遇，暴露了當前AI技術在管理和審核方面的不足。一些AI生成軟件對網絡謠言“不設防”，內容平臺也往往缺乏必要的審核機制，導致謠言在網絡上迅速擴散。
為了改變這一現狀，不僅需要加強法治監管，還需要相關各方積極履行職責。AI生成軟件應對內容和關鍵詞進行嚴格審核，確保生成內容的合法性和真實性。內容平臺則應加強日常巡查，建立暢通的舉報機制，及時阻斷問題內容的傳播。只有這樣，才能構建一個安全、健康的網絡環境，促進AI技術的健康發展。
