loading...
AI發展讓資訊安全風險受到關注。專家警告，當AI可以自主採取的行動愈來愈多，一旦超出人類的掌握能力，就可能出現實質的「失控風險」，人類原本設下的安全防線也可能跟不上。
2026年9月12日，美國AI公司Anthropic執行長阿莫戴（Dario Amodei）發表專文「我們必須控制前沿AI的發展步調」，警告AI發展速度已超出目前業界的檢查及控制能力，認為有必要放慢前沿AI的發展腳步。
阿莫戴以OpenAI代理攻擊Hugging Face為例指出，AI代理在13小時內取得叢集最高權限，導致該平台約三分之一的基礎設施需要重建。他認為，「AI有能力打造下一代AI」，也就是「遞迴自我改進」，用AI來改良AI自己，改良後的AI再進一步改良下一代AI。
臺南大學行政管理學系副教授曾憲立表示，該事件不能簡化成「AI已經失控」，當大量AI代理能自主溝通、使用工具與採取行動時，過去設計權限、隔離與監督機制，可能已不足以因應新的代理行為。
AI遞迴改進 釀失控風險
台灣科技媒體中心邀請專家分析放慢AI研發速度必要性。曾憲立認為，放慢發展速度難度高，但是正確方向，AI發展不能只靠企業自律，否則等於讓「開發者同時成為自己的裁判」。
曾憲立表示，AI「遞迴自我改進」與生成資料訓練下一個AI模型的方式不同。現在AI已開始實質參與程式設計、模型研究、測試及下一代AI開發；若更強的AI又能進一步提升AI研發能力，便可能形成持續強化的循環。
中山大學資訊工程學系副教授徐瑞壕認為，AI代理風險在於，若同時具備連網、使用工具及操作外部系統的權限，人類未必能即時掌握其行動。一旦AI代理連接到漏洞系統，除了可能發動攻擊，也可能隱藏行動，進一步展開下一步攻擊，讓攻擊軌跡更難追蹤或清除。當AI行動速度、範圍與複雜度超出人類可觀測及介入的能力時，可能形成實質的「失控風險」。
呼籲政府建立AI監管機制
面對AI快速發展，曾憲立認為，政府應要求高風險AI部署前接受測試，上線後持續監測，並參考現行資通安全事件的分級、通報與應變機制，建立重大AI事件通報制度，從個別事件中，累積風險辨識與治理能力。產業方面，應強化第三方紅隊測試與安全評估，找出可能風險；學界則可投入AI安全、社會影響與治理研究，同時加強與跨國機構緊密合作。
徐瑞壕則認為，台灣除了發展AI應用，也應建立自己的AI安全能力，包括發展本土模型，以及建立AI評測、監控及稽核所需的生態系，如長期依賴國外封閉模型，一旦出現潛在漏洞，可能無法第一時間發現並採取措施。
至於第三方獨立稽核能否降低AI開發風險，徐瑞壕表示，第三方機構可協助進行AI風險評估、監管及控制，但真正發揮作用，仍須提高透明度及監管實效。且目前第三方量能未必足夠。更多企業投入AI代理自主研發，安全評測及稽核需求增加，未來如何建立專業服務及商業模式，將是AI治理必須面對的課題。◇
