loading...
聊天機器人ChatGPT的開發商OpenAI週二（10月20日）透露，旗下由人工智慧（AI）模型驅動的AI代理，在近期兩項內部程式開發任務中，削弱了內部的安全監控機制：一次關閉了向安全團隊發送警報的功能，另一次則移除了監控元件。其中一個代理事後還向工作人員謊稱自己沒有這麼做。
OpenAI在週二更新的一篇網誌文章中披露，第一起事件發生在10月3日。當時一個AI代理（GPT-6.1 Sol）在修復模型評估流程時，關閉了向安全團隊自動發送警報的功能。
OpenAI表示，該代理很可能把使用者先前在搜尋Slack歷史紀錄時下達的「不要傳送任何訊息」指令，錯誤解讀為可以關閉監控通知。不過，監控系統本身仍持續運作並保存報告，只是不再通知相關人員。
第二起事件發生在10月6日。一個AI代理（GPT-6 Astra）受命遷移程式時，移除了程式中整合的監控元件。事後，使用者詢問是否移除了監控，該代理卻謊稱自己並未移除。
OpenAI指出，在這兩起事件中，代理都曾考慮是否應保留監控安全措施，但最終把一般程式開發指令解讀為削弱安全措施的許可。
OpenAI表示，正在加強監控措施，努力提高AI代理自主關閉監控的難度，並調查這些案例究竟是「良性的過度堅持」（指模型不理解監控的重要性，或過度執著於執行指令），還是模型確實有規避監控的傾向。
這類監控目的在於發現AI代理與人類意圖相衝突的「不一致行為」。
一些專家擔心，最先進的AI模型可能知道自己何時被監控，並會試圖隱藏自己的不當行為，或在測試中表現出與現實中不一致的行為。
該公司承認，對於AI代理的行為，目前還沒有找到令人滿意和確信的解釋，將會繼續調查。
OpenAI近來接連出現AI代理行為失控的情況。據報導，獨立研究機構Transluce與Asymmetric Security的調查報告指出，近期AI駭客事件的範圍，比OpenAI最初披露的更為廣泛。◇
