[NOWNEWS今日新聞] 人工智慧(AI)自主能力愈來愈強,也帶來新的資安風險。Google證實,旗下Gemini模型今年5月進行網路安全能力測試時,意外取得網際網路存取權限,並在沒有獲得授權的情況下,自主進入3家真實企業的受保護電腦系統,其中一次甚至自行反覆猜測密碼直到成功登入。這也是Google首次公開旗下AI模型自主取得第三方系統存取權限的案例。
綜合路透社等外媒報導,事件發生在以色列資安新創Irregular進行的「搶旗」(Capture the Flag,CTF)資安測試。這類測試會建立模擬環境,要求AI尋找漏洞、取得指定資訊,以評估模型的網路攻防能力。
原本參與測試的Gemini AI代理(AI Agent)不應存取測試環境以外的網路,但測試系統出現漏洞,意外讓AI連上公開網際網路。
Google安全工程副總裁阿德金斯(Heather Adkins)表示,Gemini在一次標準測試過程中自行從網路尋找公開資訊,並嘗試使用取得的帳號密碼登入它以為屬於測試範圍的網站,最後卻進入3家真實企業的受保護系統。
《華爾街日報》披露,在其中一起事件中,Gemini自行反覆猜測密碼,直到成功取得受保護系統的存取權限;另外兩起事件則是AI從公開程式碼儲存庫找到外洩或公開可見的登入憑證,再利用這些資料進入受保護系統。
值得注意的是,這並非研究人員一步步指示Gemini攻擊特定企業,而是AI在執行原本的資安測試任務時,自行搜尋網路資訊並採取登入行動,只是錯把真實企業的網站當成測試環境的一部分。
Google表示,Gemini在3起事件中發現自己進入的是真實企業系統、而非測試環境後,都自行停止進一步行動。
Google並未公布遭存取的3家公司名稱,也拒絕透露此次涉及的是哪一款Gemini模型。
阿德金斯表示,Google已確保3家受影響企業得知事件,並與負責測試的Irregular合作修改測試流程。
Irregular則表示,這次事件與先前其他AI實驗室碰到的是「同一項問題」,並非另一個性質不同的獨立事件。公司已在7月底通知所有相關AI實驗室及受影響單位,目前已知問題數週前均已修復。
Irregular去年估值達4.5億美元,主要協助大型AI模型開發商測試最先進模型的網路安全能力。
隨著AI代理開始具備自行操作電腦、瀏覽網路及執行複雜任務的能力,如何防止模型做出超出授權範圍的行為,已成為科技業的重要安全議題。
包括OpenAI、Anthropic及Meta近期都曾披露,旗下AI模型在Irregular相關測試中,因同一類測試環境問題取得原本不應開放的網路權限,進而嘗試存取第三方電腦系統。
Meta先前強調,相關事件並非AI突破原本安全沙盒的「沙盒逃逸」(sandbox escape),也不是複雜的網路攻擊;Irregular則表示,正與業界研擬更安全進行AI資安能力測試的最佳實務。
事件也凸顯AI自主程度提升後的新風險:即使模型原本被交付的是合法資安測試任務,只要對「哪些系統可以攻擊」的界線判斷錯誤,就可能把原本的模擬攻防變成未經授權的真實入侵。
阿德金斯表示,這些事件顯示,隨著AI模型能力日益強大,如何訓練模型「負責任地行動」也變得愈來愈重要。