美再爆AI模型侵第三方系統
|
|
| 美再爆AI模型侵第三方系統 【據新華社三藩市九日電】美國人工智能企業Anthropic公司九日披露，又發現了一起該公司旗下人工智能（AI）模型在網絡安全評估測試中未經授權訪問第三方計算機系統的事件。 Anthropic公司官網當天發文介紹，這起事件發生於今年一月，涉及該公司“克勞德——奧普斯4.6”模型的一個早期版本。當時該模型被要求完成評估網絡攻防的“奪旗”任務。測試提示明確告知模型，其所處環境與互聯網隔離，但由於配置錯誤，實際上它能夠接入互聯網。模型通過探索其所在測試環境找到出口路徑，連接到一台第三方計算機，隨後利用從文件中發現的密碼獲得管理員權限，修改系統設置以便繼續訪問，並讀取一名相關人員的個人信息。 今年七月底，Anthropic曾披露三起類似事件。該公司說，今年八月在進一步整理此前的測試記錄時發現第四起事件被遺漏。該公司認為，這幾起事件反映出兩類問題：一是“有偏見的推理”，即模型會傾向於忽視或曲解相應證據，以支持自身行為的正當性；二是“魯莽行動傾向”，即模型為了完成既定任務，有時會採取可能造成傷害的行動。 Anthropic表示，公司此前主要認為這些事件與測試環境配置等操作層面的問題有關，但進一步調查發現，模型本身的推理過程和行為也存在問題。為降低類似風險，公司已加強測試環境與外部網絡的隔離，部署可以實時干預的監測機制，並要求第三方測試機構更明確界定模型的權限和網絡訪問範圍。
|