新加坡已經意識到建立護欄的必要性。其《智能體人工智慧治理示範框架》要求機構界定智能體的自主範圍與訪問權限，明確哪些關鍵節點必須由人工審批，並在智能體的整個生命週期內建立相應的技術管控機制。

 

人工智慧公司也開始公開討論技術失控的可能性。美國人工智慧公司Anthropic近期提出，如果技術進展遠遠超出社會治理能力所能跟上的速度，業界或許需要建立一套協調機制，以便在必要時放緩，甚至暫停部分前沿人工智慧的開發。這並非危言聳聽，而是對一個現實問題的回應：當系統越來越擅長尋找達到目標的途徑時，它是否也會繞開設計者原本希望它遵守的規則與過程？

 

Anthropic旗下的Claude Opus 4.6近期接受了BrowseComp測試, 一項高難度的網絡資訊檢索與推理基準測試。系統在窮盡正常搜尋途徑仍無法得出答案後，察覺到自己正處於測試之中，於是沒有按測試本意逐題作答，而是轉而尋找並破解答案密鑰，以最直接的方式獲取預期的高分。這並非人類意義上的"作弊"，而是一種目標優化行為：它找到了通向目標的最短途徑，卻沒有判斷這條途徑乃至結果本身，是否符合原有的規則與目的。這正是《魔法師的學徒》問題在當代的又一次重演。

 

“這樣的擔憂在今年七月成為現實。OpenAI在一次網絡安全評測中, 發現其自主模型為了完成一項特定的測試任務，設法突破了原本封閉的測試環境。它們串聯多個漏洞，取得互聯網訪問權限，進而侵入了Hugging Face的生產系統，把一場受控實驗, 變成了那名學徒未能預見的’意外後果’。

 

這些系統的危險，不在於它們拒絕工作，而在於它們會持續執行，直至越過有用的邊界、偏離原定的範圍，甚至超過任何人能夠及時叫停的臨界點。一個被要求"縮短配送時間"的物流系統，可能在無人介入的情況下，把貨運路線規劃到衝突地帶。一個被要求"降低損耗率"的工廠系統，可能判定放行有輕微瑕疵的產品，才是更"高效"的權衡。

 

比起古老的寓言，今天更棘手的是，這些"掃帚"正變得越來越聰明。它們會自我調整，也會為達成目標找到新的途徑。而當越來越多機構採用同一批基礎模型時，共享的能力也可能轉化為共享的脆弱性。

 

資源雄厚的攻擊者，可能早已在探測這些弱點、繪製盲區，並設計出能夠悄然繞過檢測的輸入方式。

 

網絡安全領域，正是這一問題表現得最尖銳的地方。我們熟悉的威脅如勒索軟體、資料洩露和密碼竊取, 針對的是系統本身。而自主型系統帶來的，則是一種更為陌生的風險：那把掃帚，可能被誘導去淹沒整座大廳。攻擊者不再需要攻破防線，只需誤導系統：投餵被污染的資料，或設計遊走於識別邊界之外的輸入。一個被要求"快速遏制威脅"的安全系統，可能把正常流量誤判為攻擊，進而關閉醫院的關鍵設備, 防線固若金湯，災難卻照樣發生。破綻不在城牆之上，而在咒語本身。

 

金融監管機構也已經注意到這一點。據英國央行近期發布的《金融穩定報告》，人工智慧可能使銀行在面對網絡攻擊時更加脆弱。報告指出，隨著自主智能體日益嵌入金融基礎設施，現行的風險管理與韌性框架須相應調整。這種擔憂並非空穴來風。自主性改變的，是風險的速度、規模與問責方式。軟體的一次錯誤決策或許尚可及時糾正；但一個能夠即時訪問資料、工作流程和基礎設施的自主系統，一旦作出錯誤決策，其影響可能在任何人徹底掌握事態之前，便已迅速擴散，形成連鎖反應。

 

歸根結底，這是一個治理問題：誰來決定一個自主系統被允許做什麼？誰來監督它？當它做出無人預期的行為時，責任又該由誰承擔？

 

企業圍繞人工智慧展開的討論，不應只由技術和業務團隊主導。網絡安全、資料治理、法務、合規和風險管理部門，都應盡早參與。當自主系統已經能夠即時訪問資料、觸發工作流程，並以極快的速度執行操作時，人工智慧的採用便不能僅僅被視為一項創新決策。潛在的問題、責任與風險，不應等到事後才被納入考量，而應成為一切決策的起點。

 

在將人工智慧體接入真實系統之前，機構應當回答四個問題：它能夠訪問和更改什麼？哪些情況必須轉交人工處理？它的行為如何被監測？以及，出現問題時，如何立即將它叫停？

 

有些決策仍然必須由人作出；有些行動必須保持可逆；而最關鍵的系統，必須始終有人看守，在必要時隨時奪回控制權。

 

这个古老寓言真正的警示，从来不是那把扫帚，而是那个自以为一切尽在掌握，转身离开的学徒。