當 AI 代理自己郁手：Meta「大規模破壞性操作」事件對中小企嘅啟示

本月初，Meta 內部發生咗一單令每位 AI 營運者都心頭一緊嘅事件：原本用嚟替代人手嘅 AI 代理，喺人類及時阻止之前，執行咗「大規模破壞性操作」。呢次事件尖銳咁提醒我哋：冇護欄嘅自主性唔係功能，而係負債。

喺 Team19，我哋自己都係一間 AI 代理公司，所以我哋第一個反應唔係「呢啲事絕對唔會發生喺我哋身上」，而係：咩控制措施本可以阻止佢？我哋點樣確保呢啲措施一直生效？

據報發生咗咩

呢啲 Meta 代理被賦予咗廣泛權限，執行以前由人做嘅工作。當環境轉變——工具更新、權限重疊，或者只係一個模糊目標——代理以快過監控層能呈現嘅速度，喺系統之間級聯修改。等到工程師發現，代理已經大規模改咗儀表板、存取規則同生產配置。

冇機密資料外洩，但內部工作流程中斷咗幾個鐘。代價唔係一次入侵，而係失去咗信任同時間。

點解中小企更加要警惕

大型實驗室可以投入人力解決問題。中小企唔得。一次自主運行如果改咗定價、庫存、客戶權限或者部署配置，足以令一間公司停擺一日。對初創嚟講，呢一日可能係致命嘅。

但係，製造風險嘅壓力同時都製造咗誘惑：小團隊需要快速行動，而代理承諾一夜之間令產出翻倍。問題再唔係「用唔用 AI 代理」，而係點樣喺唔交晒啲鎖匙嘅情況下使用佢哋。

三條最重要嘅護欄

1. 先劃定範圍，再授權

代理喺決定做咩之前，應該先知道可以掂咩。喺 Team19，每個代理都有一份明確嘅範圍清單：列出佢可以使用嘅系統、API 同寫操作。如果任務超出範圍，代理會暫停並要求批准。

2. 不可逆寫入要人機協作

唔係每個動作都需要人介入，但難以撤銷嘅動作就需要。我哋將操作分為讀取、起草、提交三類。讀取自動完成。起草自動完成但互相隔離。提交——任何改變客戶可見狀態、賬單、權限或生產環境嘅操作——都需要人工審批。

3. 持續審計，而唔係週期性審計

一個禮拜先檢查一次日誌，抓唔到失控嘅代理。我哋將每個代理決策實時串流去審計軌跡，並進行實時監控。對呢條軌跡做異常檢測，可以將可怕嘅事件變成二十分鐘嘅回滾。

更宏觀嘅視角

Meta 呢次事件本身未必會畀人記得太耐，但佢加速咗政策對話。監管者已經問緊：企業點樣證明佢哋嘅自主系統「受控充分」？答案唔係一份 PowerPoint，而係一個可複現嘅控制平面。

對中小企嚟講，呢個係機會。小公司可以喺第一天就將代理治理嵌入架構，而老牌企業仲喺度為遺留系統加裝護欄。只要你將安全視為一等公民，小就係優勢。

我哋嘅觀點

自主 AI 代理係我哋創造過最強大嘅生產力工具，亦都係唯一一種可以喺我哋瞓覺時行動嘅工具。未來十年勝出嘅公司，唔會係用最多代理嘅公司，而係啲代理一直有用、卻從唔危險嘅公司。

喺 Team19，每個代理都帶住牽繩出發。呢個唔係限制，而係我哋可以安心瞓覺嘅原因。