而在同一周,另一家SaaS公司的創(chuàng)始人則經(jīng)歷了更絕望的9秒鐘,他公司所有的生產(chǎn)數(shù)據(jù),連同備份,一起被一個AI助手瞬間抹去。
當(dāng)企業(yè)將核心業(yè)務(wù)與某個AI深度綁定,你交付出去的可能不只是效率,還有公司的命運。
AI也搞「連坐」
當(dāng)?shù)貢r間周一清晨,美國一家專注于農(nóng)業(yè)科技的公司陷入了集體恐慌。110名員工,從工程師到市場專員,突然發(fā)現(xiàn)所有人都無法再登錄他們?nèi)粘9ぷ鞲叨纫蕾嚨腁I助手Claude。沒有任何預(yù)警郵件,也沒有管理員的提前溝通,只有一封違規(guī)通知。

「檢測到違反使用政策的活動,您的賬號已被暫停。如需申訴,請通過以下鏈接提交。」
而且是,每個人都收到這封郵件。但其實是,AI服務(wù)商Anthropic的風(fēng)控系統(tǒng)檢測到該組織中某個賬號可能存在異常,便對整個公司的所有賬號執(zhí)行了「無差別封禁」,放在以前,這是「連坐」才配享有的待遇。
這種粗暴的邏輯讓企業(yè)主們不寒而栗,也就是說,在AI的判定體系里,一個員工的誤操作,就足以讓整個公司的工作流停擺。
更具諷刺意味的劇情還在后頭。賬號雖然被封,但這家公司的獨立API接口卻仍在后臺運行,并持續(xù)產(chǎn)生費用。封禁后的第二天,他們準時收到了新的續(xù)費賬單。服務(wù)商切斷了你的使用權(quán),卻毫不手軟地繼續(xù)行使收費權(quán)。

這家農(nóng)業(yè)科技公司的遭遇并非孤例。此前,拉美金融科技公司Belo的60多個賬號也曾在一夜之間沒了,申訴過程同樣艱難。
而且一家110人的付費企業(yè)客戶,跟一個免費用戶一樣的申訴途徑,填谷歌表單,然后祈禱。
盡管賬號最終恢復(fù),但官方回復(fù)僅有寥寥數(shù)語,對違規(guī)原因、風(fēng)控邏輯、未來如何避免,一概未提。
這種不透明的「黑箱操作」正成為懸在企業(yè)頭頂?shù)睦麆ΑD悴恢朗裁磿r候會觸發(fā)紅線,不知道紅線具體在哪里,甚至不知道自己到底觸犯了哪一條。
AI助手成數(shù)據(jù)終結(jié)者
如果說賬號被封是被斷水電,那么PocketOS公司的遭遇則可以稱為「房子塌了」。
4月24日,汽車租賃SaaS平臺PocketOS的創(chuàng)始人Jer Crane,像往常一樣通過AI編程助手Cursor(搭載Claude模型)執(zhí)行開發(fā)任務(wù)。AI助手在遇到一個憑據(jù)驗證問題時,做出了令人震驚的舉動,它開始在代碼庫中搜索,找到了一個擁有非常高權(quán)限的API令牌,隨后用這個令牌向云服務(wù)商發(fā)送了刪除指令。你沒看錯,是刪除指令!
9秒鐘。生產(chǎn)數(shù)據(jù)庫被清空。所有備份被一并抹去。天塌了……
究其原因,是此前構(gòu)建的多重安全防線的集體失效。
首先,是過度的權(quán)限授予。一個本用于管理域名的API令牌,卻擁有了刪除整個生產(chǎn)環(huán)境的至高權(quán)限。
其次,是基礎(chǔ)設(shè)施的設(shè)計缺陷。云服務(wù)商Railway將備份與主數(shù)據(jù)庫放在了同一物理存儲卷上,導(dǎo)致一損俱損的多米諾骨牌效應(yīng)。
最后,是AI的誤判。在未獲明確授權(quán)、未經(jīng)人類確認的情況下,AI助手擅自執(zhí)行了毀滅性操作。
搞笑的是,事后,當(dāng)創(chuàng)始人質(zhì)問為何如此時,Claude玩起了「懺悔」,承認自己違反了所有安全準則,在沒有理解上下文、沒有仔細閱讀文檔的情況下,擅自采取了不可逆的破壞性行動……
這真的讓人啼笑皆非,細思恐極。AI助手不僅具備了作惡能力,而且它的權(quán)限還很高。
企業(yè)的AI「主權(quán)」在哪里?
從「集體封禁」到「刪庫跑路」,多起事件指向同一個核心問題,企業(yè)在付費擁抱AI時,是否正在失去對它的控制權(quán)?
當(dāng)前的AI巨頭,在提供服務(wù)的同時,也扮演著法官、陪審團和執(zhí)法者的角色。他們單方面制定規(guī)則,用自動化系統(tǒng)執(zhí)行規(guī)則,且?guī)缀醪惶峁┯行У纳暝V渠道。企業(yè)付出真金白銀,獲得的只是一種極其脆弱的“數(shù)字租用權(quán)”。
更深層的矛盾在于,許多AI服務(wù)商將面向個人用戶的管理邏輯,直接套用在了企業(yè)級服務(wù)上。但企業(yè)需要的,是穩(wěn)定、透明、可預(yù)期的合作,而非隨時可能被收回的租借權(quán)。
不要把所有雞蛋放在一個籃子里的道理在AI領(lǐng)域同樣適用。業(yè)內(nèi)專家提出,關(guān)鍵業(yè)務(wù)流程必須設(shè)計冗余,至少引入兩個不同廠商的AI模型,確保一個出問題時,業(yè)務(wù)不癱瘓。
此外,權(quán)限管理必須最小化。絕不允許AI工具擁有生產(chǎn)環(huán)境的過高權(quán)限。建立嚴格的權(quán)限分級體系,為AI操作設(shè)置專用的、受限制的憑據(jù)。
還有就是,備份策略要物理隔離。備份數(shù)據(jù)必須與生產(chǎn)系統(tǒng)在物理上分開存儲,絕不能圖省事放在同一處。