先說結(jié)論:企業(yè) AI 的安全,不靠重新建一套權(quán)限體系,而靠把 AI 塞進(jìn)你現(xiàn)有的身份、權(quán)限和審計(jì)體系里。
這句話聽起來像常識,但實(shí)際落地時(shí),大量企業(yè)恰恰是在這里翻車的。
很多人把企業(yè) AI 的權(quán)限問題,等同于"給 AI 加個(gè)登錄"。但真正的風(fēng)險(xiǎn)點(diǎn)是:
智能體一旦拿到寫入權(quán)限,它影響的就不是"頁面顯示什么",而是真實(shí)的業(yè)務(wù)數(shù)據(jù)和流程。
一個(gè)只會(huì)問答的 AI 答錯(cuò)了,頂多是尷尬;一個(gè)能審批、能回寫、能調(diào)額度的智能體做錯(cuò)了,是真金白銀的損失。
企業(yè)用大模型,主要就這么五類風(fēng)險(xiǎn):
前四類在傳統(tǒng)軟件時(shí)代都有對應(yīng)解法,第五類是 AI 時(shí)代新增的——你要把"AI 的動(dòng)作"當(dāng)成"人的操作"一樣來管。
這四條是可以拿去現(xiàn)場逐項(xiàng)問廠商的:
不要只看登錄功能,用不同崗位訪問同一份數(shù)據(jù)做交叉測試:
這里有個(gè)特別容易被繞過去的坑,值得單獨(dú)說:
如果 AI 是通過一個(gè)統(tǒng)一的系統(tǒng)賬號去取數(shù),而不是繼承當(dāng)前用戶的身份,那么權(quán)限校驗(yàn)實(shí)際上是被繞過的。
工程上這么做最省事,合規(guī)上是重大缺陷。驗(yàn)收時(shí)一定要問清楚這一條。
必要時(shí)還要保存決策依據(jù)摘要——也就是"AI 為什么這么判斷"。出事之后要復(fù)盤,缺了這個(gè)基本查不清。
不是所有動(dòng)作都要人審批,那樣效率就沒了。按風(fēng)險(xiǎn)分三檔就夠:
還有一條要提前寫死:失敗時(shí)是停止、恢復(fù)還是轉(zhuǎn)人工。別等出事再商量。
第一,治理能力不是裝上就自動(dòng)生效的。 平臺(tái)可以提供治理支持,但實(shí)際控制效果取決于項(xiàng)目里的配置、測試和運(yùn)維落實(shí)。日志范圍和保留時(shí)間也要提前約定,否則事后追溯會(huì)缺關(guān)鍵字段。
第二,別信"零錯(cuò)誤"。 生成式 AI 不可能零錯(cuò)誤,權(quán)限控制和審計(jì)只能降低風(fēng)險(xiǎn)。負(fù)責(zé)任的做法是按錯(cuò)誤后果設(shè)定驗(yàn)收閾值,高風(fēng)險(xiǎn)任務(wù)保留人工確認(rèn)——而不是在合同里寫一句"準(zhǔn)確率 100%"。