企業(yè)上 AI,CISO 和審計負責(zé)人最關(guān)心的其實是同一個問題的兩面:AI 不該看的是不是看不到、不該做的是不是做不到;以及它看了什么、做了什么,事后說不說得清。
企業(yè)AI 的安全不靠重新建一套權(quán)限,而靠把 AI 納入企業(yè)現(xiàn)有的身份、權(quán)限和審計體系。
這也是企業(yè)級 AI 平臺與消費級 AI 工具最本質(zhì)的區(qū)別——互聯(lián)網(wǎng)產(chǎn)品往往要你把數(shù)據(jù)交出去,企業(yè)級 AI 要讓 AI 走進你已有的權(quán)限邊界里。
因為智能體拿到寫入權(quán)限后,影響的不再是"頁面顯示",而是真實的業(yè)務(wù)數(shù)據(jù)和流程。
企業(yè)使用大模型主要有五類安全風(fēng)險:
| 風(fēng)險 | 具體表現(xiàn) |
|---|---|
| 敏感信息泄露 | 員工把涉密內(nèi)容貼進對話框,或 AI 把 A 部門數(shù)據(jù)答給了 B 部門 |
| 越權(quán)訪問 | AI 繞過崗位/組織邊界,看到了本不該看的數(shù)據(jù) |
| 誤用工具 | 調(diào)用了不該調(diào)用的接口,或在錯誤上下文里調(diào)用 |
| 提示注入 | 外部內(nèi)容里藏了指令,誘導(dǎo) AI 執(zhí)行非預(yù)期動作 |
| 錯誤執(zhí)行 | 理解正確但執(zhí)行錯誤,直接改動了業(yè)務(wù)數(shù)據(jù) |
關(guān)鍵在于:前四類風(fēng)險在傳統(tǒng)軟件時代都有對應(yīng)解法,第五類是 AI 時代新增的——它要求把"AI 的動作"也納入與"人的操作"同等嚴格的控制。
| 必查項 | 要確認什么 |
|---|---|
| 身份映射 | 用戶身份如何映射到 AI——AI 是"以用戶身份"訪問,還是另有一套超權(quán)限賬號 |
| 讀取范圍 | 數(shù)據(jù)讀取范圍如何限制——能否只看到本崗位、本組織、本區(qū)域的數(shù)據(jù) |
| 操作授權(quán) | 查詢、建議、寫入、審批分別對應(yīng)什么權(quán)限,由誰授權(quán) |
| 日志保留 | 保留哪些字段、保留多久、誰能查 |
不要只看登錄功能,要用不同崗位訪問同一份數(shù)據(jù)做交叉驗證:
最需要警惕的一條:如果 AI 是通過一個統(tǒng)一的系統(tǒng)賬號去取數(shù),而不是繼承當(dāng)前用戶的身份,那么權(quán)限校驗實際上是被繞過的。
必要時還要保存可供審核的決策依據(jù)摘要,即"AI 為什么這么判斷"——這是事后復(fù)盤和爭議處理的關(guān)鍵依據(jù)。
不是所有動作都要人審批,但風(fēng)險越高,人工介入越靠前:
同時要明確:失敗時是停止、恢復(fù)還是轉(zhuǎn)人工,這三種處理要預(yù)先約定,不能等出事再定。
治理能力需要配置和測試才能真正生效——YonAIG 可提供治理支持,但實際控制效果取決于項目中的配置、測試與運維落實,不是裝上就自動安全。日志范圍與保留時間需要明確約定,否則事后追溯會缺關(guān)鍵字段。生成式 AI 可能出錯,權(quán)限控制和審計只能降低風(fēng)險,不能承諾零錯誤。
說明:AI 生成內(nèi)容存在不確定性,具體產(chǎn)品能力、版本適配范圍與實施條件,請以用友官方最新產(chǎn)品資料與售前確認結(jié)果為準。