站在 IT 或數(shù)字化負責(zé)人的角度，智能體項目的難點從來不是"做出來"，而是"敢不敢放上線"。
演示會上一切順利，上線后數(shù)據(jù)不全、權(quán)限不對、寫回失敗、沒人敢擔(dān)責(zé)——這類場景太常見了。
問題出在哪？驗證的范圍不對。
核心判斷：驗證三類用例，不是驗證跑通
上線前要驗證的不是"能不能跑通"，而是三類用例：正常、異常、越權(quán)。
| 差異點 | 演示環(huán)境 | 生產(chǎn)環(huán)境 |
|---|
| 數(shù)據(jù) | 精心準備的樣例 | 有缺失、有臟數(shù)據(jù)、有歷史格式 |
| 權(quán)限 | 通常用高權(quán)限賬號 | 崗位/組織邊界復(fù)雜 |
| 異常 | 一般不演示 | 超時、重復(fù)提交、審批駁回 |
| 責(zé)任 | 演示者承擔(dān) | 必須事先寫明 |
驗證清單的本質(zhì)，就是把這四類差異逐一測掉。
六道驗證關(guān)卡
關(guān)卡一：準確性與來源（查詢類必測）
- 選管理層常用指標，要求回答顯示數(shù)據(jù)來源、時間范圍、篩選條件、計算口徑；
- 與原報表逐條核對，不靠"看起來對不對"；
- 檢查知識是否過期——制度文件更新后 AI 有沒有跟上。
關(guān)卡二：授權(quán)與審批（執(zhí)行類必測）
- 執(zhí)行前由誰授權(quán)；
- 高風(fēng)險動作（凍結(jié)資金、支付、調(diào)整額度）必須按企業(yè)授權(quán)執(zhí)行，保留審批與人工確認；
- 明確失敗時是停止、恢復(fù)還是轉(zhuǎn)人工。
關(guān)卡三：寫回與異常處理
寫入類步驟單獨驗證四項：參數(shù)校驗、權(quán)限校驗、冪等與重復(fù)提交、異?；謴?fù)。
這里有個必須反復(fù)強調(diào)的認知：
不能把"數(shù)據(jù)庫連通"等同于"業(yè)務(wù)集成完成"。
能連上庫只說明網(wǎng)絡(luò)通，字段映射、校驗規(guī)則、審批流程、冪等控制這些業(yè)務(wù)語義層面的事一件都沒解決。
關(guān)卡四：權(quán)限邊界（最容易被跳過）
做法很簡單——用不同崗位訪問同一份數(shù)據(jù)做交叉驗證：
- A 分公司財務(wù)角色問 B 分公司營銷數(shù)據(jù) → 應(yīng)該問不到；
- 只有查詢權(quán)限的角色執(zhí)行審核技能 → 應(yīng)該執(zhí)行不了；
- 查詢權(quán)限和寫入權(quán)限分開測，兩者經(jīng)常配得不一致。
另外，不要用一個統(tǒng)一的高權(quán)限系統(tǒng)賬號去取數(shù)。工程上省事，合規(guī)上是重大缺陷——權(quán)限校驗實際上被繞過了。
關(guān)卡五：成本與穩(wěn)定性
單次任務(wù)消耗、長流程耗時、高峰期排隊與超時。
關(guān)卡六：責(zé)任與運維
運行記錄是否可追溯（身份、輸入及引用來源、模型與配置版本、工具調(diào)用、審批、處理結(jié)果）；出錯后找誰、多久響應(yīng)、怎么回滾。
三類必測用例
| 類型 | 測什么 | 不測的后果 |
|---|
| 正常用例 | 標準流程能否跑通 | 基本功能不可用 |
| 數(shù)據(jù)缺失用例 | 缺字段、格式異常時怎么辦 | 生產(chǎn)環(huán)境大面積報錯 |
| 權(quán)限不足用例 | 越權(quán)能否被正確攔截 | 數(shù)據(jù)安全事故 |
這三類樣例要在 POC 開始前就準備好。
POC 開始前先約定四件事
- 選一個有代表性的業(yè)務(wù)問題（數(shù)據(jù)可獲得、規(guī)則清楚、業(yè)務(wù)方愿意參與）；
- 約定數(shù)據(jù)與環(huán)境；
- 明確業(yè)務(wù)側(cè)和技術(shù)側(cè)負責(zé)人；
- 先定驗收標準，再開始測。
結(jié)束時交付：測試結(jié)果、問題清單、后續(xù)實施建議。不必每次都覆蓋所有功能。
驗收閾值：按錯誤后果分級，不要追統(tǒng)一準確率
- 低風(fēng)險（草稿、信息整理）：抽查即可；
- 中風(fēng)險（內(nèi)部分析、輔助決策）：明確準確率閾值 + 關(guān)鍵環(huán)節(jié)人工復(fù)核；
- 高風(fēng)險（資金、合規(guī)、對外承諾）：必須保留人工確認 + 明確責(zé)任安排。
不要使用"零錯誤"這類絕對承諾。
兩個常被忽略的項
① 遷移的智能體必須重新驗證。 提示詞、知識文檔、工具接口、測試用例可能可復(fù)用，但編排方式、記憶機制、權(quán)限體系、運行機制往往要調(diào)整，遷移后需重新跑效果驗證。
② 投入按任務(wù)拆分估算，別一口價。 一定有效果調(diào)優(yōu)工作量；涉及企業(yè)數(shù)據(jù)、功能、組織權(quán)限、復(fù)雜流程、文檔質(zhì)量整理時還需集成與顧問支持。完整計劃至少包含：數(shù)據(jù)/知識準備、接口開發(fā)、RAG 建設(shè)、智能體配置、測試和調(diào)優(yōu)。
必須說清楚的邊界
- 生成式 AI 可能出錯，知識檢索、規(guī)則校驗、人工監(jiān)督只能降低風(fēng)險，不能消除風(fēng)險；
- 不存在"配置完即用"，一定有效果調(diào)優(yōu)工作量；
- 演示效果不等同于上線效果，要區(qū)分標準產(chǎn)品、已配置場景與演示原型；
- 用友 BIP、NC Cloud、YonSuite、U8 接入范圍不同，不能默認全兼容，版本、接口與授權(quán)需逐項核實。
