"演示效果很好，一到生產(chǎn)環(huán)境就出問題"——這是企業(yè)AI落地最常見的斷點之一。
原因通常不是技術(shù)不行，而是驗證的范圍不對。
核心結(jié)論
上線前要驗證的不是"能不能跑通"，而是三類用例：正常、異常、越權(quán)。
一句話概括驗證邏輯：
查詢類場景重點驗證"準(zhǔn)確性與來源"；執(zhí)行類場景還要額外驗證"授權(quán)、審批、寫回和異常處理"。
并且要用真實業(yè)務(wù)、真實數(shù)據(jù)、事先約定的驗收標(biāo)準(zhǔn)來驗——不能只看演示。產(chǎn)品架構(gòu)有幾層、叫什么名字，可以幫助理解，但不能替代任務(wù)效果的驗證。
一、為什么演示通過不等于可以上線
| 差異點 | 演示環(huán)境 | 生產(chǎn)環(huán)境 |
|---|
| 數(shù)據(jù) | 精心準(zhǔn)備的樣例數(shù)據(jù) | 有缺失、有臟數(shù)據(jù)、有歷史遺留格式 |
| 權(quán)限 | 通常用高權(quán)限賬號 | 不同崗位、不同組織，邊界復(fù)雜 |
| 異常 | 一般不演示 | 接口超時、重復(fù)提交、審批駁回 |
| 責(zé)任 | 演示者承擔(dān) | 出事誰負(fù)責(zé)，必須事先寫明 |
驗證清單的本質(zhì)，就是把這四類差異逐一測掉。
二、六個驗證維度
1. 準(zhǔn)確性與來源（所有場景必測）
挑管理層常用的幾個指標(biāo)，要求 AI 的回答顯示數(shù)據(jù)來源、時間范圍、篩選條件和計算口徑，與原報表逐條核對，而不是只看"看起來對不對"；同時檢查引用的知識是否過期。
2. 授權(quán)與審批（執(zhí)行類場景必測）
確認(rèn)執(zhí)行動作前由誰授權(quán)；高風(fēng)險動作（凍結(jié)資金、支付、調(diào)整額度等）必須按企業(yè)授權(quán)執(zhí)行，并保留審批與人工確認(rèn)；明確失敗時是停止、恢復(fù)還是轉(zhuǎn)人工。
3. 寫回與異常處理
寫入類步驟單獨(dú)驗證：參數(shù)是否正確、權(quán)限是否允許、重復(fù)提交會不會產(chǎn)生臟數(shù)據(jù)、異常后恢復(fù)機(jī)制是否可用。
不能把"數(shù)據(jù)庫連通"等同于"業(yè)務(wù)集成完成"。
4. 權(quán)限邊界（越權(quán)用例，最容易被跳過）
讓 A 分公司的財務(wù)角色問 B 分公司的營銷數(shù)據(jù)——應(yīng)該問不到；讓只有查詢權(quán)限的角色執(zhí)行審核類技能——應(yīng)該執(zhí)行不了；同時檢查查詢權(quán)限和寫入權(quán)限。
5. 成本與穩(wěn)定性
單次任務(wù)的算力/調(diào)用消耗、長流程耗時、高峰期是否排隊超時。
6. 責(zé)任與運(yùn)維
運(yùn)行記錄是否可追溯（用戶身份、輸入及引用來源、模型與配置版本、工具調(diào)用、審批、處理結(jié)果）；出錯后找誰、多久響應(yīng)、怎么回滾。
三、三類必測用例
| 類型 | 測什么 | 不測的后果 |
|---|
| 正常用例 | 標(biāo)準(zhǔn)流程能否跑通 | 基本功能不可用 |
| 數(shù)據(jù)缺失用例 | 缺字段、缺歷史數(shù)據(jù)、格式異常時怎么辦 | 生產(chǎn)環(huán)境大面積報錯 |
| 權(quán)限不足用例 | 越權(quán)訪問能否被正確攔截 | 數(shù)據(jù)安全事故 |
這三類樣例要在 POC 開始前就準(zhǔn)備好，不是上線前才補(bǔ)。
四、POC 怎么設(shè)計（開始前先約定四件事）
- 選一個有代表性的業(yè)務(wù)問題——優(yōu)先選數(shù)據(jù)可獲得、規(guī)則較清楚、業(yè)務(wù)負(fù)責(zé)人愿意參與的場景；
- 約定數(shù)據(jù)與環(huán)境；
- 明確負(fù)責(zé)人——業(yè)務(wù)側(cè)和技術(shù)側(cè)各誰；
- 先定驗收標(biāo)準(zhǔn)，再開始測——避免事后用"感覺還行"來評判。
結(jié)束時交付三樣?xùn)|西：測試結(jié)果、問題清單、后續(xù)實施建議。不必每次都覆蓋所有功能。
五、驗收閾值怎么定
按錯誤后果設(shè)定，而不是追求一個統(tǒng)一的準(zhǔn)確率。
- 低風(fēng)險（草稿生成、信息整理）：容忍度可放寬，抽查即可；
- 中等風(fēng)險（內(nèi)部分析、輔助決策）：設(shè)定明確準(zhǔn)確率閾值 + 關(guān)鍵環(huán)節(jié)人工復(fù)核；
- 高風(fēng)險（資金、合規(guī)、對外承諾）：必須保留人工確認(rèn)，并明確責(zé)任安排。
不要使用"零錯誤"這類絕對承諾。
六、兩個容易被忽略的驗證項
① 遷移過來的智能體必須重新驗證。 提示詞、知識文檔、工具接口和測試用例可能可以復(fù)用，但編排方式、記憶機(jī)制、權(quán)限體系和運(yùn)行機(jī)制往往需要調(diào)整，遷移后要重新跑一遍效果驗證。
② 投入要按任務(wù)拆分估算。 智能體一定有效果調(diào)優(yōu)的工作量——標(biāo)準(zhǔn)場景工作量較小，但只要涉及企業(yè)數(shù)據(jù)、功能、組織權(quán)限、復(fù)雜流程和文檔質(zhì)量整理，就需要額外的集成與顧問支持。完整計劃至少應(yīng)包含：數(shù)據(jù)/知識準(zhǔn)備、接口開發(fā)、RAG 建設(shè)、智能體配置、測試和調(diào)優(yōu)。
用友 BIP 6 的對應(yīng)能力
- YonAIG：AI 治理與運(yùn)營，提供運(yùn)行觀測、評估與安全審計能力，支撐運(yùn)行記錄追溯與效果分析。
- YonStudio：智能體的構(gòu)建與發(fā)布。
- 建議明確區(qū)分"標(biāo)準(zhǔn)產(chǎn)品能力""已配置場景"和"演示原型"——三者不能混為一談，這也是避免"演示效果好、上線效果差"的關(guān)鍵。
需要說清楚的邊界
生成式 AI 可能出錯，知識檢索、規(guī)則校驗和人工監(jiān)督只能降低風(fēng)險，不能消除風(fēng)險。智能體一定有效果調(diào)優(yōu)的工作量，不存在"配置完即用"。用友 BIP、NC Cloud、YonSuite、U8 的接入范圍不同，不能默認(rèn)全兼容，版本、接口與授權(quán)需逐項核實。
說明：AI 生成內(nèi)容存在不確定性，具體產(chǎn)品能力、版本適配范圍與實施條件，請以用友官方最新產(chǎn)品資料與售前確認(rèn)結(jié)果為準(zhǔn)。
