复杂系统引入 AI 的工程治理：分级、成本与回退策略
目录
一句话
AI 可以当“外挂”，别当“方向盘”。
治理的目标：让 AI 更像安全带，而不是赌运气。
1）先分级：3 档够用
- 低风险：摘要/帮助/检索
→ 可用，但要能降级 - 中风险：规则解释/提示润色（基于结构化事实）
→ 只能做表达，不能做判断 - 高风险：资金/权限/核心决策
→ 原则上禁用（或强隔离+强审核）
2）统一接入层：把“不确定性”关进盒子
统一入口做五件事：
- 超时（别卡主流程）
- 限流/预算（别一夜烧钱）
- 缓存（同样问题别反复问）
- 降级（失败走模板/规则）
- 日志（脱敏记录，能追溯）
3）受限生成：别让 AI 自由作文
让输出可检查：
- 固定格式（JSON/固定段落）
- 必填字段（必须包含关键名词）
- 禁用词（保证/承诺/一定）
- 事实来源（规则码/文档 id）
校验不过：直接不用 AI 结果。
4）成本治理：AI 也是资源
最实用三条：
- 只在“真有收益”的场景用
- 缓存 + 去重（省钱又稳定）
- 按模块设预算（超了就降级）
5）回退：永远要 Plan B
- 单次回退：这次失败 -> 模板
- 全局回退：异常 -> 一键关开关
- 体验回退：置信度低 -> 少说话，多给引用
结尾：上生产前检查表
- 分级清楚
- 统一入口
- 受限输出 + 校验
- 一键回退
- 样例评测集