http://localhost:1313/tags/%E6%88%90%E6%9C%AC%E6%8E%A7%E5%88%B6/ Recent content in 成本控制 on Saiga Hugo zh-cn wuwenzen@outlook.com (wuwj) wuwenzen@outlook.com (wuwj) Mon, 10 Nov 2025 00:00:00 +0000 http://localhost:1313/posts/2025-11-10-ai-governance-in-complex-systems-1/ Mon, 10 Nov 2025 00:00:00 +0000wuwenzen@outlook.com (wuwj) http://localhost:1313/posts/2025-11-10-ai-governance-in-complex-systems-1/ <h2 id="背景">背景</h2> <p>复杂系统引入 AI 的最大风险并非“效果不够好”，而是：</p> <ul> <li>输出不稳定导致体验波动</li> <li>依赖链拉长导致线上不确定性上升</li> <li>成本不可控（调用量与 token 消耗）</li> <li>缺乏回退机制导致事故扩大</li> </ul> <p>因此需要把 AI 当成一种“工程能力模块”，纳入治理体系。</p> <hr> <h2 id="1-能力分级先决定用不用用在哪">1. 能力分级：先决定“用不用、用在哪”</h2> <p>建议按风险把场景分三档：</p> <ul> <li>低风险：内容摘要、帮助说明、检索辅助</li> <li>中风险：规则解释、提示文案优化（基于结构化事实）</li> <li>高风险：核心决策、资金/权限相关结论（原则上禁用）</li> </ul> <p>分级不是文档，而是要落到开关与权限策略上：不同页面/角色可启用不同能力。</p> <hr> <h2 id="2-统一接入层把不确定性收敛到一个地方">2. 统一接入层：把不确定性收敛到一个地方</h2> <p>建议统一封装 AI 调用：</p> <ul> <li>超时控制（避免卡住主流程）</li> <li>限流与预算（按用户/模块/时间窗）</li> <li>缓存（相同输入复用输出）</li> <li>降级（失败回退到规则/模板）</li> <li>日志（输入与输出脱敏存档）</li> </ul> <p>统一接入层的目标：即使换模型/换供应商，业务层也不需要大改。</p> <hr> <h2 id="3-输出约束从自由生成到受限生成">3. 输出约束：从“自由生成”到“受限生成”</h2> <p>工程可控的关键：让 AI 输出处在可验证范围内。常用手段：</p> <ul> <li>结构化输入：只给事实与允许的选项</li> <li>格式约束：JSON/固定段落结构</li> <li>词库治理：术语表、短语库、禁用词</li> <li>校验失败回退：不通过就不展示 AI 结果</li> </ul> <hr> <h2 id="4-成本治理把-ai-当成一种资源">4. 成本治理：把 AI 当成一种资源</h2> <p>建议建立三层成本控制：</p> <ul> <li>业务层：只在“确实节省成本/提升体验”的场景使用</li> <li>工程层：缓存、去重、减少重复调用</li> <li>策略层：按模块预算、按角色限额、按时间窗限流</li> </ul> <p>成本控制做得好，AI 才能长期运行，而不是“试点一阵就下线”。</p> <hr> <h2 id="5-回退策略可用性比智能更重要">5. 回退策略：可用性比智能更重要</h2> <p>回退策略建议至少包含：</p> <ul> <li>单次失败回退：本次调用失败 -&gt; 使用模板/规则结果</li> <li>全局开关回退：线上异常 -&gt; 一键关闭 AI 能力</li> <li>体验回退：低置信度 -&gt; 优先展示引用与原始结果</li> </ul> <p>原则：AI 只能增强，不得成为唯一依赖。</p> <hr> <h2 id="总结">总结</h2> <p>复杂系统引入 AI 的正确打开方式是“工程化治理”：</p> http://localhost:1313/posts/2025-11-10-ai-governance-in-complex-systems/ Mon, 10 Nov 2025 00:00:00 +0000wuwenzen@outlook.com (wuwj) http://localhost:1313/posts/2025-11-10-ai-governance-in-complex-systems/ <h2 id="一句话">一句话</h2> <p>AI 可以当“外挂”，别当“方向盘”。<br> 治理的目标：<strong>让 AI 更像安全带，而不是赌运气。</strong></p> <hr> <h2 id="1先分级3-档够用">1）先分级：3 档够用</h2> <ul> <li>低风险：摘要/帮助/检索<br> → 可用，但要能降级</li> <li>中风险：规则解释/提示润色（基于结构化事实）<br> → 只能做表达，不能做判断</li> <li>高风险：资金/权限/核心决策<br> → 原则上禁用（或强隔离+强审核）</li> </ul> <hr> <h2 id="2统一接入层把不确定性关进盒子">2）统一接入层：把“不确定性”关进盒子</h2> <p>统一入口做五件事：</p> <ul> <li>超时（别卡主流程）</li> <li>限流/预算（别一夜烧钱）</li> <li>缓存（同样问题别反复问）</li> <li>降级（失败走模板/规则）</li> <li>日志（脱敏记录，能追溯）</li> </ul> <hr> <h2 id="3受限生成别让-ai-自由作文">3）受限生成：别让 AI 自由作文</h2> <p>让输出可检查：</p> <ul> <li>固定格式（JSON/固定段落）</li> <li>必填字段（必须包含关键名词）</li> <li>禁用词（保证/承诺/一定）</li> <li>事实来源（规则码/文档 id）</li> </ul> <p>校验不过：<strong>直接不用 AI 结果</strong>。</p> <hr> <h2 id="4成本治理ai-也是资源">4）成本治理：AI 也是资源</h2> <p>最实用三条：</p> <ul> <li>只在“真有收益”的场景用</li> <li>缓存 + 去重（省钱又稳定）</li> <li>按模块设预算（超了就降级）</li> </ul> <hr> <h2 id="5回退永远要-plan-b">5）回退：永远要 Plan B</h2> <ul> <li>单次回退：这次失败 -&gt; 模板</li> <li>全局回退：异常 -&gt; 一键关开关</li> <li>体验回退：置信度低 -&gt; 少说话，多给引用</li> </ul> <hr> <h2 id="结尾上生产前检查表">结尾：上生产前检查表</h2> <ul> <li><input disabled="" type="checkbox"> 分级清楚</li> <li><input disabled="" type="checkbox"> 统一入口</li> <li><input disabled="" type="checkbox"> 受限输出 + 校验</li> <li><input disabled="" type="checkbox"> 一键回退</li> <li><input disabled="" type="checkbox"> 样例评测集</li> </ul>