要解决的问题
不做这个功能会遇到什么
先说清楚问题，再说我们的做法。
答非所问但语气自信
知识库没有的内容，通用模型会编一个答案，客户信了但其实是错的。
无法定位错误来源
出错之后不知道是知识库缺内容、检索没召回、还是模型理解偏了。
不敢设阈值
没有量化依据，只能凭感觉设置转人工规则，效果无法复现。
实现原理
具体是怎么做的
面向技术评估的需求，不讲营销话术。
- 01
信号一：检索质量
最高权重的信号。检索到高度相关的内容才可能给高分；完全没检索到就直接判为低置信度。
- 02
信号二：答案接地性
检查答案中的关键内容（数字、专有名词、条款）是否能在检索到的资料中找到。找不到就是疑似编造，直接扣分。
- 03
信号三：业务规则覆写
投诉、退款、法律风险等场景，业务规则可以直接覆写置信度判定为 0，强制转人工。规则优先于模型判断。
- 04
信号四：情绪识别
从最近几轮对话识别客户情绪。客户已经不耐烦时大幅扣分 —— 这时候让 AI 继续试只会激怒客户。
- 05
综合打分与决策
四个信号加权得出最终置信度。达到阈值直接回复，中等置信度回复并提示可转人工，低于阈值直接转人工。
设计决策
为什么这样做，而不是另一种做法
每个关键取舍都列出来。技术评估时最该问的就是这些。
Q: 为什么不信任模型的自评？
我们的选择
不采用模型自评置信度
原因
模型说「我有 90% 把握」不代表它真的有。模型倾向于给高分，尤其在被要求「评估你的回答质量」时。我们用外部可验证的信号替代。
Q: 接地性校验用什么方法？
我们的选择
中文二元组匹配 + 数字严格校验
原因
早期用整段匹配，导致语序不同就判为不接地（误判率极高）。二元组匹配更接近语义，同时数字必须全部命中 —— 避免编造金额和日期。
Q: 阈值定多少合适？
我们的选择
不设统一阈值，按场景配置
原因
售后咨询可以激进一点（错了成本低），金融咨询必须保守（错了成本高）。统一阈值必然一边过松一边过严。
Q: 置信度低但客户在等怎么办？
我们的选择
先说清楚，再转人工
原因
不能沉默地转接，客户会以为系统坏了。明确告知「这个问题我无法准确回答，正在为你转接」，体验差距很大。
可调项
这些参数你们可以自己调
不需要联系我们改代码，改配置即可生效。
| 参数 | 默认值 | 调整影响 |
|---|---|---|
| 直接回复阈值 | 0.85 | 达到则直接回复；可按行业调整 |
| 转人工阈值 | 0.60 | 低于则直接转人工；保守场景建议调高 |
| 情绪扣分 | -0.30 | 客户情绪负面时的扣分幅度 |
常见问题
置信度评估的常见疑问
置信度这么重要，怎么验证它有效？
看两个指标：转人工的原因分布，以及转人工后坐席的解决时长。如果转人工原因大量集中在「检索没召回」，说明知识库需要补充；如果集中在「答案不接地」，说明阈值需要调整。这两个数据后台都有。
会不会导致转人工太多，等于没用？
初期可能会，这正是需要校准的阶段。我们的建议是上线初期用偏保守的阈值（宁可多转），等积累了足够的真实数据再调整。直接放开的风险更大 —— 一次错误答复造成的客户流失，可能抵消很多天的效率收益。