模型置信度是什么：读懂 AI 的"自我把握程度"

用 AI 模型做判断时，你一定见过类似这样的输出："是垃圾邮件，置信度 98%"。这个百分数是什么意思？它可信吗？这篇文章把它讲透。

一句话定义

置信度（confidence）= 模型对自己这个答案的把握程度，通常是一个 0 到 100% 的数。

判断一封邮件是不是垃圾邮件：

注意：置信度不是正确率。 正确率是事后统计出来的（100 次判断对了几次），置信度是模型事前自己声称的把握。两者是两回事，两者的关系才是重点，下面讲。

大模型输出每个字的时候，本质上是在算概率：下一个词是 A 的概率多少、是 B 的概率多少。判断"垃圾/正常"这类分类任务时，模型内部对每个选项都有一个概率值——这个概率就是原始的置信度，工程上再经过归一化或按任务校准，变成你看到的百分数。

这是最有价值、也最容易被忽略的一点。置信度有两种状态：

未校准的模型（不少聊天模型是这样）：

声称 95% 把握的事情，实际正确率只有 70%。它在"不懂装懂"——大模型的幻觉，本质上就是高置信度输出低正确率的答案。

校准过的模型：

说 90% 把握的事，长期统计下来就 90% 左右是对的；说 60% 把握的事，就真的一半多会错。

用天气预报打比方最直观：预报"降水概率 80%"的日子，长期统计下来确实 10 天里 8 天下雨——这就是校准。如果天天喊 100% 结果老不下雨，就是未校准。

衡量这种"声称与实际的吻合程度"，学术上叫校准误差（calibration error），越低越好。

无人值守的系统里没有人盯着看，只能靠置信度来路由决策：

置信度 ≥ 90%   → 自动执行
置信度 60~90% → 抽样人工复核
置信度 < 60%  → 转人工处理

如果模型"不懂装懂"（该 30% 的时候说 92%），整个自动化系统就会被自信的错误决策带崩。所以对自动化来说，一个诚实的 60%，比一个虚假的 95% 有价值得多。

这也是 TypeSafe AI 的 Jev 模型主打的方向：用 RLCD（对比蒸馏强化学习）训练出"校准过的直觉"，让模型对不确定的判断主动承认不确定（强化学习本身是什么，见《强化学习是什么》）。感兴趣的可以读我们的 Jev 系列教程，其中第 3 篇专门讲了它和置信度的关系。

日常使用 AI 时，可以这样对待置信度：

置信度是模型的自我把握程度；校准的置信度是这个把握可信；自动化决策系统的安全性，就建立在"把握可信"这四个字上。