AI 自动评测别用默认 0.5 阈值，调一下差很多

Hamel Husain 用 100 条租房客服 agent 日志测了 6 个决策模型。调好阈值后，Perplexity 每 100 次评测成本 0.82 美分、F1 0.79；OpenAI Decisions 是 3.72 美分、F1 0.87。

谁·场景

AI 评测顾问 Hamel Husain 给一个公寓租赁 agent 做自动评测，目标是找出预订失败、漏转人工这类错误。

怎么用

决策模型给每条日志打一个 0 到 1 的失败概率。他拿人工标注做对照，用五折交叉验证调阈值，要求精确率和召回率都不低于 80%，再用 Platt scaling 校准概率。两步都写成了能直接交给 coding agent 的提示词。

结果

3 个模型满足 80/80 的要求。Liquid d1 和 Clef Flash 调阈值后提升最大，但仍未达标。Clef Flash 有一组日志平均预测失败率约 8%，实际有 60% 出错。

你可以试

手里已有几十条人工标注 pass/fail 日志的团队，保存好模型分数，把他的调阈值提示词交给 coding agent，不需要重新调用模型。

注意

样本只有 100 条，任务故意定得很宽。F1 默认精确率和召回率同样重要，实际业务很少如此。