实测表格能帮你缩小选择范围,但每个数字都有适用范围。先看统计时间,再看样本量和测试方式。
在线率
在线率表示测试请求中成功的比例。它不等于全天无故障,也不保证你自己的请求一定成功。不同模型和时段应分别查看。
延迟
响应时间受模型、输出长度和网络路径影响。比较延迟时,测试输入与输出上限必须一致。对于流式接口,首字时间和总耗时都值得关注。
样本量与新鲜度
十次测试得到的 100% 在线率,与上千次测试得到的 99% 在线率不能直接比较。长期未更新的数据应标为过期,停止用于推荐。
模型一致性
输出特征能提示异常映射,但无法单靠一次回答证明底层模型身份。把它当作风险信号,而不是绝对证明。