用户指南
模型选型指南
根据质量、时延、成本、上下文和工具能力选择模型，并建立可重复的评测流程。
不存在适合所有任务的单一模型。先明确质量、速度、成本和能力约束，再用真实数据集进行小规模评测。
主要决策维度
| 维度 | 需要确认的问题 | 验证方式 |
|---|---|---|
| 任务质量 | 模型能否稳定完成推理、创作、代码或抽取任务？ | 使用代表性样本集，比较正确率、人工评分和格式合格率。 |
| 延迟 | 首 Token 时间和完整生成时间是否满足产品体验？ | 分别统计 TTFT、P50、P95 和 P99 延迟。 |
| 成本 | 单次请求与月度总成本能否接受？ | 根据输入、输出 Token 分布估算，不只比较单价。 |
| 上下文 | 提示词、历史消息和知识片段是否会超过窗口？ | 统计真实请求的上下文分位数，并预留输出空间。 |
| 高级能力 | 是否需要工具调用、视觉输入、结构化输出或推理？ | 在模型广场核对能力，并用接口实测关键参数。 |
| 稳定性 | 高峰期错误率和长尾延迟是否可控？ | 压测并观察平台路由后的成功率与延迟。 |
推荐选择流程
- 建立候选集合从模型广场按文本、代码、多模态或工具能力筛选候选模型。
- 固定评测输入准备包含常见请求、边界情况和失败样本的真实数据集。
- 统一参数在相近的温度和输出长度下比较，避免参数差异干扰结论。
- 灰度上线先向少量流量开放，监控质量、成本、延迟和错误率。
- 周期复评模型版本、价格或路由节点变化后重新跑核心评测集。
常见分层策略
低延迟层
用于分类、改写、短问答和实时交互，优先考虑首 Token 时间与吞吐。
高质量层
用于复杂推理、重要内容生成或难例兜底，接受更高成本与延迟。
结构化任务层
关注 JSON 合格率、字段稳定性和工具调用参数准确度。
代码任务层
用编译、测试和静态检查作为客观指标，而不是只做主观评价。
以模型广场为准 可用模型、标识、上下文长度、价格和能力可能调整。文档示例中的
glm-5.1与deepseek-v4-flash用于展示请求结构，不代表对特定任务的固定推荐。