模型选择的第一步不是比较排行榜，而是确认任务需要什么输入、什么输出，以及错误结果能否被自动发现。不同类型模型的请求格式、延迟和成本不能放在同一套标准中比较。
开始前检查
先回答五个问题：
- 输入是文本、图片、音频还是文件？
- 输出要文本、结构化数据、图片还是视频？
- 用户能等待多久？
- 结果是否能通过规则或人工验证？
- 单个任务可接受的成本是多少？
配置步骤
文本模型
适合对话、总结、翻译、代码生成、分类和抽取。选择时重点看：
- 上下文窗口。
- 工具调用能力。
- 结构化输出稳定性。
- 输出速度与 tokens 成本。
分类和抽取优先测试低成本模型，复杂编码和长代理任务再升级能力档位。
图像模型
适合文生图、图片编辑、商品图和宣传素材。测试时固定：
- 提示词。
- 尺寸和宽高比。
- 参考图。
- 输出质量档位。
不能只比较一张“最好看的图”，应该比较多次生成的一致性和返工次数。
视频模型
视频成本和等待时间通常更高。先用低时长、低分辨率验证构图和动作，再生成正式版本。重点记录失败率、排队时间、人物一致性和是否包含音频。
检索模型
检索模型或联网搜索能力适合时效性信息和来源追踪。需要同时评估：
- 返回来源是否可访问。
- 引用是否支持结论。
- 搜索时间范围是否正确。
- 相同问题重复查询是否稳定。
常见问题
是否应该所有任务都用最贵模型
不应该。把任务按复杂度和失败成本分层：简单且可验证的任务使用低成本模型，复杂且失败代价高的任务使用能力更强的模型。
模型名称相似，能直接替换吗
不能假设完全兼容。即使属于同一系列，上下文、输出上限、工具调用和参数支持也可能不同。使用固定样本做回归测试。
如何评估真实成本
不要只看每百万 tokens 单价。还要记录重试次数、输出长度、人工修正时间和失败任务成本。
下一步
建立一组覆盖真实失败案例的固定样本，分别记录完成率、延迟、tokens、人工修正时间和单任务总成本，再决定生产路由。