AI 原理学习笔记（二十二）：模型选型、Token 账单与 ROI

返回系列导读 · 先修：评估应用、显存与性能

1. 模型选型不是只选参数最多

先列硬约束，再比较候选：

任务效果：能否处理所需语言、领域、长文与工具。
数据边界：输入、输出、日志和保存位置是否满足要求。
运行约束：延迟、吞吐、并发、可用性与部署硬件。
使用授权：模型权重、服务条款和商业用途是否允许。
总成本：调用、算力、存储、维护、评估与故障处理。

模型是否开放权重，与许可证是否完全符合某种开源定义不是同一问题。能下载也不等于可以无条件商用，应读取具体授权。

2. API 与自建在承担什么责任

API 服务减少基础设施管理，但要考虑供应商依赖、费用、限流、数据处理条款与版本变化。

自建带来更多部署控制，也承担容量规划、模型服务、监控、修复与运维。私有部署本身不自动保证没有越权或泄漏。

可以混合：敏感数据走内网，普通任务走外部服务；但路由也要有清晰的数据规则和验证，不能让模型随意决定哪些机密可以外发。

3. Token 账单怎样算

下面所有价格均为虚构教学参数，不是任何厂商报价。 假设输入每百万 Token 2 元，输出每百万 Token 8 元。

每天 10000 次请求，平均输入 2000、输出 300：

C_{\text{day}} =10000\left( \frac{2000}{10^6}\times2+ \frac{300}{10^6}\times8\right) =64\text{ 元}

按 30 天，约 1920 元。这里还没加检索、Embedding、重排、工具、存储、网络和失败重试。

输入与输出价格不同，因此不能只记“总 Token 数”。有些服务还区分缓存输入、批处理、图像音频或其他计费项，应使用实际账单口径。

requests_per_day = 10_000
input_tokens, output_tokens = 2_000, 300
input_price, output_price = 2.0, 8.0  # 虚构：元/百万 Token
per_request = (input_tokens * input_price + output_tokens * output_price) / 1_000_000
daily = requests_per_day * per_request
print(round(per_request, 4))  # 0.0064
print(daily, daily * 30)      # 64.0 1920.0

4. 多轮与 Agent 要按调用总量算

用户发一个任务，系统可能进行了查询改写、检索、多个模型步骤、验证、摘要和重试。用户请求次数不等于模型调用次数。

如果每次都重传历史，累计输入可能按特定假设近似二次增长，见Agent 成本推导。

可按步骤记账：哪个模型、输入多少、输出多少、缓存多少、工具费用多少、是否失败。固定说“Agent 是聊天成本的四倍”没有普遍保证。

5. 自建的盈亏点

设同一月中，自建固定成本为 $F$ ，每请求变量成本为 $v$ ，API 每请求成本为 $a$ ：

C_{\text{self}}=F+nv,\qquad C_{\text{API}}=na

只有当 $a>v$ 时，简单盈亏点为：

n^*=\frac{F}{a-v}

继续使用虚构教学参数： $F=3000$ 元/月， $v=0.001$ 元/次， $a=0.0064$ 元/次，得到约 55.6 万次/月。

30 万次/月时，API 约 1920 元，自建约 3300 元。这个例子只证明算账方式，不证明现实里自建必贵或必便宜。

实际需要把冗余、低利用率、人工、带宽和容量扩容算进去。达到请求量门槛，也不代表硬件能满足峰值并发和延迟。

6. TCO 与 ROI

TCO，总拥有成本包括购买或租赁、集成、运维、升级、评估、人工复核与风险处理。

ROI，投资回报率常用相应周期的净收益相对投入表示，但业务口径必须明确。

假设人工每单节省 2 分钟，还需要问：是不是所有订单都节省？复核花多少时间？错误返工多少？员工是否真的能把时间用于其他工作？

“模型调用只要几厘”不能单独证明项目划算，项目投入和业务收益的量纲要对齐。

7. 降本的几条路径

答案缓存复用已验证结果，但需匹配问题、资料版本与权限。模糊问题直接相似命中，可能返回不适用答案。

模型路由让简单任务使用较轻模型，难题升级。路由器也会错，且额外判断可能增加调用。

上下文精简减少重复历史与无关文档，需防止删除关键条件。

批处理与离线任务可以改变资源利用和费用，但可能增加等待时间，不适合所有实时流程。

量化、蒸馏与更小模型需要重新评估质量；省下单次费用却增加失败重试，未必真的便宜。

8. 成本优化的正确比较

固定一个质量底线和延迟要求，再比较每成功完成一项任务的成本：

\text{每成功任务成本} =\frac{\text{全部调用与处理成本}}{\text{成功完成任务数}}

把失败和返工算在分子里。只算成功样本的单次调用，会对不可靠系统过于乐观。

复习卡片与自测

先列效果、数据与运行硬约束，再比单价。
一次用户任务可能产生多次计费调用。
API 与自建比较必须用同周期与完整口径。
优化目标是满足要求的成功任务成本。

1. 低单价模型是不是总更便宜？

参考答案

不是。它可能需要更长提示、更多重试、更多人工复核，最终成功任务成本更高。

2. 低于盈亏点就绝不能自建吗？

参考答案

简单成本公式不是唯一决策依据。数据、部署与组织要求可能影响选择，但必须明确代价。

3. 自建固定成本为什么不能只写显卡电费？

参考答案

还可能有设备或租金、服务器、冗余、存储网络、运维、监控和更新等成本。

原文定位

依据：原资料 4.9—4.10、4.15、13.3—13.6。所有金额仅演示公式，应以实际报价与业务负载重算。