API 这么便宜,为什么还要自托管
按 token 计费的 API 对多数项目仍然是正解。但有三类需求绕不开自建:数据不能出厂区(法务、医疗、内部代码)、突发流量大到按 token 计费肉疼、以及需要托管端点不支持的量化格式、LoRA 适配器和自定义工具链。
开源模型这边的进度也够用了:Llama、Qwen、DeepSeek-R1 蒸馏版已经覆盖大多数日常对话场景,一个量化到位的 32B 模型,回答质量抵得上两年前的中档付费 API。真正的门槛不是软件,是不多花钱地把显存买对。本文价格均于 2026 年 11 月在各家官网核对。
显存账,别靠感觉
两个数决定一切:权重体积和 KV 缓存。FP16 权重约每 10 亿参数 2 GB;4-bit 量化(Q4 档)约 0.55 到 0.6 GB 每 10 亿,外加一小块工作内存。KV 缓存随上下文长度增长,权重"刚好塞下"的卡,长对话照样 OOM。
- 8B 级 Q4:权重约 5-6 GB,8 GB 卡能跑,12 GB 卡跑得从容。
- 14B 级 Q4:约 9-10 GB,12 GB 可用,16 GB 舒服。
- 32B 级 Q4:约 19-21 GB(未计缓存),这是 24 GB 卡的活,也是 4090/3090 机器至今被包月抢的原因。
- 70B 级 Q4:40 GB 出头,单张 48 GB(A40/L40S/RTX PRO 6000)或两张 24 GB 做张量并行;8-bit 要 70 GB,进入 A100/H100 80 GB 地界。
- 百亿级 MoE:量化后仍需多卡或 H200 141 GB 级,预算先到位再谈。
值得记住的口径:按"量化权重 + 20% 缓存余量"选卡。多租一点显存的成本,远低于凌晨三点批量任务崩掉。
按小时租:RunPod 与 Vast.ai(11 月中旬实价)
突发负载下按小时计费的 Pod 很难被打败。RunPod 分 Community(第三方托管,便宜)和 Secure(自家管理);Vast.ai 是架在个人房东之上的市场,价格更低,可靠性问号更大。以下为 2026 年 11 月 18-19 日各家定价数据,美元/卡时:
- RunPod Community 4090(24 GB):$0.34/时,730 小时整月约 $248;Secure 翻到 $0.89。
- Vast.ai 按需 4090:$0.37/时,可中断 spot $0.27/时(整月约 $197)。
- Vast.ai A100 SXM 80 GB:$0.44/时;RunPod Community 同卡 $1.39。
- RunPod Community H100 SXM:$2.69/时;Vast.ai 市场 H100 SXM $1.73。
- RunPod Community RTX PRO 6000(96 GB):$1.69/时,单卡显存现役之王。
注意 70B 的陷阱:Vast.ai 上两张 4090 合计 $0.74/时,一张 A100 80 GB 只要 $0.44。模型塞得进时,少而大的卡永远赢。Vast.ai 有 28 个型号提供 spot,RunPod 没有;任务能断点续跑的话,spot 是市面上最便宜的算力。
Serverless:只为忙碌的秒数付费
RunPod Serverless 的 flex worker 从 16 GB 级 $0.58/时起,只在请求真正流动时计费,闲置为零;4090 PRO worker 为 $1.34/时。低利用率下这笔账一边倒:每月 120 个忙碌小时,4090 worker 花 $160.80,16 GB flex 只花 $69.60;同卡包月 Pod 起步就是 $248。忙碌小时超过约 200-300,Pod 反超;低于这个数,Serverless 没有对手。
代价是冷启动延迟,以及你管理的是容器而不是一台能 SSH 的机器。流量忽高忽低的聊天产品通常无所谓;要长时间保活上下文的 Agent 流水线,还是留一台 Pod。
包月 GPU 服务器:Hetzner、Contabo、ServaRica
推理全天候跑时,按小时计费就成了贵的那个选项。三条固定月付路线,2026 年 11 月官网核对:
Hetzner GEX45
带 NVIDIA RTX PRO 4000 Blackwell SFF 的独服,64 GB DDR4、2x512 GB NVMe,月付 214 欧元(不含税)加 209 欧一次性安装费,首年折合约 231 欧元/月、0.32 欧/时。20 GB 显存跑 8B/14B 从容,32B 量化勉强,70B 不是它的活。欧洲数据驻留加固定价,这一档没有对手。
Contabo GPU VPS
2026 年 9 月上线:整卡 RTX PRO 6000(96 GB GDDR7)+ 18 vCPU + 96 GB 内存 + 900 GB NVMe,$1,199/月不含税,年付 88 折(约 $1,019/月)、两年付 8 折($959.20)。单卡 70B 量化加缓存余量正好,比 RunPod Community 同卡 730 小时($1,233.70)还便宜。代价是零灵活性,且 24 个月承诺压在贬值极快的硬件上。
ServaRica 蒙特利尔
2026 年 10 月 23 日发布:KVM 全卡直通(不是共享 vGPU),Tesla P40 24 GB 配 10 专用核、40 GB 内存、500 GB NVMe,$139/月;Tesla V100 32 GB HBM2 $179/月。年付 P40 到 $1,529/年,折合 $127.42/月,等于整卡专用 $0.19/时的地板价。单机最多 3 卡,可选 10 Gbps / 100 TB。P40 是老硅片,张量核心约等于没有,跑 llama.cpp 系推理没问题,认真训练别找它。
crossover 一句话算清:包月价低于"730 × 小时单价"就赢。ServaRica $0.19/时、Hetzner 0.32 欧/时对 $0.34 起的 Pod 都过线;Contabo 只在同卡按小时贵租时才划算。
标价之外要看什么
- 税:不少报价不含 VAT,欧盟实际账单上浮 19-25%。
- 市场邻居:Vast.ai 房东是个人,"4090"可能和矿机同吃一路电。长任务先看房东可靠性评分。
- 抢占:spot 出价被超过就掉卡。能断点的微调无所谓,线上产品不行。
- 多卡显存不合并:2x24 GB 只在张量并行框架下才是 48 GB;标"合计 96 GB"的四卡机器不是一张大卡。
- 安装费与承诺期:Hetzner 的 209 欧、Contabo 的年付折扣,前提是机器真的活那么久。这行硬件换代极快。
怎么选,一条线走完
- 月忙碌不到 100 小时、模型不大:Serverless,$69.60/月这笔账没什么可争的。
- 突发微调与实验:按小时 Pod,能断点就上 Vast.ai spot;数据敏感用 RunPod Secure。
- 8B-32B、全天候、欧洲:Hetzner GEX45,前提是 20 GB 显存罩得住你的量化档。
- 70B 量化、全天候:Contabo $1,199 固定价,或 Vast.ai A100 80 GB $0.44/时(整月 $321.20),看现金流偏好。
- 最便宜的 7x24 跑 32B 级量化:ServaRica P40 折合 $127/月,对它的年纪心里有数就行。
以上价格是带日期的快照,不是下单报价。地区、税率、周期以下单页为准;这个市场里,六周已经很长了。