科技 / 2026年10月20日 / 8 分钟阅读

Modal与Vera:AI智能体的算力账,不能只看芯片跑分

智能体基础设施的有效比较,需要把合格任务产出、响应时间边界、软件兼容性、安全隔离和完整运行成本放在一起。

作者 全球伯乐 News

资料整理

分享
文章目录

Modal 10月19日称,Vera早期吞吐量最高为同级Intel GNR的两倍,并非所有串行任务都更快;沙箱的Vera支持仍在计划中。1

其公开基准采用50个Terminal-Bench标准解任务,在预热、无网络调用的容器中运行,剔除模型轮次延迟,且通过验证器才计入完成。2这一边界意味着,公告可以成为评估基础设施的起点,却不能直接回答一项完整智能体服务究竟要花多少钱。

2018年8月4日拍摄的美国加州圣克拉拉英伟达总部资料照片

资料照片:2018年8月4日,美国加利福尼亚州圣克拉拉,英伟达总部。摄影:Coolcaesar;透视校正、裁切衍生版本:Jacek Halicki,2020年。来源:NVIDIA Headquarters;CC BY-SA 4.0。

先确定秒表从哪里开始

智能体的服务时间可能包含进入队列、准备执行环境、等待模型回复、运行工具、验证以及交付结果。等到环境就绪才开始计时,与客户提交请求时立即计时,回答的是两个不同问题。两种测量本身都可以成立;问题在于,不能把前者的结果当成后者的承诺。

NIST的云服务指标框架明确规定测量条件与边界。3一种具体应用,是分别记录请求到达、环境就绪和结果通过验收的时间。这样可以把等待、准备与执行区分开来,而不在比较平台时悄悄移动秒表的起点。

可以用一个纯假设说明:某个流程原来耗时100秒,其中30秒属于能被加速的计算,另外70秒是未改变的等待或其他工作。即使计算部分耗时减半,流程仍需85秒,总时间节省15%,而不是50%。这只是算术示例,不是对Vera的性能预测。它说明,把部件结果投射到整项服务之前,必须先弄清真正改变的是哪一段工作。

吞吐量需要配上截止时间与正确性

一项服务每小时完成更多任务,并不意味着每个任务都更早结束;反过来,单个任务跑得快,也不能说明请求同时涌入时系统如何表现。对运营者更有意义的比较,是在实际向客户承诺的响应时间内,完成了多少有效工作。

因此,超时、失败和迟到任务都必须留在账上。如果成本分子排除失败尝试,产出分母却只计算成功结果,服务就会显得虚假便宜。仅报告平均值也可能掩盖慢速端用户的体验。中位数、高分位延迟、任务组合与请求到达方式,需要配合观察,各自回答不同问题。

再用一组假设数字说明核算:某服务在观察窗口内花费100美元,交付1,000个合格结果,每个结果成本就是0.10美元;另一配置同样花费100美元,却只有800个合格结果,单位成本便是0.125美元,无论它启动过多少次尝试。这些不是Modal报价,也不是实测失败率。只有验收标准保持不变,两组成本才有可比性。

资源池把问题从芯片变成服务容量

NIST对云计算的定义,把资源池化、快速弹性和可计量服务列为核心特征。资源可以在客户之间动态分配、扩展或释放,并按适合服务的层级进行计量。4这也解释了为什么采购一台服务器与支付一张云账单,不是可以直接互换的比较单位。

由此推导,容量应该在有用服务的边界上估值。如果请求少到用不上新增能力,最高处理速度上升也未必能降低固定账单;如果需求超过容量,就要查清真正限制系统的是计算、内存、存储、外部服务,还是准入规则。系统卡在其他资源时,单纯增加算力并不会移除那个瓶颈。

同理,一台预留加速器等待前置工作时可能仍在产生费用,但前置工作变快,只有在释放了可计费时间或容纳了更多有效产出时,才形成经济收益。不能不检查计费粒度、预留安排和下一阶段能否实际启动,就把节省秒数直接乘以标称时价。这是系统核算问题,不是某款芯片必然带来某种利润率的证据。

软件兼容性必须进入迁移预算

Docker列出模拟、原生构建器和交叉编译等多平台构建方式;容器代码须兼容宿主架构。5存在迁移路径,并不等于应用组合可以无成本迁移。

实际比较需要在两个平台运行相同验收测试,并记录哪些依赖须重新构建、替换或继续留在原平台。容器成功启动,远弱于业务任务正确完成这一证据。即使应用名称一样,编译设置、库版本和回退路径不同,也可能改变比较结果。

迁移工作本身也是支出。维护两套镜像、重复测试环境和回退路径可能完全合理,但这些成本必须与服务器费用一起进入评估。用有代表性的工作负载逐步迁移,可以发现这些成本,而不必先假定所有任务都适合转移。这些因素不证明迁移不划算,只说明在宣称划算之前,哪些项目必须测量。

安全隔离不能被视为可随意省掉的开销

NIST的容器安全指南讨论了镜像、仓库、编排、运行时和宿主操作系统的风险,提醒共享内核的隔离不等同于虚拟机监控器隔离,并建议使用可信镜像、限制权限、避免把密钥等秘密写入镜像。6这是一份通用指南,并非对Modal具体隔离架构的评估。

对智能体基础设施而言,由此得出的要求很直接:性能比较应保留生产环境真正需要的安全设置。为了让测试更快而移除边界、扩大权限或省略审计工作,实际上改变了被比较的服务。若访问控制或风险隔离明显不同,更便宜的合格结果也不能视为同一种产品。

下一步更有说服力的证据,是把代表性任务组合与可复现配置、正确性验证、端到端延迟以及完整收费条件连起来。这次公告提出了一个值得研究的智能体算力问题;要回答它,还必须证明新增处理能力经过软件迁移、服务时限与安全要求之后,确实转化为有用产出,而不只是更大的跑分数字。

来源与说明

  1. Modal,2026年10月19日,《NVIDIA Vera CPU让Modal沙箱吞吐量翻倍》。 ↩

  2. Modal Projects,未标发布日期;2026年10月20日查阅,《Agentless Agent Bench》。 ↩

  3. Frederic de Vaulx、Eric Simmon、Robert Bohn,NIST,2018年4月,《云计算服务指标描述》,SP 500-307。 ↩

  4. Peter Mell、Timothy Grance,NIST,2011年9月,《NIST云计算定义》,SP 800-145,2012年4月27日有编辑性更正。本文作解释性转述;材料由美国国家标准与技术研究院授权再利用(Republished courtesy of the National Institute of Standards and Technology),见使用条款。 ↩

  5. Docker,未标发布日期;2026年10月20日查阅,《多平台构建》,Apache 2.0许可。 ↩

  6. Murugiah Souppaya、John Morello、Karen Scarfone,NIST,2017年9月,《应用容器安全指南》,SP 800-190。本文作解释性转述;材料由美国国家标准与技术研究院授权再利用(Republished courtesy of the National Institute of Standards and Technology),见使用条款。未转载源图表。 ↩