Modal與Vera：AI智慧代理的算力帳，不能只看晶片跑分

Modal 10月19日稱，Vera早期吞吐量最高為同級Intel GNR的兩倍，並非所有串行任務都更快；沙箱的Vera支持仍在計劃中。¹

其公開基準採用50個Terminal-Bench標準解任務，在預熱、無網路呼叫的容器中執行，剔除模型輪次延遲，且通過驗證器才計入完成。²這一邊界意味著，公告可以成為評估基礎設施的起點，卻不能直接回答一項完整智慧代理服務究竟要花多少錢。

資料照片：2018年8月4日，美國加利福尼亞州聖克拉拉，輝達總部。攝影：Coolcaesar；透視校正、裁切衍生版本：Jacek Halicki，2020年。來源：NVIDIA Headquarters；CC BY-SA 4.0。

先確定秒錶從哪裡開始

智慧代理的服務時間可能包含進入隊列、準備執行環境、等待模型回復、執行工具、驗證以及交付結果。等到環境就緒才開始計時，與客戶提交請求時立即計時，回答的是兩個不同問題。兩種測量本身都可以成立；問題在於，不能把前者的結果當成後者的承諾。

NIST的雲服務指標框架明確規定測量條件與邊界。³一種具體應用，是分別記錄請求到達、環境就緒和結果通過驗收的時間。這樣可以把等待、準備與執行區分開來，而不在比較平台時悄悄移動秒錶的起點。

可以用一個純假設說明：某個流程原來耗時100秒，其中30秒屬於能被加速的計算，另外70秒是未改變的等待或其他工作。即使計算部分耗時減半，流程仍需85秒，總時間節省15%，而不是50%。這只是算術示例，不是對Vera的性能預測。它說明，把部件結果投射到整項服務之前，必須先弄清真正改變的是哪一段工作。

吞吐量需要配上截止時間與正確性

一項服務每小時完成更多任務，並不意味著每個任務都更早結束；反過來，單個任務跑得快，也不能說明請求同時湧入時系統如何表現。對營運者更有意義的比較，是在實際向客戶承諾的回應時間內，完成了多少有效工作。

因此，超時、失敗和遲到任務都必須留在帳上。如果成本分子排除失敗嘗試，產出分母卻只計算成功結果，服務就會顯得虛假便宜。僅報告平均值也可能掩蓋慢速端使用者的體驗。中位數、高分位延遲、任務組合與請求到達方式，需要配合觀察，各自回答不同問題。

再用一組假設數字說明覈算：某服務在觀察窗口內花費100美元，交付1,000個合格結果，每個結果成本就是0.10美元；另一配置同樣花費100美元，卻只有800個合格結果，單位成本便是0.125美元，無論它啓動過多少次嘗試。這些不是Modal報價，也不是實測失敗率。只有驗收標準保持不變，兩組成本才有可比性。

資源池把問題從晶片變成服務容量

NIST對雲端運算的定義，把資源池化、快速彈性和可計量服務列為核心特徵。資源可以在客戶之間動態分配、擴展或釋放，並按適合服務的層級進行計量。⁴這也解釋了為甚麼採購一台服務器與支付一張雲帳單，不是可以直接互換的比較單位。

由此推導，容量應該在有用服務的邊界上估值。如果請求少到用不上新增能力，最高處理速度上升也未必能降低固定帳單；如果需求超過容量，就要查清真正限制系統的是計算、記憶體、儲存、外部服務，還是准入規則。系統卡在其他資源時，單純增加算力並不會移除那個瓶頸。

同理，一台預留加速器等待前置工作時可能仍在產生費用，但前置工作變快，只有在釋放了可計費時間或容納了更多有效產出時，才形成經濟收益。不能不檢查計費粒度、預留安排和下一階段能否實際啓動，就把節省秒數直接乘以標稱時價。這是系統覈算問題，不是某款晶片必然帶來某種利潤率的證據。

軟體相容性必須進入遷移預算

Docker列出模擬、原生構建器和交叉編譯等多平台構建方式；容器代碼須相容宿主架構。⁵存在遷移路徑，並不等於應用組合可以無成本遷移。

實際比較需要在兩個平台執行相同驗收測試，並記錄哪些依賴須重新構建、替換或繼續留在原平台。容器成功啓動，遠弱於業務任務正確完成這一證據。即使應用名稱一樣，編譯設置、庫版本和回退路徑不同，也可能改變比較結果。

遷移工作本身也是支出。維護兩套鏡像、重復測試環境和回退路徑可能完全合理，但這些成本必須與服務器費用一起進入評估。用有代表性的工作負載逐步遷移，可以發現這些成本，而不必先假定所有任務都適合轉移。這些因素不證明遷移不划算，只說明在宣稱划算之前，哪些項目必須測量。

安全隔離不能被視為可隨意省掉的開銷

NIST的容器安全指南討論了鏡像、倉庫、編排、執行時和宿主操作系統的風險，提醒共享內核的隔離不等同於虛擬機監控器隔離，並建議使用可信鏡像、限制權限、避免把密鑰等秘密寫入鏡像。⁶這是一份通用指南，並非對Modal具體隔離架構的評估。

對智慧代理基礎設施而言，由此得出的要求很直接：性能比較應保留生產環境真正需要的安全設置。為了讓測試更快而移除邊界、擴大權限或省略審計工作，實際上改變了被比較的服務。若訪問控制或風險隔離明顯不同，更便宜的合格結果也不能視為同一種產品。

下一步更有說服力的證據，是把代表性任務組合與可復現配置、正確性驗證、端到端延遲以及完整收費條件連起來。這次公告提出了一個值得研究的智慧代理算力問題；要回答它，還必須證明新增處理能力經過軟體遷移、服務時限與安全要求之後，確實轉化為有用產出，而不只是更大的跑分數字。

來源與說明

1. Modal，2026年10月19日，《NVIDIA Vera CPU讓Modal沙箱吞吐量翻倍》。 ↩

2. Modal Projects，未標發布日期；2026年10月20日查閱，《Agentless Agent Bench》。 ↩

3. Frederic de Vaulx、Eric Simmon、Robert Bohn，NIST，2018年4月，《雲端運算服務指標描述》，SP 500-307。 ↩

4. Peter Mell、Timothy Grance，NIST，2011年9月，《NIST雲端運算定義》，SP 800-145，2012年4月27日有編輯性更正。本文作解釋性轉述；材料由美國國家標準與技術研究院授權再利用（Republished courtesy of the National Institute of Standards and Technology），見使用條款。 ↩

5. Docker，未標發布日期；2026年10月20日查閱，《多平台構建》，Apache 2.0許可。 ↩

6. Murugiah Souppaya、John Morello、Karen Scarfone，NIST，2017年9月，《應用容器安全指南》，SP 800-190。本文作解釋性轉述；材料由美國國家標準與技術研究院授權再利用（Republished courtesy of the National Institute of Standards and Technology），見使用條款。未轉載源圖表。 ↩