Gemini 4 Carbon：测试成绩与实际防御之间，还缺哪些证据

评测条件、使用范围和部署结果不是同一回事。理解安全模型的作用，应同时看测试如何进行，以及结果能否在真实工作中复现。

资料整理

文章目录

Google 10 月 28 日宣布 Gemini 4 Carbon，计划本周向部分网络防御人员提供使用机会；其自报的无防护栏 SEC-bench Pro 成绩为 88.2%。¹

美国加州山景城 Googleplex 园区广场资料照片。

资料照片：2014 年 7 月 18 日，美国加州山景城 Googleplex 园区广场。摄影：Runner1928／Wikimedia Commons；CC BY-SA 3.0。

测试分数不能直接改写成现实成功率

这类成绩首先回答的是：模型在一组既定题目、评分规则和运行条件下表现怎样。它不能直接换成“现实世界中发现漏洞的比例”，更不能自动涵盖不同代码库、不同权限配置和全部攻击场景。实验中的任务边界，与真实组织面对的系统边界并不相同。

因此，评估时应把成绩的来源与成绩本身同时保留。厂商披露能够提供待检验的起点，却不等于独立团队已经复现，也不等于使用者在自己的系统中获得了同样结果。在缺少现场验证时，最准确的做法是保留尚待证明的问题，而不是把测试数字转成已实现的防御收益。

美国国家标准与技术研究院（NIST）的 AI 风险管理框架为这种区别提供了具体方法。其 MEASURE 2.1 要求记录测试方案、指标和工具；2.3 强调尽可能在接近部署环境的条件下衡量表现；2.4 要求对实际运行的行为进行监测；2.5 则要求记录结果可以推广到什么程度、有哪些限制。²

将这个框架用于理解新模型，重点不是多列几个排行榜，而是核对测试条件是否与拟使用场景相符。一个发现是否能重复验证、修复建议是否引入新的问题，以及模型能访问哪些系统，都需要在具体工作流程中评估。这里提出的是验证问题，不是断言 Carbon 已发生误报、造成漏洞或通过了某种认证。

该框架是 2023 年发布的自愿性方法，不是针对这一模型的新监管批准。引用它也不表示 NIST 已评测、认可或背书该产品。²³

在安全领域，更强的发现或验证能力具有双重用途：相同能力可能帮助防守者定位薄弱环节，也可能增加不当使用的风险。正因如此，访问权限、运行环境与持续监测不能被视为与性能无关的附属事项。

对普通读者而言，目前应区别“公告提出的安排”与“已经可以在自己账户中使用”。本次核验没有进行实际接入测试，也没有建立独立的部署成效记录。后续真正有价值的新证据，应包括可确认的使用范围、可复现的第三方评估，以及防御工作中的实际表现，而不是把同一个分数在更多报道中重复当作现实结果。

2026-10-28 · Gemini 4 Carbon: our next frontier model · Google。 ↩
2023 年框架 · 5 AI RMF Core，MEASURE 2.1、2.3、2.4、2.5 · NIST；此处为框架方法的解释性转述。Republished courtesy of the National Institute of Standards and Technology. ↩ ↩²
2023-01-26 · Artificial Intelligence Risk Management Framework (AI RMF 1.0) · NIST；历史方法背景，并非本次产品评估。 ↩