Gemini 4 Carbon：測試成績與實際防禦之間，還缺哪些證據

評測條件、使用範圍和部署結果不是同一回事。理解安全模型的作用，應同時看測試如何進行，以及結果能否在真實工作中重現。

資料整理

文章目錄

Google 10 月 28 日宣布 Gemini 4 Carbon，計畫本週向部分網路防禦人員提供使用機會；其自報的無安全防護限制 SEC-bench Pro 成績為 88.2%。¹

美國加州山景城 Googleplex 園區廣場資料照片。

資料照片：2014 年 7 月 18 日，美國加州山景城 Googleplex 園區廣場。攝影：Runner1928／Wikimedia Commons；CC BY-SA 3.0。

測試分數不能直接改寫成現實成功率

這類成績首先回答的是：模型在一組既定題目、評分規則和執行條件下表現如何。它不能直接換成「現實世界中發現漏洞的比例」，更不能自動涵蓋不同程式碼庫、不同權限設定和全部攻擊情境。實驗中的任務範圍，與真實組織面對的系統範圍並不相同。

因此，評估時應把成績的來源與成績本身同時保留。廠商揭露能提供待檢驗的起點，卻不等於獨立團隊已經重現，也不等於使用者在自己的系統中獲得了同樣結果。在缺少現場驗證時，最準確的做法是保留尚待證明的問題，而不是把測試數字轉成已實現的防禦效益。

美國國家標準暨技術研究院（NIST）的 AI 風險管理框架為這種區別提供了具體方法。其 MEASURE 2.1 要求記錄測試方案、指標和工具；2.3 強調盡可能在接近部署環境的條件下衡量表現；2.4 要求監測實際運作的行為；2.5 則要求記錄結果能推廣到什麼程度、有哪些限制。²

將這個框架用於理解新模型，重點不是多列幾個排行榜，而是核對測試條件是否與預定使用情境相符。一項發現是否能重複驗證、修復建議是否引入新的問題，以及模型能存取哪些系統，都需要在具體工作流程中評估。這裡提出的是驗證問題，不是斷言 Carbon 已發生誤報、造成漏洞或通過了某種認證。

該框架是 2023 年發布的自願性方法，不是針對這一模型的新監管核准。引用它也不表示 NIST 已評測、認可或為該產品背書。²³

在資安領域，更強的發現或驗證能力具有雙重用途：相同能力可能協助防禦者找出弱點，也可能增加不當使用的風險。正因如此，存取權限、執行環境與持續監測不能被視為與效能無關的附屬事項。

對一般讀者而言，目前應區別「公告提出的安排」與「已經可以在自己的帳號中使用」。本次查核沒有進行實際接入測試，也沒有建立獨立的部署成效紀錄。後續真正有價值的新證據，應包括可確認的使用範圍、可重現的第三方評估，以及防禦工作中的實際表現，而不是把同一個分數在更多報導中重複當作現實結果。

2026-10-28 · Gemini 4 Carbon: our next frontier model · Google。 ↩
2023 年框架 · 5 AI RMF Core，MEASURE 2.1、2.3、2.4、2.5 · NIST；此處為框架方法的解釋性轉述。Republished courtesy of the National Institute of Standards and Technology. ↩ ↩²
2023-01-26 · Artificial Intelligence Risk Management Framework (AI RMF 1.0) · NIST；歷史方法背景，並非本次產品評估。 ↩