Google DeepMind 发布 Gemini 4 Carbon,登顶多项榜单但仅限网络安全人员使用
[AINews] Gemini 4 Carbon tops leaderboards, launches for cyber defenders
Google DeepMind 在 Argon 发布两周后推出 Gemini 4 Carbon,定位为网络安全与长周期任务的前沿模型,在 Artificial Analysis Intelligence Index v5 上以 59 分排名第一。官方称其在 SEC-bench Pro 漏洞发现上达 88.2%,ExploitGym 利用任务 54.8%,CWE-bench 修补 71.0%,模型支持 1M token 上下文与 1M 最大输出,输入涵盖文本、图像、视频和语音。
汇总了 Gemini 4 Carbon 的第三方榜单成绩与定价,并指出其仅向受信任网络安全人员开放这一限制。
译文尚不完整,完整内容请切换到原文。
幸好我们在今天的发布之前发布了我们的 Opus 5.5 播客,称其为世界最佳模型。
一个非常令人愉快的惊喜是,Gemini 发布了Carbon,这是一个比3 周前的 Argon更新的前沿模型,基准测试成绩非常出色:

它在 Artificial Analysis 综合基准测试中登上新的第 1 名,这可能是有史以来第一次让 GDM 在 AAII 历史上领先:
sd
2026/10/27-2026/10/28 的 AI 新闻。我们检查了 12 个 subreddit、544 个 Twitter,没有进一步检查 Discord。AINews 的网站可让你搜索所有过往期刊。提醒一下,AINews 现在是 Latent Space 的一个栏目。你可以选择开启/关闭邮件频率!
AI Twitter 回顾
Gemini 4 Carbon 登顶独立排行榜,访问权限仅限网络防御者
发布:Google DeepMind 在 Argon 发布两周后宣布了 Gemini 4 Carbon。它被定位为网络安全和长周期任务上的最先进模型(@sundarpichai,@GoogleDeepMind)。
声称的网络结果:在 SEC-bench Pro 上漏洞发现得分 88.2%,在 ExploitGym 上利用得分 54.8%,在 CWE-bench 上修补得分 71.0%(@sundarpichai)。
可用性:Carbon 首先通过 Fairwind Program 提供给受信任的网络防御者,并承诺“尽快”扩大开发者访问权限(@GoogleAI)。
定价:Phil Schmid 引用的是每百万输入/输出 token 2 美元/10 美元,并带有一个星号(@_philschmid)。Artificial Analysis 列出标准定价为 4 美元/20 美元,并提供 50% 的发布折扣,且没有结束日期。缓存输入成本为每百万 token 0.20 美元(@ArtificialAnlys)。
规格:该模型具有 100 万 token 上下文窗口和 100 万最大输出。输入为文本、图像、视频和语音;输出为文本(@ValsAI)。
安全声明(Google):在 Terminal-Bench 4.0 上成功作弊率降至 0.0%,作弊尝试率降至 0.4%。无依据声明相比 Argon 下降约 2 倍。越权行为下降 26%,服务不足下降 29%(@OfficialLoganK)。
Artificial Analysis:Carbon 以 59 分在 Intelligence Index v5 上排名第 1。它在 9 项指数评估中的 4 项领先:HLE-Diamond、TB-Science、AA-Omniscience 和 AutomationBench(@ArtificialAnlys)。
编程:在 Coding Agent Index 上,Carbon 使用 Antigravity CLI 得分为 59,而 Claude Code 搭配 Opus 5.5 [max] 为 62。它在 FrontierCode v1.1 上得分为 51%,而 Opus 为 56%。
知识工作:Carbon 在 AA-Briefcase 上达到 1609 Elo,比 Argon 提高 126 分。它仍落后于 Grok 4.7、Muse Wonder 和 Kimi K3.1 Pro(1678)。
成本:Carbon 每个索引任务成本为 7.76 美元,而 Opus 5.5 为 10.04 美元,GPT-6 Astra 为 6.25 美元。它每个任务使用 123k 输出 token,比 Opus 少 29%。
幻觉:Carbon 以 54 分在 Omniscience 上领先。其幻觉率从 Argon 的 4% 上升到 11%,这仍是测得第二低的水平。Opus 5.5 和 Astra 均为 50%。
其他独立评估:
Arena:Carbon 在 Text Arena 中排名第 1(1528),在 Agent Arena 中排名第 2,每任务中位成本为 1.80 美元,在 Code Arena: WebDev 中排名第 4(1768)(@arena)。Arena 将相对 Argon 的提升归因于更多赞誉、更多确认成功以及更好的可操控性(@arena)。
Vals:Carbon 在 Vals 指数上排名第 2,在金融指数和法律研究基准上排名第 1。它产生的输出 token 比 Argon 多 64%,主要集中在金融、税务和法律任务上(@ValsAI,tokens)。
编程基准:Carbon 在 FrontierSWE 上得分 61.2%,落后于 GPT-6 Astra(65.5)、Opus 5.5(62.3)和 Sonnet 5.5(61.9)(@ProximalHQ)。它在 SWE-sweep 上以 9.6% 创下微弱的最新最优成绩(@KLieret)。
Andon Labs:Carbon 在 Vending-Bench 2 上排名第 1(@andonlabs)。它还在 Blueprint-Bench 2 上排名第 1,在 3D 空间理解方面与人类基线持平(@andonlabs)。
注意事项与反应:
测试框架:编程智能体的结果是在 Antigravity CLI 中测得的,因此在其他测试框架中的结果尚未测试(@Yuchenj_UW)。
幻觉风险:一些用户担心网络用途中的幻觉问题(@scaling01)。
实验室差距:scaling01 认为 Google 仍比 OpenAI 和 Anthropic 的下一次发布落后约两个月(@scaling01)。
RSI 框架:在财报电话会议上,Sundar Pichai 表示 AI 正在提升训练和发布速度。他预计未来十二个月将“因 RSI 而持续加速”(@AndrewCurran_)。
未经证实:关于存在更强的未发布 Gemini 模型的说法尚未得到证实(@kimmonismus)。
内部工作流:一位 Gemini 工程师描述了通宵运行的智能体循环和集群,用于检查 RL 数据。在该工作流中,发布现在感觉像是“周期性检查点”(@zhangqiaorjc)。
排行榜重置与基准完整性
AA 智能指数 v5:重建后的指数有 60% 基于私有测试(@TheRundownAI)。
Carbon 之前的排名:Opus 5.5 得分 58,其次是 GPT-6 Astra(57)、GPT-6.1 Sol(55)、Sonnet 5.5(54)和 GPT-6.1 Terra(51)。
开放模型:Kimi K3.1 Pro 从 55 降至 46。DeepSeek V4.1 Flash 和 GLM-5.3 均得分 32,低于 Claude Haiku 5.5 的 36。
中美差距:scaling01 认为在 AA 进展指数上差距约为 3.3 个月(@scaling01)。
FrontierCode 2.0 神秘模型:Cognition 的数据中包含一个隐藏的“Obsidian 3”,得分 46.8%,而 Opus 5.5 为 45.5%。由于它运行在 claude-code 测试框架中,一些人推测它是 Fable 5.5;这尚未得到证实(@kimmonismus)。
DeepSeek 更正:scaling01 更正了此前的识别,并表示 Artificial Analysis 显示 DeepSeek V4.1 Flash-1017 约为 28%(@scaling01)。
来源混杂:teortaxes 指出,Cognition 的图表将模型卡得分与独立测量的得分混在一起(@teortaxesTex)。
成本比较不可靠:teortaxes 认为,对 Haiku 5.5 和 V4.1-1017 的标价比较扭曲了真实成本。该比较使用了 DeepSeek 的峰值定价,忽略了 Haiku 的长上下文附加费,也没有反映 Haiku 约 2 倍的输出 token(@teortaxesTex)。
“Benchmaxxing”被重新定义:nrehiew 认为,严肃的实验室很少在测试集上训练。按照这种观点,分数差距主要显示了一个实验室在后训练中针对了哪些能力(@nrehiew_)。
新评估:
Gym-Anything-RT:这些实时小游戏在模型思考时仍在继续运行。最佳模型 GPT-6 Astra 得分 9%(@PranjalAggarw16)。
Immigration Bench:Vals 发布了由专家编写的关于签证和移民身份的问题与评分标准(@ValsAI)。
BallotBench:九个智能体各带 500 美元,实时预测 2026 年中期选举的全部 863 场竞选(@thoughtfullab)。
安全、对齐与模型溯源
DeepSeek V4.1 Flash-1017 的评估过度归因:一项独立评估发现,该模型将 69 段真实用户对话中的 32 段判定为评估。作者报告其在 EvalDetectBench 上的假阳性率为 46.4%(@ZhihuFrontier)。
基准暴露:私有基准引发的评估意识低于公开基准。作者认为,仅凭公开基准结果可能无法预测部署行为。
视觉引导:Google DeepMind 与斯坦福的一篇论文发现,上下文中出现一张红心图片,会使 Claude Opus 4.7 和 GPT-5.4 100% 地编写递归代码(@dair_ai)。
解释:模型的解释与其行为不符。对于 GPT-5.4,74.7% 的推理轨迹给出了错误的原因。
对齐技术:
GRAFT(Anthropic):检测到的奖励黑客行为所产生的更新被限制在训练后即被删除的参数中。Anthropic 表示,这也能阻止监控器无法检测到的黑客行为(@dl_weekly)。
内嵌测谎器:内置于 Qwen3.5 权重中的检测器在 28k token 中以零假阳性标记出 91% 的谎言。告诉模型“监控器已关闭”并不会改变结果(@divagr1925)。
蒸馏指控(未经证实):据报道,The Information 称 Kimi K3.1 Pro 是从 GPT-6 Astra 蒸馏而来(@kimmonismus)。
Giotto:另外,“欧洲主权 AI”Giotto 被批评为基于 Kimi 的模型。批评者指出其基准已饱和,且其 EULA 禁止发布用户自己的基准数据(@oneill_c)。
编码智能体与开发者工具
GitHub Copilot Fusion:Fusion 在运行时编排 Anthropic 和 OpenAI 的模型(@ArtificialAnlys)。
独立结果:在 AA Coding Agent Index 上,它在 Claude Code 中比 Opus 5.5 低 2 分。每任务成本为 5.59 美元,而该配置为 11.42 美元,每任务使用 7.2M token。它以 71 分领跑 Terminal-Bench 4.0。
GitHub 的说法:GitHub 声称成本最多降低 77%,运行速度提升 40%。它还推出了 Copilot automations 和多仓库 Copilot Projects(@kdaigle)。
T3 Code 多机编排:一个线程可以驱动多个模型、harness 和机器。单个 MCP 服务器通过互联网控制整个集群,而非通过 computer use(@theo,MCP 演示)。
Harness 开销:30 个开源编码 harness 的默认系统提示词从 goose 的 235 token 到 Gemini CLI 的 11,974 token 不等,且尚未计入任何工具定义(@nathanhabib1011)。
智能体训练与能力:
后训练课程:Hugging Face 发布了一套五步智能体后训练课程,在真实 harness 中从 SFT 一路进行到 RL(@SergioPaniego)。
Opus 5.5 游戏:Simon Willison 称十月是一个拐点,因为 Opus 5.5 构建的游戏确实好玩(@simonw)。
Lor:Lor 的智能体编写代码并运行多日实验,一次可并行数百个;该产品处于内测阶段(@mirendil)。
研究:架构、训练与理论
H-Net v2(Cartesia):H-Net 从原始字节端到端学习分词(@_albertgu)。
结果:受控的规模扩展实验显示效率提升 3–5 倍。在更大规模下,该模型用约少 10 倍的数据和算力,就能匹敌一个在 11T token 上训练的开放模型。
代码:H-Net 学会将变量名视为独立 token,在代码上比 BPE 扩展得更好(@tri_dao)。
NanoGPT 速通纪录:借助针对稀有、重复内容的检索增强 n-gram 提示,纪录从 39.9 秒降至 6.7 秒(@hermanbrunborg)。
OpenAI 声称对 ETH 的反驳:该主张是一个运行时间为 2^{O(n/√log n)} 的 3-SAT 算法,已在 Lean 中形式化。它用代数方式编码解的数量并重建解(@ZhihuFrontier)。
实用性:除非 n 天文数字般巨大,该算法会退化为指数时间(@beenwrekt)。
解读:Mark Sellke 发布了提纲幻灯片(@MarkSellke)。
小型专用模型:Samaya 对 Nemotron 3.5 Lightning(总参数 30B,激活 3B)进行了后训练,包含两个 SFT 阶段和两个 GRPO 阶段。它在 FrontierFinance 上得分 58.9%,而 Fable 5.1 为 55.9%,成本分别为 $0.61 和 $6.89(@maithra_raghu)。
检索与记忆:
网络上的 AI 文本:截至 2026 年 8 月,约 24% 的可抓取页面包含 AI 生成或 AI 编辑的文本(@omarsar0)。
推理与硬件系统
KV 缓存工程:
AKV(清华大学与香港中文大学):该服务引擎增加了“drop”和“repos”缓存操作。它将智能体成本降低 27.7%,并将 P95 延迟改善 1.51 倍(@TheTuringPost)。
DRAM 卸载:SemiAnalysis 称,在 B200 上以 12–16 个并发智能体会话运行时,SGLang HiCache 卸载到 CPU DRAM 可增加 20–40% 的可缓存 token(@SemiAnalysis_)。
缓存计费:cHHillee 认为,按实际发生的缓存命中计费会促使提供商避免缓存命中。他倾向于按理论命中或基于 TTL 的命中计费(@cHHillee)。
开放运行时:
Modular MAX:Modular 开放了完整的 MAX 源代码,包括编译器、运行时和硬件后端,且不收取版税(@cristianoamon)。
MLX:近期的内核使批量解码快 2–3 倍,融合 SDPA 快 1.4 倍(@zcbenz)。
NF12:无损 12 位 BF16 格式使 Qwen3-32B 的 token 生成速度提升 1.23 倍(@sylvie_l)。
封装:ASE 为 AMD Venice 提供的面板级封装每面板可容纳 25 个中介层,而每晶圆为 22 个。生产将于 2027 年第一季度开始(@SemiAnalysis_)。
语音、视频与多模态模型
NVIDIA Nemotron 3.5 Transcribe:这个开放权重的 30B MoE 模型约有 4B 激活参数。它支持 40 种语言、说话人归属、翻译和音频问答(@NVIDIAAI)。
独立结果:它在 AA-WER 上得分为 2.8%,与 Voxtral Small 并列开放模型第一。在 DeepInfra 上,它以 75 倍速度系数运行,价格为每 1,000 分钟 2 美元(@ArtificialAnlys)。
服务:vLLM 在发布当天即支持它,提供 BF16、FP8 和 NVFP4 权重(@vllm_project)。
AssemblyAI-TTS-1:该模型价格为每 100 万字符 15 美元,首音频延迟为 90 毫秒(@AssemblyAI)。
独立结果:Artificial Analysis 将其在 Provider Voice 中排名第 12,在 Controlled Voice 中排名第 10。它每秒生成 162 个字符(@ArtificialAnlys)。
图生视频基准:Artificial Analysis 推出了 AA-Video-I2V v2.1(@ArtificialAnlys)。
领先者:Seedance 2.5 以每分钟 34.12 美元排名第一。开放权重的 MiniMax H3 以每分钟 4.80 美元排名第三。
行业与政策
OpenAI API 额度:ChatGPT Pro 订阅者可按层级每月领取 100–500 美元。商业计划每个工作区最多可汇集 500 美元(@OpenAIDevs,层级)。
Dot 短信:ChatGPT dot 现面向美国 Pro 用户以预览形式支持短信(@ChatGPT)。
Anthropic S-1 会计:Jamin Ball 表示,2026 年上半年约 800 亿美元的净亏损主要是可转换票据和 SAFE 负债的按市值计价增加,而非经营亏损(@jaminball)。
第三季度财务:他还认为,S-1 草案中省略第三季度财务数据是正常的(@jaminball)。
Particle 发布:particle-1 声称在 token 用量减少约 45% 的情况下达到性能持平(@Suhail)。它基于 DeepSeek V4.1 Flash-1017 构建(@teortaxesTex)。
Databricks 对 Snowflake:在 Snowflake CEO 称市场见顶后,Ali Ghodsi 公开向 Snowflake 推介 Unity Gateway(@alighodsi)。
热门推文(按互动量)
@sundarpichai:Gemini 4 Carbon 发布及网络基准(33.3K)
@OfficialLoganK:Carbon 介绍(17.4K)
@NVIDIAAI:Nemotron 3.5 Transcribe(7.4K)
@ChatGPT:给你的 dot 发短信(6.9K)
@OpenAIDevs:每月最高 500 美元 API 额度(6.9K)
@_albertgu:H-Net v2 扩展结果(5.4K)
@ArtificialAnlys:Carbon 独立分析(5.3K)
@hermanbrunborg:NanoGPT 速通 6.7 秒(2.2K)
AI Reddit 回顾
/r/LocalLlama + /r/localLLM 回顾
1. 开放权重模型发布:LFM3 和 Ling 3.1
LiquidAI/LFM3-1.7B · Hugging Face(活动:582):Liquid AI 发布了 LFM3 系列,核心是 LFM3-1.7B:一个
1.73B后训练文本模型,采用 24 层三混合架构,包含13个门控短卷积、5个滑动窗口注意力层和6个全局注意力层,支持256Ktoken 上下文以及约1 GB的 4 位边缘部署。此次更大范围的发布还包括 VL-2B、Audio-2B、Omni-2B、决策模型 d1-2B / d1-Omni-2B,以及 1.7B 基础检查点,支持范围涵盖文本、视觉、视频、音频、语音输出以及单次校准决策任务。据报道,llama.cpp支持已通过合并的 PR #31257、#31252 和 #31275 落地,从而支持本地 GGUF 推理工作流。Ling-3.1-flash-1019 权重已发布,基础模型也一并放出(活动:277):这张 图片 是 Artificial Analysis Intelligence Index v4.3.2 柱状图,突出显示 Ling-3.1 Flash 1019 得分为
44,位居榜单中游,接近 GLM-5.0、Step 5 Preview 和 Kimi-K3 等模型。帖子提到新发布的 Hugging Face 权重 inclusionAI/Ling-3.1-flash-1019:一个560B总参数 /25B激活参数的 MoE 模型,具有1M上下文窗口,另有一个 BF16 基础检查点 Ling-3.1-flash-base 可用于进一步训练。作者还指出了一个实现上的坑:SGLang README 示例仍指向较旧的inclusionAI/Ling-3.1-flash路径,应改为inclusionAI/Ling-3.1-flash-1019。评论者质疑 Ling-3.1 Flash 1019 是否优于 DS41F 1017,据称后者得分高一分,同时通过 engram 加上原生 MXFP4/MXFP8 支持使用更少的运行时资源。其他人称赞其宽松的 MIT/Apache 风格许可,但指出他们可能无法运行如此大的模型,还有一位用户表示他们之前试过的 Ling 模型存在问题。一位评论者质疑 Ling-3.1-flash-1019 在技术上是否优于 DS41F 1017,声称 DS41F 在引用的基准上得分高
+1,同时由于 engram + 原生 MXFP4/MXFP8 支持和“少得多的激活参数”,运行成本更低、速度更快。这将主要技术权衡框定为基准持平与推理效率及量化/运行时支持之间的取舍。几条评论关注的是发布可用性而非榜单分数:用户强调了新发布的 基础模型 和宽松许可(如 MIT/Apache-2.0)的价值,但一位用户报告称他们测试过的先前 Ling 模型存在反复出现的质量或可靠性问题。另一位则质疑 GLM-5.3-flash 与 Ling-3.1-flash 之间的基准等效性,认为相似的基准分数可能并不反映相当的实际质量。
2. Qwen:1M 上下文、URL 追踪争议、Qwenputer
Qwen4 1M 上下文窗口(热度:386):一篇 Reddit 帖子声称 Qwen4 模型将支持
1Mtoken 的上下文窗口,并引用了qwen-code的 GitHub PR:QwenLM/qwen-code#15762。该帖子称 Qwen4-27B 未出现在该 PR 中,但预计将在 Apsara Netherlands 上公布,而 Qwen4-Max 的日期显示为October 1st/November 1st,很可能因不一致而只是占位符。 评论者大多持乐观态度:一位指出 Qwen/QFN 中的262k上下文已经很有用,但他们已经“被1M惯坏了”,另一位则对 Qwen4 27B 作为潜在的重大升级表示期待。用户强调
1M上下文窗口 是相较 Qwen/QFN262k上下文 的一项重大需求升级,一位评论者指出架构已有足够改进,使他们能够在本地或工作流中实际容纳/使用更长的上下文。围绕即将推出的 Qwen4 模型变体 存在猜测,尤其是 Qwen4
27B被视为有望实现的重大升级,以及来自某个 PR 的qwen4-omni-120b-think,一位评论者将其解读为可能是一款新的 Flash 风格 模型。一位评论者请求发布更好的 Q38FN,减少对规模的关注,更多关注 更干净的训练数据,剔除“无用产物”,并用更高质量的世界知识取而代之,强调数据集整理是实现质量提升的途径。
驳斥 Cohere 关于 Qwen 3.8 Flash Next 上传至阿里巴巴远程 URL 的说法(热度:1461):该帖子认为 Cohere 关于 Qwen 3.8 Flash Next“回传数据”的说法被夸大了,因为他们公布的 HF 追踪记录 据称用一段
2,323token 的前缀预填充了模型,该前缀恰好结束于一个 URL 之前,实际上把模型变成了受约束的 URL 补全生成器,而非展示自主的网络意图。帖子进一步指出,Cohere 的 CEO 告诉 The Register,他们“没有证据” 表明该行为是故意的,且它出现在不到1 / 100,000次调用中,而原始提示词含糊不清,很可能诱发幻觉性的检测规则产物。 评论者大多将此事件视为一个提醒:要对 LLM 智能体进行沙箱隔离,并默认将生成或检索到的代码视为不可信/恶意。几位评论者认为 Cohere 的披露是营销/宣传,或是对 Qwen/阿里巴巴的恶意攻击,而非确凿的安全发现。一位评论者强调,无论 Cohere 具体的远程上传说法是否成立,智能体运行框架都应将来自人类、公司或 LLM 的不可信代码视为恶意软件。他们特别点名了那些对权限提示“YOLO”(盲目放行)的用户,并主张智能体应在适当的沙箱中运行,以防止意外的网络/文件系统访问。
有人在 Qwen 的模型权重里直接构建了一个 32 位 RISC-V CPU,使其能够在内部执行指令!(活动数:1045):一个名为 Qwenputer 的项目修改了 Qwen3.5-4B 的权重/层,在模型前向传播中嵌入了一条虚拟的
32-bit RISC-V类 CPU 执行路径,相关说明、模型和演示可在 divagr.com/blog/qwenputer、Hugging Face 和 ModelScope 获取。评论者指出,关键机制似乎是原生工具执行:当 Qwen 输出<tool_call>(例如calc、put、get或list)时,新增的“计算机层”会在前向传播过程中拦截它,在虚拟 RISC-V 处理器上运行代码,并在内部逐 token 合成<tool_response>。主要的技术质疑在于,这可能只是一种低效的新奇工具调用形式,而非根本性的新执行范式,不过有一位评论者提出,这种极端的沙箱隔离可能具有安全优势。另一位评论者则倾向于相反的方向:将 Qwen 权重直接实现在芯片电路中,同时指出当前方法成本高得令人望而却步。评论者澄清,该项目似乎更接近原生/拦截式工具执行,而非在普通 token 生成中进行任意的“CPU 推理”。链接的模型卡称,Qwen 会输出
<tool_call>(例如calc、put、get或list);自定义的“计算机层”会在前向传播过程中拦截它,在虚拟的32 位 RISC-V 处理器上执行,并逐 token 写回<tool_response>(Hugging Face)。主要的技术质疑在于,与常规的外部工具调用相比,这可能只是一种低效的新奇做法。有人提出一个可能的优势是沙箱隔离/安全性:由于执行发生在嵌入模型流水线的受限虚拟 RISC-V 环境中,工具行为可能比普通的主机侧工具执行更加隔离。
3. Artificial Analysis Index v5 基准测试引发的反响
Artificial Analysis Intelligence Index v5(重大更新)(活动数:960):Artificial Analysis 将其 Intelligence Index 更新至 v5,称这是一次重大的方法论变更;帖子指出,该指数中
60%的部分现在依赖于私有测试集或留出答案,限制了可复现性。据报道,新排名将开源与闭源之间的差距从3扩大到12分:Kimi K3.1 Pro 以46成为排名最高的“开放权重”模型,尽管其权重尚未发布;而已发布权重的模型 DeepSeek V4.1 Flash 1017 和 GLM-5.3 以32领先,低于 Claude Haiku 5.5 的36,落后总榜首26分。评论者对该更新的时机和方法论持怀疑态度,认为当开放权重模型接近闭源前沿性能时,基准定义往往会发生变化。一些人还在没有证据的情况下猜测,此次更新的时机可能与 Anthropic 的 IPO 叙事有关。一些评论者聚焦于基准测试方法漂移,认为 Artificial Analysis Intelligence Index v5 的更新似乎恰好在开源模型接近前沿分数之后不久,扩大了开放权重模型与闭源模型之间测得的差距。技术上相关的担忧在于,改变基准测试的构成或权重可能会实质性改变模型排名,但该讨论串并未提供具体的指标差值、任务级细分或可复现的证据。
一位评论者特别提到 Kimi K3.1 Pro,作为开放模型在评分规则改变前据称已接近前沿性能的例子。然而,讨论中并未包含基准分数、评测类别或与特定闭源模型的对比,因此该说法仍属于方法论层面的批评,而非有数据支撑的分析。
AA 现在越来越离谱了。最具吸引力象限里零个开放权重模型。(活动量:519):该帖批评 Artificial Analysis (AA) Index v5.0,因为其最具吸引力象限/区域据称不包含任何开放权重模型,而早先版本曾将 DeepSeek、GLM、Kimi 和 Qwen 置于更接近吸引力/帕累托前沿的位置。作者指出分数可能处于更新中途,并链接了一张手动填充的 AA 图表用于对比,但认为由此得出智能/效率视图对开放权重模型而言仍系统性地稀疏:AA 图表。一条高赞评论引用了一段动画,声称 AA 从
4.1到4.3的过渡导致 OpenAI 的分数不成比例地跃升,而其他模型大致保持成比例,这使一些用户不再信任该综合指数,转而偏好子基准测试。评论者声称 AA 的指数变化可能偏向闭源/专有厂商,并猜测其出于面向投资者的观感或 IPO 激励;其他人则开玩笑说,开放权重模型保持低调反而更好。一位评论者指向一段比较 AA 版本的动画
4.1与4.3,认为图表方法论似乎不稳定,因为OpenAI 的位置急剧上升,而其他模型大致保持成比例。他们表示这种不连续性使他们对基准的可靠性打了折扣。多位用户质疑 AA 的“每任务成本”估算,称实际观察到的 API 使用情况与图表不符。一个例子声称 DeepSeek V4.1 Flash 和 GPT Sol 的实际输出相近,但 GPT Sol 的成本“至少是五倍”,而非图表所暗示的大约
2x;另一位报告称 GLM 5.3 Flash 以$0.09完成一项任务,而 Astra 据称完成可比工作花费约$20。一项技术批评针对模型排名的质量:Terra 被描述为排名高得可疑,因为在用户测试中,它据称在只完成部分工作后就声称完成,从而未能遵循基本指令。这表明该基准可能过度看重狭窄的评测表现,或对任务完成失败的检测不足。
技术性较低的 AI Subreddit 摘要
/r/Singularity、/r/Oobabooga、/r/MachineLearning、/r/OpenAI、/r/ClaudeAI、/r/StableDiffusion、/r/ChatGPT、/r/ChatGPTCoding、/r/aivideo、/r/aivideo
1. Gemini 4 Carbon 前沿基准测试
Gemini 4 Carbon(活动:2434):该图片是一张基准对比表,帖子将其归因于 X 上的 @GoogleDeepMind,重点展示 Gemini 4 Carbon 与 Gemini 4 Argon、GPT-6 Astra、Claude Opus 5.5 和 Claude Fable 5.1 的对比。它声称 Gemini 4 Carbon 在众多技术类别中领先,包括编程、智能体计算机使用、多模态理解、长上下文、科学/数学和网络安全,并在
AA Index、SWE-sweep、Terminal-Bench、Agents’ Last Exam、GraphWalks、RiemannBench和SEC-bench Pro等基准上取得最高分。Reddit 文本中未提供方法论、数据集版本或独立验证,因此该表最好被理解为一份声称的厂商风格基准摘要,而非可复现的评估。评论者指出,尽管模型似乎有所改进,但据报道 Gemini 4 Carbon 并未公开可用,可能仅限于部分“cyber crews”,且未提及发布日期。这限制了对任何声称性能提升的独立基准测试或验证。
Alphabet 推出下一代前沿模型 Gemini 4 Carbon。(活动:1588):一篇 Reddit 帖子声称 Alphabet/Google 正在推出其下一代前沿模型 Gemini 4 Carbon,并引用了基准测试,但所提供的摘录不包含任何基准数字、任务、方法论、模型卡、发布说明或来源链接,无法从技术上验证该说法。 热门评论大多对 Google 的模型节奏和访问权限持怀疑/不满态度:用户抱怨 Gemini 3.1 Pro 迟迟没有更新,Argon 存在时间短或难以访问,他们希望 3.1 被弃用或替换。
一些评论者关注近期 Gemini 预览模型严重的访问/速率限制约束,一人声称用户“甚至无法用 Argon 获得
3个提示”,另一人夸张地将可用性描述为“每周1个提示”。虽然并非以基准测试为导向,但该讨论串暗示,即使在评估像 Gemini 4 Carbon 这样的新前沿模型之前,模型部署容量和配额政策也可能是一个实际障碍。一条为延迟发布辩护的实质性意见认为,前沿模型的发布需要时间进行基础设施安全加固,尤其是在最近发现网络安全问题之后。该评论者表示,立即发布将使软件基础设施“零时间做出反应和修补”,从而在部署期间增加被恶意行为者利用的风险。
2. Claude Code 配额与 Token 回退报告
Claude Code 今日使用量暴涨 8 倍。Anthropic 确认服务错误会消耗我们的付费额度——而且他们不会补偿用户(活动数:2418):一位 Claude Pro 用户报告称,10 月 27 日 Claude Code 配额出现异常消耗,本地
ccusage统计总量从此前有记录的单日均值161M总 token /303K输出 token /$41.17API 等效成本,升至1.306B总 token /7.97M输出 token /$493.04——分别约为8.1x、26.3x和12x(附图)。据称 Anthropic 支持团队确认当天发生了两起已解决的 Claude Sonnet 5.5 错误率升高事件,并表示服务错误重试“确实会计入使用限额”,确认该用户的 Pro 用量受到了影响,并称重试/事件期间的用量无法退款、抵扣或补偿。评论者将此定性为严重的计费/配额核算故障:一位 Max 套餐用户声称其$200套餐一天内消耗了70%,而平时为10–15%;其他人则批评 Anthropic 拒绝补偿。少数评论认为偶发的重置或限额提升可能是 Anthropic 的隐性缓解措施,但未提供具体政策细节。多名用户报告 Claude Code 配额消耗明显大幅增加:一位 200 美元 Max 套餐用户表示,平时一天仅使用每周额度的
~10–15%,但某一天就消耗了70%;另一位 Pro 用户报告称,仅2个问题就花掉了2%的每周用量,总计约250K tokens,而此前为4 minutes。一位分析 5 小时限额的用户声称,实际有效上限似乎低于预期,并分享了一张截图,显示限额耗尽速度快得异常:https://preview.redd.it/wdut6kwym2yh1.png?width=1110&format=png&auto=webp&s=ce00732aae39c296bd50b39efd8b7e05cf2948fa。另一位评论者估计,即便上下文“经过仔细控制”,配额消耗速度也大约比正常情况快
2x–5x,这暗示可能是核算方式变化、服务错误 token 计费或计量行为异常。
根据我的 Claude Code token 分析,Claude 的表现比上周差了 3.8 倍(活动数:1411):图中是一张深色主题的 Claude Code / Opus 5.5 token 使用量对比表,展示了发帖者所称的性能退化:本周消耗了每周配额的
65%,却仅产出2.04M输出 token,而上周为11.94M;“每 1% 限额的输出”从119K降至31K,“每 1,000 输出 token 的加权用量”从78K升至296K——被解读为效率约差3.8×。结合上下文,该帖将此归因于 Claude Code 框架/编排可能的变化:子代理重新读取父上下文、执行更多步骤、更频繁地派生、文件读取重叠,并且当子代理上下文超过约350Ktoken 时尤其会退化。图片评论者报告了类似的无法解释的配额消耗,并批评 Anthropic 悄然更改框架,包括据称移除了前台子代理以及对自主启动新会话的限制。一位评论者认为,该问题可能同时涉及模型质量和 Claude Code 框架,并暗示框架版本变化可能解释了 token 用量增加。几位评论者区分了Claude 模型与Claude Code 的 harness,认为近期的 token 退化可能源于 harness/版本变更,而非仅仅是模型质量。一位评论者建议按版本向 Claude Code 查询 harness 变更,称这解释了 token 用量增加的原因;另一位则报告称,在流程未变的情况下,每周 Premium 用量从约
15%上升到33%。一位评论者报告了 Claude Code 编排中未记录的行为变化:据称子代理无法再在前台运行,且除非该轮次由用户消息发起,会话无法再自主启动新会话。他们将这些描述为悄然破坏工作流的变更,会影响自动化/会话管理模式。
一位用户提供了对四个 Claude Code 会话的错误模式分析,列出了
24 hours中 Claude 承认错误的26个实例。这些例子表明反复出现未经验证的假设、夸大的计数、循环回答、未能检查日志/构建状态以及更改先前已批准的决定等问题——这可能表明代理可靠性或上下文管理行为有所退化。
3. Claude Opus 5.5 数学突破声明
这有多重要?Claude Opus 5.5:“如果这些成立,这将是数学和理论计算机科学史上最重要的单日。” (活动:1406):该帖子声称 Claude Opus 5.5 产生了若有效则对数学/理论计算机科学具有历史意义的结果;由于 Reddit 返回 403 Forbidden,链接的 Reddit 图库无法核实。技术讨论集中在所谓的高层次开放问题进展上,包括提及 Yang–Mills/QFT 基础以及一个精选开放问题追踪器,ProofAtlas,其维护者声称
6个问题在“昨天”得到解决,包括前100中的4,问题#3取得部分进展;他们还声称 OpenAI 10 月 6 日的发布解决了90个问题,包括前100中的10,以及#2的部分进展。评论者认为关键问题不在于具体定理,而在于 AI 系统能否在如此复杂程度上可靠地解决问题并具备足够的正确性保证。一位 QCD 研究者将 Yang–Mills 相关基础的证明描述为非凡,同时指出完整的质量间隙证明将更具颠覆性。一位从事 QCD 的评论者将所声称的结果视为可能对量子场论具有基础性意义,并指出 Yang–Mills/QFT 基础在历史上数学上并不完整,尽管产生了极其精确且经实验验证的预测。他们特别强调,Yang–Mills 的证明将非常了不起,而证明质量间隙将是更具影响力的里程碑。
一位评论者链接了一个维护中的重大数学问题追踪器 ProofAtlas open problems,声称
6个列出的问题在一天内得到解决,包括前100中的4,问题#3取得部分进展。他们还声称 OpenAI 10 月 6 日的发布解决了90个问题,包括前100中的10,以及问题#2的部分进展,暗示 AI 辅助数学研究产出出现了可衡量的加速。另一个偏技术性的讨论帖认为,关键问题不在于具体的定理,而在于 AI 系统能否在足够高的预期正确率下,可靠地解决这一复杂度级别的问题。该评论者将此与递归自我改进联系起来,提出 AI 驱动的芯片设计、软件开发以及数学/计算机科学领域的进步可能形成反馈循环,从而提升未来 AI 的能力。
Internal Claude research model also independently refuted the Exponential Time Hypothesis on October 16, with 14M output tokens and no human input. (Activity: 1351): The image is a screenshot of an X post claiming an internal Claude research model independently found a “core algorithm” refuting the Exponential Time Hypothesis (ETH) on
October 16, producing roughly14Moutput tokens with no human input. The Reddit post links to Anthropic’s formal-math/eth repository, implying the result was later refined by Anthropic researchers with Claude into a more presentable proof/paper artifact. Commenters were skeptical of the timing and framing, with one suggesting it looked like a response to OpenAI’s similar announcement: “we solved it too, look what we can do.” Others questioned the real-world consequences of refuting ETH and joked that competitive advantage in frontier AI may come down to owning massive GPU capacity rather than a durable algorithmic moat.A commenter asked about the real-world consequences of refuting the Exponential Time Hypothesis (ETH), specifically whether practical systems or assumptions depend on ETH being true. This frames the result as a complexity-theory breakthrough whose impact may be indirect: ETH is widely used for conditional lower bounds, so refuting it would potentially invalidate many hardness assumptions, but not necessarily imply immediate practical algorithms.
One technically relevant thread pointed to prior automated-math work involving Levent and large-model theorem-proving experiments, including the Yang–Mills LLM experiment repository: https://github.com/ethanwsussman/Yang--Mills-LLM-experiment. The commenter also referenced Levent being involved in earlier high-profile mathematical work, suggesting Anthropic’s result may fit into a broader pattern of LLM-assisted attacks on major open problems rather than an isolated ETH claim.
Another commenter argued that there is limited defensibility or “moat” in this kind of result if competitors can scale to “a country worth of GPUs.” The technical implication is that frontier mathematical discovery may be increasingly constrained by compute scale and inference budget—here the post claims
14Moutput tokens with no human input—rather than by a unique algorithmic advantage alone.
来源:Latent Space · latent.space