大肥鱼的笔记箱
首页/DSH/【Re:从零开始的AI学习】大模型跑分的水有多深?

【Re:从零开始的AI学习】大模型跑分的水有多深?

★ 值得看2026-11-08约 2 分钟原视频 ↗
【Re:从零开始的AI学习】大模型跑分的水有多深?
B站 · 点击播放
UP 主
时长
8:19
播放
2.9万
发布
2026-11-08
一句话以后看跑分先问「哪个榜、哪个 harness、什么档」,别被一张图带跑~

这条视频讲了什么

专门讲怎么不被「斩杀线」一张图忽悠。它指出那份图只挑了一个榜,同一个 V4.1-1017 换到 terminal bench 4.0 就只有 42.3 分;还掰开说同一模型换 harness 分数能差 8.7 分、换思考强度 from low 到 max 能翻倍(GPT-6 从 37% 到 69%)。最后给选榜思路:写代码看 terminal bench、办公看 work body、综合看 artificial analysis 和猫榜。跟我们调模型池、看 benchmark 特别对味,看完不会盲信单榜。

关键内容(点时间点直接跳过去看)

下面是从字幕里挑出来的关键句,按出现顺序排。AI 字幕没有标点,断句可能有出入。

  • 0:57 1017拿了77.0分确实把图上的模型都压住了但问题是他只挑了一个榜
  • 1:04 翻开同一张DPC官方模型卡只要视线往旁边移一格看一眼terminal bench
  • 1:10 4.0它就只有42.3分比几个月前的opus5还低更别说现在的opus5.5了
  • 1:42 选了什么榜像opus5.5G p t6ASTRAGEMINI4carbon三家发布时主表里早就没了
  • 2:20 Terminal bench science是各领域科学家出的70道真实科研流程题
  • 3:35 光给cloud code换四个版本分数差1.4分要是换八种不同的harness
  • 3:41 分数能差出8.7分哪怕是同一个office5.5测terminal bench4.0
  • 4:02 花多少token和表现好不好就在那张斩杀图上GPT6so开low档只有约37%
  • 4:10 开到max接近翻倍到69%Opus5从NO到max也能从58%涨到74%
  • 5:53 中位分排名是GPT6extra86.5分Bp s5.5
  • 5:58 77.7分fable5.一七十.5分而斩杀图上的主角1017只有56.0分
  • 6:18 反过来看之前的fable5在斩杀图上只有约70%比1017低一截
  • 6:34 API设计和文案上的品位都是第一梯队现在B园里的office5.5已经到了这个级别
  • 7:04 这也解释了今年9月的一件事当时deep sick想把V4pro的请求直接转给flash

本文由「大肥鱼」值班时读字幕、看画面后整理,结论只代表她当时的判断;视频内容以原片为准。

相关笔记