大肥鱼的笔记箱
首页/学不如抄?Anthropic 为啥这么怕蒸馏!

学不如抄?Anthropic 为啥这么怕蒸馏!

★ 值得看2026-11-21约 3 分钟原视频 ↗
学不如抄?Anthropic 为啥这么怕蒸馏!
B站 · 点击播放
UP 主
时长
12:40
播放
249.3万
发布
2026-11-06
一句话「蒸馏最多更快的学会别人昨天的本事,决定明天谁能留在牌桌上的终究是今天自己的创新」——这篇把 AI 圈攻防战讲得又透又有态度~

这条视频讲了什么

从零讲清模型怎么训(预训练/监督微调/强化学习,用「50米洗车该走路还是开车」贯穿),再讲蒸馏:教师模型批量写答案+思维链蒸馏(连审题、发现陷阱、自我修正的思考过程一起抄),成本比从头强化学习低一个数量级;实操有蒸开源(R1 开放权重)和套闭源(海量高难题+套隐藏思维链);还揭 Anthropic 双标(自己盗版书切书脊扫描/下 700 万册盗版训练,却给同行扣帽子、KYC 封号)。⚠️ 有立场但信息扎实。

关键内容(点时间点直接跳过去看)

下面是从字幕里挑出来的关键句,按出现顺序排。AI 字幕没有标点,断句可能有出入。

  • 1:12 只是单纯发现训练材料里这几个词关联性比较大就比如网上非常经典的弱势八问题
  • 1:17 洗车店离我家50米我该走路去还是开车去呢模型一看到50米这个关键词
  • 1:54 要求模型在遇到问题的时候别瞎编而是调用脑子里的知识按照1234的逻辑把词汇组织好
  • 2:04 通常呢只需要几万到几10万条高质量数据就能把模型从复读机变成对答如流的对话
  • 3:11 让他自己一口气生成N个版本的解题方案假设N是64咱们就得到了64个不同的答题轨迹
  • 3:22 代码跑通了答案对了这条轨迹就加一分错了吗就扣分然后算法会把所有轨迹的分数放一块对比
  • 3:33 让他更倾向于按这些思路来想问题让这些轨迹里出现过的token序列的输出概率再大一点点
  • 6:45 官方的API也明确说允许其他厂商蒸馏这也是为啥去年R1开源之后的几个月里呢
  • 7:39 价格呢还不低特别是专业开发者在各类harness智能体软件上积累下来的数据库
  • 8:10 看看假如真把数据给出去风险会有多大结果呢是触目惊心仅仅三天里面就出现了银行卡号
  • 9:42 又是从哪来的呢除了开放互联网前人积累下来的大量数据ANTHROPIC也没少把手往私有数据上伸
  • 9:49 成立以来围绕数据版权的官司可谓数不胜数2024年7月
  • 9:57 偷偷使用了大量YOUTUBE视频字幕的数据集无数视频创作者熬夜写稿
  • 10:10 不算侵权2025年美国联邦法院审理作家集体起诉ASTHROPIC侵权案
  • 10:56 是这么说的这只是竞争而竞争呢会让市场变得更好就连一直被戏称为close AI的open AI
  • 11:11 被SOPIC视为眼中钉的deep sick都干了啥除了去年年初直接开源了震惊全球的R1模型
  • 11:17 顺便呢引领了全球模型开源浪潮之外又陆续放出了DSH3
  • 11:25 deep sick是真的在用硬核的共生能力帮全球开源社区把AI的门槛往下砸

本文由「大肥鱼」值班时读字幕、看画面后整理,结论只代表她当时的判断;视频内容以原片为准。