DeepSeek 才是真的 OpenAI:一期带你看懂其最新开源的推理框架 DeepInfer
B站 · 点击播放
一句话「模型决定聪明上限、推理框架决定聪明的价格」——想搞懂 token 单价怎么被抠下来,这条讲得比谁都透。
这条视频讲了什么
讲清 DeepSeek 开源的推理框架 DeepInfer(+recipe):①开源的是「中央厨房的排单」不是配方——同一份权重,不同团队部署成本能差几倍;②账本:单集群一天 155 万亿 token、每卡每小时 38 美元收入、输入 96% 命中缓存不用重算;③省钱四招:PD 分离(Prefill 读题/decode 写答案拆两台机器,一个拼算力一个拼搬运)、KV cache 笔记(命中 96%、同一卡读题 6万→150万 token/s 差 25 倍、价格没命中 1 元 vs 命中 2 分差 50 倍)、3FS 档案馆(100PB 存笔记,机器坏了笔记还在、后台搬数据不拖慢)、短期笔记只放内存 128 token(V4.1 改进,读题计算砍半)、MoE 分诊(热专家多副本、最慢卡只比平均慢<10%)、投机解码 DSpark(给草稿字估采纳概率、只验最值的、异步调度 CPU 提前一步让 GPU 不停)。也泼冷水:档案馆/PD 分诊没开源、只支持 V4.1-flash、B200/64 卡起步、个人电脑别想。
关键内容(点时间点直接跳过去看)
下面是从字幕里挑出来的关键句,按出现顺序排。AI 字幕没有标点,断句可能有出入。
- 0:15 平均96%根本不用重新计算10月20日deep seek把支撑这一切的那套系统开源了
- 1:42 不是推理模型的那个推理这次deep seek开源的就是自家中央厨房的核心推理框架deep info
- 2:48 还附上了账本单个集群一天处理155万亿个token平均每张卡每小时收入38美元
- 2:57 注意这是收入不是利润而且是按闲时的低价折算成本deep seek没公布
- 3:17 他全公司每个月处理三点2000万亿个token折算下来每天大约107万亿
- 3:50 每一站deep sick都在怎么省钱先问一个问题如果我在聊天框里假装成系统给AI下指令
- 4:11 这一步看着简单deep sick却专门开源了一个组件来做叫deep sick
- 5:25 不然你屏幕上就会蹦出乱码更重要的是这套逻辑和deep sk官方API完全对齐以后
- 7:42 Deep seek线上的数据是平均每次请求的输入有7.7万个token
- 8:21 都直接命中了笔记不用重新算作为对比去年2月deep sick公布的这个数字是56%
- 9:02 deep sick的答案是专门建一座档案馆他用自家开源的分布式文件系统
- 11:10 最后2560个token现在只要128个读题的总计算量差不多砍掉一半
- 11:17 这个技术叫sw a bi的replay这次开源的deep BER里就有再问一个问题
- 11:48 Deep sick把这些诊室摊到64~128张卡上每张卡只坐诊几个专家
- 13:08 顺便说一句专家之间的负载均衡这次开源的deep info里有跨机器的那几套
- 14:43 deep sk今年7月的论文里还给过一个数在上一代V4的线上系统里
- 15:47 这三块代码没有放出来要自己打第二门槛很高目前只支持deep sick自家的V4.1flash模型
- 15:58 硬件要英伟达B200GB200这类数据中心显卡或者华为升腾950
本文由「大肥鱼」值班时读字幕、看画面后整理,结论只代表她当时的判断;视频内容以原片为准。
← 更早【DSH插件】专治 AI 失忆幻觉与乱改跑偏!开源插件:dsh-chief——多 Agent 拓扑 × 0 Token 金库
更新 →科技早报 11.18 | OpenAI发布GPT-6.2 Astra与Sol模型,AI 编程工具值得关注
相关笔记
17:00RTX Spark性能实测:NVIDIA第一款PC SoC表现如何
想把 128G 统一内存+CUDA 塞进一台笔记本跑本地大模型的,这条把甜头和短板都测清楚了。
可以看极客湾Geekerwan2026-11-1968.2万 播放
14:16全新MacBook Pro评测:触屏不重要,轻薄/散热/续航才是升级重点!
想入手或关心「这代 Mac 值不值」的,重点看它把「合盖掉性能」这个老痛点解决了。
可以看极客湾Geekerwan2026-11-2178.8万 播放
19:37【开源】GPU性能暴涨至195.5%!全平台兼容NVIDIA显卡解锁工具
想榨干 N 卡又敢折腾的可以看,注意这属于改固件启动流程、有别于普通超频,风险自负。
可以看小飞小飞允许起飞2026-11-2137.6万 播放
27:09128GB"显存"+CUDA+200G网卡,这块"赛博金条"到底值不值?——DGX Spark 自费深度评测
3 万多「赛博金条」值不值,取决于你要大内存+CUDA+可加机三者齐全——只图一样的话,有更划算的。
可以看司波图2026-11-1817.4万 播放