梭哈.AI

Original post / ZH

很多人没看懂爆火的JEV是什么？ 所以我做了一个 50 秒的演示视频，带大家把海外刷屏的 JEV 以及它背后的底层架构看透👇（见下方视频） JEV 是前 OpenAI、参与 ChatGPT / RLHF 的 @CompleteSkeptic（Diogo Almeida）创办 @typesafeai 后的第一款模型 他在 OpenAI 时发现了一个致命矛盾： 通过人类偏好微调（RLHF）训练出来的自回归大模型，存在严重的模式崩溃（Mode-dropping）、过度自信与幻觉，且串行逐字生成的延迟极大，根本无法胜任严肃的机器自动化生产 为此，他们花了两年研发了专为自动化设计的 System 1 基础模型 JEV，核心架构创新非常激进： • 单次并行计算（One Parallel Pass）： 如同当年 Transformer 取代 RNN 一样，JEV 彻底抛弃了逐 Token 串行吐字的自回归机制，采用全新的模型架构与采样器，一次性并行击发所有预设选项 • 强化学习校准决策（RL for Calibrated Decisions）： 引入全新的训练算法，输出媒介不再是自然语言文本，而是直接输出经过置信度校准的概率分布 • 代码级可靠（TypeSafe）： 彻底根除幻觉，输出自一致、确定性高，可作为强类型对象直接被程序调用 • 100 倍提速与极端降本： 延迟降至 0.1 秒以内（快到能直接插入 60 FPS 游戏循环）；输入每 10 亿 Token 仅 42 美元，输出 Token 彻底免费 视频里我把传统自回归的 8.5 秒延迟瓶颈、JEV 的并行矩阵运算，以及实时控制小游戏实测，全拉通做了可视化, demo参考 @MatijaSosic 聊天需要慢推理，自动化需要快直觉，Building Prod, not God 确实不是一句空话🫡