Haoran | 公众号：独立开发

Localized reading

Вышла визуальная версия Jev: https://t.co/x0kzeE3hdx Следуя идее сообщества, я сопоставил варианты-кандидаты с фиксированными метками, после заполнения префилла сразу выполнял выборку, ограничил число выходных токенов и локально развернул мультимодальную квантизованную 4-битную модель qwen-3.5-0.8B. На MacBook Pro M4 с 16 ГБ она работает без проблем. Сразу оговорюсь: это лишь небольшое воспроизведение формы Jev на уровне infer, оно точно менее эффективно зрелых фреймворков вывода и, конечно, не отражает настоящий принцип работы Jev, но как inference...

Original post / ZH

视觉版 Jev 来了 https://t.co/x0kzeE3hdx 仿照着社区的思路，把候选结果映射成固定标签，prefill 完直接采样，限制输出 token，采用多模态的 qwen-3.5-0.8B 4bit 量化部署在本地，16g m4 mbp 顺利运行 叠甲：这只是在 infer 层小小的复现一下 jev 的形式，肯定不如各种成熟推理框架效率高，也肯定不是 jev 的正在原理，但是作为 inference 的小入门仍旧是不错的 demo 如下 200ms 实现《三色货品分拣》