Haoran | 公众号：独立开发

Localized reading

La version visuelle de Jev est arrivée https://t.co/x0kzeE3hdx En suivant l’idée de la communauté, je mappe les résultats candidats vers des étiquettes fixes, je préremplis puis j’échantillonne directement, je limite les tokens de sortie et je déploie localement le modèle multimodal qwen-3.5-0.8B quantifié en 4 bits. Il fonctionne sans problème sur un MacBook Pro M4 de 16 Go. Précision : ce n’est qu’une petite reproduction de la forme de Jev au niveau de l’inférence ; elle est certainement moins efficace que les frameworks d’inférence éprouvés et ne reproduit certainement pas le véritable principe de Jev, mais en tant qu’inférence…

Original post / ZH

视觉版 Jev 来了 https://t.co/x0kzeE3hdx 仿照着社区的思路，把候选结果映射成固定标签，prefill 完直接采样，限制输出 token，采用多模态的 qwen-3.5-0.8B 4bit 量化部署在本地，16g m4 mbp 顺利运行 叠甲：这只是在 infer 层小小的复现一下 jev 的形式，肯定不如各种成熟推理框架效率高，也肯定不是 jev 的正在原理，但是作为 inference 的小入门仍旧是不错的 demo 如下 200ms 实现《三色货品分拣》