Haoran | 公众号：独立开发

Localized reading

Jev phiên bản trực quan đã xuất hiện https://t.co/x0kzeE3hdx. Theo ý tưởng của cộng đồng, tôi ánh xạ các kết quả ứng viên vào nhãn cố định, lấy mẫu ngay sau khi điền trước và giới hạn số token đầu ra. Bản qwen-3.5-0.8B đa phương thức lượng tử hóa 4 bit chạy cục bộ trên MacBook Pro M4 16 GB rất trơn tru. Lưu ý: đây chỉ là bản tái tạo nhỏ hình thức của Jev ở tầng suy luận, chắc chắn kém hiệu quả hơn các framework suy luận trưởng thành và không phải nguyên lý thật của Jev, nhưng như một thử nghiệm suy luận thì...

Original post / ZH

视觉版 Jev 来了 https://t.co/x0kzeE3hdx 仿照着社区的思路，把候选结果映射成固定标签，prefill 完直接采样，限制输出 token，采用多模态的 qwen-3.5-0.8B 4bit 量化部署在本地，16g m4 mbp 顺利运行 叠甲：这只是在 infer 层小小的复现一下 jev 的形式，肯定不如各种成熟推理框架效率高，也肯定不是 jev 的正在原理，但是作为 inference 的小入门仍旧是不错的 demo 如下 200ms 实现《三色货品分拣》