李不凯正在研究

Original post / ZH

这两天关于 Jev 这个模型的热度非常之高，甚至可以说是近半年我重点关注了英推以来，看到的原创内容密度最高的一次。 正好我过去一年一直在跑一个小项目，其中有一个环节就是要对每天出版的《人民日报》上的新闻做一个分类，判断每一篇文章中是否包含有湖北相关的元素。 一年跑下来，积累了接近 2 万 4 千条数据，其中判定包含的有 1800 条左右。在这些数据的基础上，我随机筛选了一个测试数据集，其中包含了 500 条判定包含的内容，以及 500 条判定不包含的内容。 之前我使用的模型一直是 Gemini 的 Flash Lite 系列，也算是经过测试后成本和速度双重考虑下的最佳选择。 今天 OpenRouter 上线了这个 Jev 之后，我用同样的提示词做了一个小 Demo 做了一下对比测试，下面这个视频就是同时并发 16 个进程的实录效果。 不得不说，测试出来的结果超出预期很让人惊喜啊。 首先，速度是真快！相对于 Gemini Flash Lite 单篇文章 3 秒的平均耗时，Jev 把单篇耗时缩减到了 0.35 秒。这个接近 10 倍的速度提升，真的是实现了质的飞跃，带了很多新场景的想象空间。 其次，质量也真不错！和 Gemini Flash Lite 的分类结果相比对，Jev 大概在 15% 左右的内容上出现了判断不一致的情况。 但经过我的手动审核，大部分都是因为人名而导致判断差异。例如某位此前在湖北省任职过的官员姓名出现在了新闻中时，Flash Lite 因为知识库比较大，会将其判断为包含，而 Jev 在这块上面会弱一点，因此判定为了不包含。在我的实际应用场景中，这种判断差异完全可以接受。 最后，价格也是真便宜啊！看了一下 OpenRouter 的账单，前前后后大概跑了 5 千条数据，30M Token，总共开销也就 1 美元！这个性价比，还要什么自行车！ 总之，我个人觉得 Jev 代表的分类器大模型的确是一个非常有前景的发展方向，甚至可以说是在分类场景下实现了速度/质量/价格的不可能三角，有类似需求的朋友真的可以好好考虑一下。 就分享到这了，我得连夜用它去优化生产项目了。