shogo: Jev は 3 日前に出荷されましたが、誰もベンチマークを行っていませんでした。それで私はそうしました。 60 のリアルな顧客メッセージ。同じ質問、同じ条件、再試行

Localized reading

Jev は 3 日前に出荷されましたが、誰もベンチマークを行っていませんでした。それで私はそうしました。 60 のリアルな顧客メッセージ。同じ質問、同じ条件、再試行なし。 Jev 対 GPT-4o-mini 対 クロード・ソネット 4.5。 Jev は 157 回連続で正解しました。システムは依然として障害が発生しました。 最低でもスピード第一

Original post / EN

Jev shipped three days ago and nobody had benchmarked it. So I did. 60 real-shaped customer messages. Same questions, same conditions, zero retries. Jev vs GPT-4o-mini vs Claude Sonnet 4.5. Jev was right 157 times in a row. The system still failed. Speed first, the least