shogo: Jev는 3일 전에 출시되었지만 아무도 벤치마킹하지 않았습니다. 그래서 나는 그랬다. 60개의 실제 모양의 고객 메시지. 동일한 질문, 동일한 조건

Localized reading

Jev는 3일 전에 출시되었지만 아무도 벤치마킹하지 않았습니다. 그래서 나는 그랬다. 60개의 실제 모양의 고객 메시지. 동일한 질문, 동일한 조건, 재시도 없음. Jev 대 GPT-4o-mini 대 클로드 소네트 4.5. Jev는 157번 연속으로 맞았습니다. 시스템이 여전히 실패했습니다. 속도 우선, 최소

Original post / EN

Jev shipped three days ago and nobody had benchmarked it. So I did. 60 real-shaped customer messages. Same questions, same conditions, zero retries. Jev vs GPT-4o-mini vs Claude Sonnet 4.5. Jev was right 157 times in a row. The system still failed. Speed first, the least