Eric Zhang

Localized reading

@typesafeai에서 영감을 받은 Jev 호환 공개 API는 다음과 같습니다. 비슷한 개방형 모델(Qwen3.6-35B-A3B)을 실행하고 SGLang 기수 캐시를 사용하여 미리 채우기 재사용/정말 빠른 병렬을 유지합니다...

Original post / EN

Inspired by @typesafeai , here is a Jev-compatible public API to play with It runs a comparable open model (Qwen3.6-35B-A3B), and just uses SGLang radix cache to preserve the prefill reuse / really fast parallel systemone generation - 64 tasks in <1s. https://t.co/bbRh4yAPAB https://t.co/misKQE8n8f