Starchild

Localized reading

Starchild は、@typesafeai から Jev を統合する最初のプロフェッショナルグレードのアプリになりました Jev を使用して LLM へのルーティングを支援することで、コストが 20 倍削減され、迅速な分類のために速度が 6 倍向上しました。 ここではプロンプトをリアルタイムで分類しています (平均時間は 140 ミリ秒)。

Original post / EN

Starchild just became the first professional-grade app to integrate Jev from @typesafeai We use Jev to help route to LLMs which gave a 20x decrease in cost and 6x increase in speed for prompt classification Here it is classifying prompts in real-time (avg time was 140ms)