Hemanth.HM: 50 を超えるツール スキーマをダンプすると、90% のコンテキストが無駄になります。 ツール検索により肥大化は解消されますが、コストがかかります 追加の LLM

Localized reading

50 を超えるツール スキーマをダンプすると、90% のコンテキストが無駄になります。 ツール検索により肥大化は解消されますが、コストがかかります 追加の LLM ラウンドトリップ (+2 秒) が発生し、7B モデルでは失敗します。 tool-prune は 0.4 ミリ秒でプリフライトを実行します。 また、Berkley の FCL v3 ベンチでは、@typesafeai の jev で 100% を達成しました。

Original post / EN

Dumping 50+ tool schemas wastes 90% context. Tool search fixes bloat, but costs an extra LLM round-trip (+2s) and fails on 7B models. tool-prune does it pre-flight in 0.4ms. Also, saw 100% on Berkley's FCL v3 bench with @typesafeai's jev!