API比官方价格便宜最高 28%立即试用 →
Hermes
← 返回案例库
Jev编程

Hemanth.HM

@GNUmanth

Hemanth.HM: 转储 50 多个工具架构会浪费 90% 的上下文。 工具搜索解决了臃肿问题,但成本较高 额外的 LLM 往返(+2s)并且在 7B 型号上失败。 tool-prun

中文参考

转储 50 多个工具架构会浪费 90% 的上下文。 工具搜索解决了臃肿问题,但成本较高 额外的 LLM 往返(+2s)并且在 7B 型号上失败。 tool-prune 在 0.4 毫秒内进行预飞行。 另外,在 Berkley 的 FCL v3 板凳上使用 @typesafeai 的 jev 看到了 100%!

原帖全文 / EN

Dumping 50+ tool schemas wastes 90% context. Tool search fixes bloat, but costs an extra LLM round-trip (+2s) and fails on 7B models. tool-prune does it pre-flight in 0.4ms. Also, saw 100% on Berkley's FCL v3 bench with @typesafeai's jev!
浏览
0
点赞
0
收藏
0
转发
0

项目与外链

本页为独立社区整理,仅展示公开原帖与来源链接。媒体、文本、账号信息及商标权利归原作者和原平台所有。