Sherlock:揭示 LLM 流量,用于成本跟踪和调试
分析
Sherlock 是一款开创性工具,为您的大型语言模型交互提供了无与伦比的透明度。这个开源项目提供了一个实时终端仪表板,允许开发人员一丝不苟地跟踪 token 使用情况、监控上下文窗口使用率,并轻松调试提示。它能够与任何尊重代理环境变量的工具无缝集成,这使得它对于任何使用生成式人工智能的开发人员来说都非常友好且有价值。
引用 / 来源
查看原文"Sherlock 是一个透明代理,拦截到 LLM API 的 HTTPS 流量,并在美观的终端仪表板中显示实时 token 使用情况。"