Callbacks | LangChain中文网

📄️ Argilla

Argilla 是一个开源的数据管理平台，专为大型语言模型（LLMs）设计。

有两种方法可以使用 Comet 跟踪您的 LangChain 执行：

DeepEval 包用于对大型语言模型进行单元测试。

上下文为大型语言模型驱动的产品和功能提供用户分析。

Fiddler 是企业生成和预测系统操作的先驱，提供一个统一的平台，使数据科学、MLOps、风险、合规、分析和其他业务部门能够在企业规模上监控、解释、分析和改进机器学习部署。

Infino 是一个可扩展的遥测存储，专为日志、指标和追踪设计。Infino 可以作为独立的可观察性解决方案，或作为您可观察性堆栈中的存储层。

Label Studio 是一个开源数据标注平台，为 LangChain 提供了在标注数据以微调大型语言模型 (LLMs) 时的灵活性。它还支持准备自定义训练数据以及通过人类反馈收集和评估响应。

LLMonitor 是一个开源可观察性平台，提供成本和使用分析、用户跟踪、追踪和评估工具。

PromptLayer 是一个用于提示工程的平台。它还帮助 LLM 可观察性，以可视化请求、版本提示和跟踪使用情况。

Amazon SageMaker 是一个完全托管的服务，用于快速轻松地构建、训练和部署机器学习 (ML) 模型。

Streamlit 是构建和分享数据应用的更快方式。

Trubrics 是一个大型语言模型用户分析平台，允许您收集、分析和管理用户

在本指南中，我们将介绍如何使用 UpstashRatelimitHandler 基于请求数量或令牌数量添加限流。该处理程序使用 Upstash 的 ratelimit 库，该库利用 Upstash Redis。

UpTrain [github || website || docs] 是一个开源平台，用于评估和改进大型语言模型应用。它提供20多个预配置检查的评分（涵盖语言、代码、嵌入用例），对失败案例的实例进行根本原因分析，并提供解决方案的指导。