Anyscale
Anyscale 是一个通过生产就绪的API运行、微调和扩展大型语言模型的平台。 Anyscale Endpoints 以成本效益高的方式提供许多开源模型。
Anyscale 还提供了 一个示例
如何设置 LangChain 与 Anyscale 以实现高级聊天代理。
安装和设置
- 获取 Anyscale 服务 URL、路由和 API 密钥，并将它们设置为环境变量 (
ANYSCALE_SERVICE_URL,ANYSCALE_SERVICE_ROUTE,ANYSCALE_SERVICE_TOKEN)。 - 请参阅 Anyscale 文档 以获取更多详细信息。
我们需要安装 openai 包：
pip install openai
大型语言模型
查看使用示例。
from langchain_community.llms.anyscale import Anyscale
聊天模型
查看使用示例。
from langchain_community.chat_models.anyscale import ChatAnyscale
嵌入
查看使用示例。
from langchain_community.embeddings import AnyscaleEmbeddings
