OpenLLM

本页面演示如何使用 OpenLLM 与 LangChain 一起使用。

OpenLLM 是一个用于在生产环境中操作大型语言模型 (LLMs) 的开放平台。 它使开发者能够轻松地使用任何开源 LLM 进行推理，部署到云端或本地，并构建强大的 AI 应用。 大型语言模型，部署到云端或本地，并构建强大的AI应用。

安装和设置

通过 PyPI 安装 OpenLLM 包：

pip install openllm

大型语言模型

OpenLLM支持广泛的开源大型语言模型以及用户自定义的 微调大型语言模型。使用openllm model命令查看所有可用的 为OpenLLM预优化的模型。

包装器

有一个OpenLLM包装器，支持在进程中加载大型语言模型或访问一个 远程OpenLLM服务器：

from langchain_community.llms import OpenLLM

OpenLLM服务器的包装器

该包装器支持通过HTTP或gRPC连接到OpenLLM服务器。 OpenLLM 服务器可以在本地或云端运行。

要在本地尝试，请启动 OpenLLM 服务器：

openllm start flan-t5

包装器用法：

from langchain_community.llms import OpenLLM

llm = OpenLLM(server_url='http://localhost:3000')

llm("What is the difference between a duck and a goose? And why there are so many Goose in Canada?")

本地推理的包装器

您还可以使用 OpenLLM 包装器在当前 Python 进程中加载 LLM，以便 进行推理。

from langchain_community.llms import OpenLLM

llm = OpenLLM(model_name="dolly-v2", model_id='databricks/dolly-v2-7b')

llm("What is the difference between a duck and a goose? And why there are so many Goose in Canada?")

用法

有关 OpenLLM 包装器的更详细说明，请参见 示例笔记本