6大核心模块(Modules)
LLMS
Cerebriumai Example

LangChain

CerebriumAI#

Cerebrium 是一个 AWS Sagemaker 的替代品。它还提供 API 访问**多个 LLM 模型 (opens in a new tab)**。

本笔记介绍如何使用 Langchain 和**CerebriumAI (opens in a new tab)**。

安装 cerebrium#

使用 CerebriumAI API 需要安装 cerebrium 包。使用 pip3 install cerebrium 命令安装。

# Install the package
!pip3 install cerebrium
 

导入#

import os
from langchain.llms import CerebriumAI
from langchain import PromptTemplate, LLMChain
 

设置环境 API 密钥#

确保从CerebriumAI获取您的API密钥。请参见这里 (opens in a new tab)。您将获得1小时的免费无服务器GPU计算,以测试不同的模型。

os.environ["CEREBRIUMAI_API_KEY"] = "YOUR_KEY_HERE"
 

创建CerebriumAI实例#

您可以指定不同的参数,例如模型终端点URL、最大长度、温度(temperature)等。您必须提供一个终端点URL。

llm = CerebriumAI(endpoint_url="YOUR ENDPOINT URL HERE")
 

创建提示模板#

我们将为问答创建一个提示模板。

template = """Question: {question}
 
Answer: Let's think step by step."""
 
prompt = PromptTemplate(template=template, input_variables=["question"])
 

启动LLMChain#

llm_chain = LLMChain(prompt=prompt, llm=llm)
 

运行LLMChain#

提供一个问题并运行LLMChain。

question = "What NFL team won the Super Bowl in the year Justin Beiber was born?"
 
llm_chain.run(question)