摘要

%pip install --upgrade --quiet  langchain-openai tiktoken chromadb langchain
 
# 设置环境变量 OPENAI_API_KEY 或从 .env 文件加载
# import dotenv
 
# dotenv.load_dotenv()

已经安装的“openai”要求：1.2.0
已经安装的“tiktoken”要求：0.3.3
已经安装的“chromadb”要求：0.3.7
已经安装的“langchain”要求：0.0.13
已经安装的“requests”要求：2.26.0
已经安装的“aiohttp”要求：3.7.4.post0

from langchain.chains.summarize import load_summarize_chain
from langchain_community.document_loaders import WebBaseLoader
from langchain_openai import ChatOpenAI
 
loader = WebBaseLoader("https://lilianweng.github.io/posts/2023-06-23-agent/")
docs = loader.load()
 
llm = ChatOpenAI(temperature=0, model_name="gpt-3.5-turbo-1106")
chain = load_summarize_chain(llm, chain_type="stuff")
 
chain.run(docs)

'文章讨论了建立由大型语言模型（LLM）驱动的自主代理的概念。它探讨了这类代理的组成部分，包括计划、内存和工具使用。该文章提供了LLM驱动代理在不同领域的案例研究和概念验证示例。它还强调了在代理系统中使用LLM的挑战和限制。'

from langchain.chains.combine_documents.stuff import StuffDocumentsChain
from langchain.chains.llm import LLMChain
from langchain_core.prompts import PromptTemplate
 
# 定义提示
prompt_template = """写下以下内容的简洁总结：
"{text}"
简洁总结:"""
prompt = PromptTemplate.from_template(prompt_template)
 
# 定义LLM链
llm = ChatOpenAI(temperature=0, model_name="gpt-3.5-turbo-16k")
llm_chain = LLMChain(llm=llm, prompt=prompt)
 
# 定义StuffDocumentsChain
stuff_chain = StuffDocumentsChain(llm_chain=llm_chain, document_variable_name="text")
 
docs = loader.load()
print(stuff_chain.run(docs))

文章讨论了建立由大型语言模型（LLM）驱动的自主代理的概念。它探讨了这类代理的组成部分，包括计划、内存和工具使用。该文章提供了LLM驱动代理在不同领域的案例研究和概念验证示例，如科学发现和生成式代理模拟。它还强调了在代理系统中使用LLM的挑战和限制。

from langchain.chains import MapReduceDocumentsChain, ReduceDocumentsChain
from langchain_text_splitters import CharacterTextSplitter
 
llm = ChatOpenAI(temperature=0)
 
# 地图
map_template = """下面是一系列的文档
{docs}
根据这些文档，请确定主要主题
有帮助的答案:"""
map_prompt = PromptTemplate.from_template(map_template)
map_chain = LLMChain(llm=llm, prompt=map_prompt)

from langchain import hub
 
map_prompt = hub.pull("rlm/map-prompt")
map_chain = LLMChain(llm=llm, prompt=map_prompt)

# 缩减
reduce_template = """以下是一些摘要：
{docs}
将它们提取出来，形成一个最终的、综合的主题摘要。
有帮助的答案:"""
reduce_prompt = PromptTemplate.from_template(reduce_template)

# 注意，我们也可以从提示中心获取此信息，如上所述
reduce_prompt = hub.pull("rlm/map-prompt")

reduce_prompt

(ChatPromptTemplate(input_variables=['docs'], messages=[HumanMessagePromptTemplate(prompt=PromptTemplate(input_variables=['docs'], template='以下是一系列的文档：\n{docs}\n根据这些文档，请确定主要主题\n有帮助的答案:'))]),)

# 运行链条
reduce_chain = LLMChain(llm=llm, prompt=reduce_prompt)
 
# 获取多个文档并将它们合并为单个字符串，然后将其传递给LLMChain
combine_documents_chain = StuffDocumentsChain(
    llm_chain=reduce_chain, document_variable_name="docs"
)
 
# 合并并迭代地将映射文档缩减
reduce_documents_chain = ReduceDocumentsChain(
    # 这是被调用的最终链。
    combine_documents_chain=combine_documents_chain,
    # 如果文档超出了`StuffDocumentsChain`的上下文
    collapse_documents_chain=combine_documents_chain,
    # 将文档分组的最大标记数。
    token_max=4000,
)

# 通过映射链条将文档合并，然后合并结果
map_reduce_chain = MapReduceDocumentsChain(
    # 映射链条
    llm_chain=map_chain,
    # 缩减链条
    reduce_documents_chain=reduce_documents_chain,
    # 将文档放入llm_chain的变量名
    document_variable_name="docs",
    # 在输出中返回映射步骤的结果
    return_intermediate_steps=False,
)
 
text_splitter = CharacterTextSplitter.from_tiktoken_encoder(
    chunk_size=1000, chunk_overlap=0
)
split_docs = text_splitter.split_documents(docs)

print(map_reduce_chain.run(split_docs))

chain = load_summarize_chain(llm, chain_type="refine")
chain.run(split_docs)

prompt_template = """写一篇简明扼要的摘要：
{text}
简洁摘要:"""
prompt = PromptTemplate.from_template(prompt_template)
 
refine_template = (
    "您的任务是生成一个最终的摘要\n"
    "我们提供了一个到一定程度的现有摘要: {existing_answer}\n"
    "我们有机会通过下面的一些更多上下文"
    "完善现有的摘要（如果需要的话）。\n"
    "------------\n"
    "{text}\n"
    "------------\n"
    "根据新的上下文，用意大利语完善原始摘要"
    "如果上下文无效，请返回原始摘要。"
)
refine_prompt = PromptTemplate.from_template(refine_template)
chain = load_summarize_chain(
    llm=llm,
    chain_type="refine",
    question_prompt=prompt,
    refine_prompt=refine_prompt,
    return_intermediate_steps=True,
    input_key="input_documents",
    output_key="output_text",
)
result = chain({"input_documents": split_docs}, return_only_outputs=True)

print(result["output_text"])

print("\n\n".join(result["intermediate_steps"][:3]))

from langchain.chains import AnalyzeDocumentChain
 
summarize_document_chain = AnalyzeDocumentChain(
    combine_docs_chain=chain, text_splitter=text_splitter
)
summarize_document_chain.run(docs[0].page_content)