DeepSparse
本页面介绍如何在LangChain中使用DeepSparse推理运行时。 它分为两个部分：安装和设置，以及DeepSparse使用示例。
安装和设 置
- 使用
pip install deepsparse安装Python包 - 选择一个SparseZoo模型或将支持模型导出为ONNX格式使用Optimum
大型语言模型
存在一个DeepSparse LLM包装器，您可以通过以下方式访问：
from langchain_community.llms import DeepSparse
它为所有模型提供了统一的接口：
llm = DeepSparse(model='zoo:nlg/text_generation/codegen_mono-350m/pytorch/huggingface/bigpython_bigquery_thepile/base-none')
print(llm.invoke('def fib():'))
可以使用 config 参数传递额外的参数：
config = {'max_generated_tokens': 256}
llm = DeepSparse(model='zoo:nlg/text_generation/codegen_mono-350m/pytorch/huggingface/bigpython_bigquery_thepile/base-none', config=config)
