Llama.cpp
llama.cpp python 库是
@ggerganov的简单 Python 绑定 llama.cpp。该包提供：
- 通过 ctypes 接口对 C API 的低级访问。
- 用于文本补全的高级 Python API
- 类似于
OpenAI的 API- 与
LangChain兼容LlamaIndex兼容性- OpenAI 兼容的网络服务器
- 本地 Copilot 替代品
- 函数调用支持
- 视觉 API 支持
- 多模型支持
%pip install --upgrade --quiet llama-cpp-python
<!--IMPORTS:[{"imported": "LlamaCppEmbeddings", "source": "langchain_community.embeddings", "docs": "https://python.langchain.com/api_reference/community/embeddings/langchain_community.embeddings.llamacpp.LlamaCppEmbeddings.html", "title": "Llama.cpp"}]-->
from langchain_community.embeddings import LlamaCppEmbeddings
llama = LlamaCppEmbeddings(model_path="/path/to/model/ggml-model-q4_0.bin")
text = "This is a test document."
query_result = llama.embed_query(text)
doc_result = llama.embed_documents([text])
