TF-IDF
TF-IDF 指的是词频乘以逆文档频率。
本笔记本介绍了如何使用一个检索器，该检索器在底层使用 TF-IDF 和 scikit-learn 包。
有关 TF-IDF 详细信息，请参见 这篇博客文章。
%pip install --upgrade --quiet scikit-learn
<!--IMPORTS:[{"imported": "TFIDFRetriever", "source": "langchain_community.retrievers", "docs": "https://python.langchain.com/api_reference/community/retrievers/langchain_community.retrievers.tfidf.TFIDFRetriever.html", "title": "TF-IDF"}]-->
from langchain_community.retrievers import TFIDFRetriever
创建新的检索器与文本
retriever = TFIDFRetriever.from_texts(["foo", "bar", "world", "hello", "foo bar"])
创建一个新的检索器与文档
您现在可以使用您创建的文档来创建一个新的检索器。
<!--IMPORTS:[{"imported": "Document", "source": "langchain_core.documents", "docs": "https://python.langchain.com/api_reference/core/documents/langchain_core.documents.base.Document.html", "title": "TF-IDF"}]-->
from langchain_core.documents import Document
retriever = TFIDFRetriever.from_documents(
[
Document(page_content="foo"),
Document(page_content="bar"),
Document(page_content="world"),
Document(page_content="hello"),
Document(page_content="foo bar"),
]
)
使用检索器
我们现在可以使用检索器了！
result = retriever.invoke("foo")
result
[Document(page_content='foo', metadata={}),
Document(page_content='foo bar', metadata={}),
Document(page_content='hello', metadata={}),
Document(page_content='world', metadata={})]
保存和加载
您可以轻松保存和加载这个检索器，使其在本地开发中非常方便！
retriever.save_local("testing.pkl")
retriever_copy = TFIDFRetriever.load_local("testing.pkl")
retriever_copy.invoke("foo")
[Document(page_content='foo', metadata={}),
Document(page_content='foo bar', metadata={}),
Document(page_content='hello', metadata={}),
Document(page_content='world', metadata={})]
