BM25
BM25 (维基百科) 也被称为
Okapi BM25，是一种用于信息检索系统的排名函数，用于估计文档与给定搜索查询的相关性。
BM25Retriever检索器使用rank_bm25包。
%pip install --upgrade --quiet rank_bm25
<!--IMPORTS:[{"imported": "BM25Retriever", "source": "langchain_community.retrievers", "docs": "https://python.langchain.com/api_reference/community/retrievers/langchain_community.retrievers.bm25.BM25Retriever.html", "title": "BM25"}]-->
from langchain_community.retrievers import BM25Retriever
创建新的检索器与文本
retriever = BM25Retriever.from_texts(["foo", "bar", "world", "hello", "foo bar"])
创建一个新的检索器与文档
您现在可以使用您创建的文档来创建一个新的检索器。
<!--IMPORTS:[{"imported": "Document", "source": "langchain_core.documents", "docs": "https://python.langchain.com/api_reference/core/documents/langchain_core.documents.base.Document.html", "title": "BM25"}]-->
from langchain_core.documents import Document
retriever = BM25Retriever.from_documents(
[
Document(page_content="foo"),
Document(page_content="bar"),
Document(page_content="world"),
Document(page_content="hello"),
Document(page_content="foo bar"),
]
)
使用检索器
我们现在可以使用检索器了！
result = retriever.invoke("foo")
result
[Document(page_content='foo', metadata={}),
Document(page_content='foo bar', metadata={}),
Document(page_content='hello', metadata={}),
Document(page_content='world', metadata={})]
