FireCrawl

FireCrawl 爬取并将任何网站转换为适合大型语言模型的数据。 它爬取所有可访问的子页面，并为您提供干净的markdown 以及每个页面的元数据。无需网站地图。

安装和设置

安装Python SDK：

pip install firecrawl-py==0.0.20

文档加载器

查看使用示例。

from langchain_community.document_loaders import FireCrawlLoader