GitBook
本示例介绍如何使用 Cheerio 从任意 GitBook 加载数据。每个页面都会创建一个文档。
安装
- npm
- Yarn
- pnpm
npm install @langchain/community @langchain/core cheerio
yarn add @langchain/community @langchain/core cheerio
pnpm add @langchain/community @langchain/core cheerio
从单个 GitBook 页面加载
import { GitbookLoader } from "@langchain/community/document_loaders/web/gitbook";
const loader = new GitbookLoader(
"https://docs.gitbook.com/product-tour/navigation"
);
const docs = await loader.load();
从指定 GitBook 中的所有路径加载
要实现此功能,需要使用根路径(例如中的 https://docs.gitbook.com)初始化 GitbookLoader,并将 shouldLoadAllPaths 设置为 true。
import { GitbookLoader } from "@langchain/community/document_loaders/web/gitbook";
const loader = new GitbookLoader("https://docs.gitbook.com", {
shouldLoadAllPaths: true,
});
const docs = await loader.load();