CSVLoader
兼容性
仅适用于Node.js。
本 notebook 提供了CSVLoader
文档加载器的快速入门概览。如需查看CSVLoader所有功能和配置的详细文档,请访问API 参考文档。
本示例介绍了如何从 CSV 文件加载数据。第二个参数是用于从 CSV 文件中提取的column列名。CSV 文件中的每一行都会创建一个文档。当未指定column时,每一行都会被转换为键/值对,并将每个键/值对输出到文档的pageContent中的新行。当指定了column时,每一行都会创建一个文档,并将指定列的值用作文档的pageContent。
概述
集成详情
| 类名 | 包 | 兼容性 | 本地支持 | PY 支持 |
|---|---|---|---|---|
| CSVLoader | @langchain/community | 仅支持 Node | ✅ | ✅ |
准备
要使用CSVLoader文档加载器,您需要安装@langchain/community集成包,以及d3-dsv@2的 peer
dependency。
安装
LangChain 的 CSVLoader 集成位于@langchain/community集成包中。
:::提示 请参阅安装集成包的一般说明部分。 :::
- npm
- yarn
- pnpm
npm i @langchain/community @langchain/core d3-dsv@2
yarn add @langchain/community @langchain/core d3-dsv@2
pnpm add @langchain/community @langchain/core d3-dsv@2
实例化
现在我们可以实例化我们的模型对象并加载文档:
import { CSVLoader } from "@langchain/community/document_loaders/fs/csv";
const exampleCsvPath =
"../../../../../../langchain/src/document_loaders/tests/example_data/example_separator.csv";
const loader = new CSVLoader(exampleCsvPath);
加载
const docs = await loader.load();
docs[0];
Document {
pageContent: 'id|html: 1|"<i>Corruption discovered at the core of the Banking Clan!</i>"',
metadata: {
source: '../../../../../../langchain/src/document_loaders/tests/example_data/example_separator.csv',
line: 1
},
id: undefined
}
console.log(docs[0].metadata);
{
source: '../../../../../../langchain/src/document_loaders/tests/example_data/example_separator.csv',
line: 1
}
用法,提取单个列
示例 CSV 文件:
id|html
1|"<i>银行业集团核心发现腐败!</i>"
2|"<i>鲁什·克洛维斯与阿米达拉参议员重聚</i>"
3|"<i>发现欺骗的全部程度。</i>"
4|"<i>阿纳金·天行者前去营救!</i>"
import { CSVLoader } from "@langchain/community/document_loaders/fs/csv";
const singleColumnLoader = new CSVLoader(exampleCsvPath, {
column: "html",
separator: "|",
});
const singleColumnDocs = await singleColumnLoader.load();
console.log(singleColumnDocs[0]);
Document {
pageContent: '<i>Corruption discovered at the core of the Banking Clan!</i>',
metadata: {
source: '../../../../../../langchain/src/document_loaders/tests/example_data/example_separator.csv',
line: 1
},
id: undefined
}
API 参考
有关所有 CSVLoader 特性和配置的详细文档,请访问 API 参考:https://api.js.langchain.com/classes/langchain_community_document_loaders_fs_csv.CSVLoader.html