Skip to main content

Gradient AI

LangChain.js 支持与 Gradient AI 的集成。请访问 Gradient AI 查看可用模型列表。

安装配置​

你需要安装官方的 Gradient Node SDK 作为对等依赖：

npm i @gradientai/nodejs-sdk

你需要设置以下环境变量以使用 Gradient AI API：

  1. GRADIENT_ACCESS_TOKEN
  2. GRADIENT_WORKSPACE_ID

或者，也可以在实例化 GradientAI 类时分别将它们设置为 gradientAccessKey 和 workspaceId。 例如：

const model = new GradientLLM({
  gradientAccessKey: "我的密钥 Access Token"
  workspaceId: "我的工作区 ID"
});

使用方法​

:::提示 请参阅安装集成包的一般说明部分。 :::

npm install @langchain/community @langchain/core

使用 Gradient 的基础模型​

import { GradientLLM } from "@langchain/community/llms/gradient_ai";

// Note that inferenceParameters are optional
const model = new GradientLLM({
  modelSlug: "llama2-7b-chat",
  inferenceParameters: {
    maxGeneratedTokenCount: 20,
    temperature: 0,
  },
});
const res = await model.invoke(
  "What would be a good company name for a company that makes colorful socks?"
);

console.log({ res });

API Reference:

使用你自己微调的适配器（Adapter）​

使用你自己的自定义适配器只需在配置时设置 adapterId。

import { GradientLLM } from "@langchain/community/llms/gradient_ai";

// Note that inferenceParameters are optional
const model = new GradientLLM({
  adapterId: process.env.GRADIENT_ADAPTER_ID,
  inferenceParameters: {
    maxGeneratedTokenCount: 20,
    temperature: 0,
  },
});
const res = await model.invoke(
  "What would be a good company name for a company that makes colorful socks?"
);

console.log({ res });

API Reference:

相关内容​

Was this page helpful?


You can also leave detailed feedback on GitHub.