Skip to main content

IBM watsonx.ai

这将帮助你使用 LangChain 开始使用 IBM 文本补全模型（LLMs）。有关 IBM watsonx.ai 功能和配置选项的详细文档，请参阅 IBM watsonx.ai。

概述​

集成详情​

类包本地可序列化Python 支持包下载量最新包
WatsonxLLM@langchain/community❌✅✅NPM - 下载量NPM - 版本

安装准备​

要访问 IBM WatsonxAI 模型，你需要创建一个 IBM watsonx.ai 账户，获取 API 密钥或其他类型的凭证，并安装 @langchain/community 集成包。

凭证​

前往 IBM Cloud 注册 IBM watsonx.ai 并生成 API 密钥，或者提供以下展示的其他身份验证方式。

IAM 认证​

export WATSONX_AI_AUTH_TYPE=iam
export WATSONX_AI_APIKEY=<YOUR-APIKEY>

Bearer token 认证​

export WATSONX_AI_AUTH_TYPE=bearertoken
export WATSONX_AI_BEARER_TOKEN=<YOUR-BEARER-TOKEN>

IBM watsonx.ai 软件认证​

export WATSONX_AI_AUTH_TYPE=cp4d
export WATSONX_AI_USERNAME=<YOUR_USERNAME>
export WATSONX_AI_PASSWORD=<YOUR_PASSWORD>
export WATSONX_AI_URL=<URL>

一旦将这些设置到你的环境变量中，并初始化对象，认证将自动进行。

也可以通过将这些值作为参数传递给新实例来完成认证。

IAM 认证​

import { WatsonxLLM } from "@langchain/community/llms/ibm";

const props = {
  version: "YYYY-MM-DD",
  serviceUrl: "<SERVICE_URL>",
  projectId: "<PROJECT_ID>",
  watsonxAIAuthType: "iam",
  watsonxAIApikey: "<YOUR-APIKEY>",
};
const instance = new WatsonxLLM(props);

Bearer token 认证​

import { WatsonxLLM } from "@langchain/community/llms/ibm";

const props = {
  version: "YYYY-MM-DD",
  serviceUrl: "<SERVICE_URL>",
  projectId: "<PROJECT_ID>",
  watsonxAIAuthType: "bearertoken",
  watsonxAIBearerToken: "<YOUR-BEARERTOKEN>",
};
const instance = new WatsonxLLM(props);

IBM watsonx.ai 软件认证​

import { WatsonxLLM } from "@langchain/community/llms/ibm";

const props = {
  version: "YYYY-MM-DD",
  serviceUrl: "<SERVICE_URL>",
  projectId: "<PROJECT_ID>",
  watsonxAIAuthType: "cp4d",
  watsonxAIUsername: "<YOUR-USERNAME>",
  watsonxAIPassword: "<YOUR-PASSWORD>",
  watsonxAIUrl: "<url>",
};
const instance = new WatsonxLLM(props);

如果你想获取模型调用的自动追踪，也可以取消以下 LangSmith API 密钥的注释：

# export LANGSMITH_TRACING="true"
# export LANGSMITH_API_KEY="your-api-key"

安装​

LangChain IBM watsonx.ai 的集成包位于 @langchain/community：

:::提示 请参阅安装集成包的一般说明部分。 :::

yarn add @langchain/community @langchain/core

实例化​

现在我们可以实例化我们的模型对象并生成聊天补全：

import { WatsonxLLM } from "@langchain/community/llms/ibm";

const props = {
  decoding_method: "sample",
  maxNewTokens: 100,
  minNewTokens: 1,
  temperature: 0.5,
  topK: 50,
  topP: 1,
};
const instance = new WatsonxLLM({
  version: "YYYY-MM-DD",
  serviceUrl: process.env.API_URL,
  projectId: "<PROJECT_ID>",
  // spaceId: "<SPACE_ID>",
  // idOrName: "<DEPLOYMENT_ID>",
  model: "<MODEL_ID>",
  ...props,
});

注意：

  • 除非使用无需指定的轻量级引擎（参考 watsonx.ai 文档)），否则必须提供 spaceId、projectId 或 idOrName（部署 ID）
  • 根据您已配置服务实例的区域，使用正确的 serviceUrl。
  • 您需要通过 model_id 指定要用于推理的模型。

调用与生成​

const result = await instance.invoke("Print hello world.");
console.log(result);

const results = await instance.generate([
  "Print hello world.",
  "Print bye, bye world!",
]);
console.log(results);

print('Hello world.')<|endoftext|>
{
  generations: [ [ [Object] ], [ [Object] ] ],
  llmOutput: { tokenUsage: { generated_token_count: 28, input_token_count: 10 } }
}

链式调用​

我们可以将补全模型与提示模板进行链式调用，如下所示：

import { PromptTemplate } from "@langchain/core/prompts";

const prompt = PromptTemplate.fromTemplate(
  "How to say {input} in {output_language}:\n"
);

const chain = prompt.pipe(instance);
await chain.invoke({
  output_language: "German",
  input: "I love programming.",
});
Ich liebe Programmieren.

To express that you are passionate about programming in German,

属性覆盖​

初始化时传入的属性将在对象的整个生命周期中保持不变。但是，您可以通过传递第二个参数来在单个方法调用时覆盖它们，如下所示

const result2 = await instance.invoke("Print hello world.", {
  parameters: {
    maxNewTokens: 100,
  },
});
console.log(result2);

print('Hello world.')<|endoftext|>

分词​

此包有自定义的 getNumTokens 实现，返回将使用的精确分词数量。

const tokens = await instance.getNumTokens("Print hello world.");
console.log(tokens);
4

API 参考文档​

如需了解所有 IBM watsonx.ai 功能和配置的详细文档，请前往 API 参考文档：API 文档

Was this page helpful?


You can also leave detailed feedback on GitHub.