如何跟踪令牌使用情况

前提条件

本指南假设您已熟悉以下概念：

• LLMs

本笔记本介绍了如何跟踪特定 LLM 调用的令牌使用情况。目前只有部分提供商实现了此功能，包括 OpenAI。

以下是一个通过回调跟踪单次 LLM 调用令牌使用情况的示例：

:::提示 请参阅安装集成包的一般说明部分。 :::

npm

npm install @langchain/openai @langchain/core

Yarn

yarn add @langchain/openai @langchain/core

pnpm

pnpm add @langchain/openai @langchain/core

import { OpenAI } from "@langchain/openai";

const llm = new OpenAI({
  model: "gpt-3.5-turbo-instruct",
  callbacks: [
    {
      handleLLMEnd(output) {
        console.log(JSON.stringify(output, null, 2));
      },
    },
  ],
});

await llm.invoke("Tell me a joke.");

/*
  {
    "generations": [
      [
        {
          "text": "\n\nWhy don't scientists trust atoms?\n\nBecause they make up everything.",
          "generationInfo": {
            "finishReason": "stop",
            "logprobs": null
          }
        }
      ]
    ],
    "llmOutput": {
      "tokenUsage": {
        "completionTokens": 14,
        "promptTokens": 5,
        "totalTokens": 19
      }
    }
  }
*/

API Reference:

• OpenAI from @langchain/openai

如果将此模型传递给一个调用它多次的链或代理，它会在每次调用时记录输出。

下一步

您现在已经了解了如何获取受支持的 LLM 提供商的令牌使用情况。

接下来，请查看本节中的其他操作指南，例如如何实现自己的自定义 LLM。