[RFC] 1 - token calculator

[sedationh]

目标

实现一个 token 计算工具，用于展示/记录模型调用中的 token 消耗。

方案概述

实现一个内部 token 计算模块，支持以下两处输出：

1. Terminal 输出：在执行命令后显示 token 使用情况
2. Session log：将 token 使用写入每次会话日志中，方便追踪历史记录

关键设计

token 计算

token 计算方式基于目前使用的 ai-sdk 提供的 usage 能力

type LanguageModelUsage = {
    /**
  The number of tokens used in the prompt.
     */
    promptTokens: number;
    /**
  The number of tokens used in the completion.
   */
    completionTokens: number;
    /**
  The total number of tokens used (promptTokens + completionTokens).
     */
    totalTokens: number;
};

Terminal 提示

取名为 Generation ID，原因如下图

●  [Usage] promptTokens: 1000 | completionTokens: 10 | totalTokens: 1010 | generationId: 125099ed-38ba-45ce-b3cb-5a92f64c48bd

日志格式

用 session plugin 来做，用 query hook

  "queries": {
    "3ae6afff-28f2-4b52-bfd4-0abe38e7d682": {
      "startTime": "2025-05-12T07:19:19.785Z",
      "items": [
        {
          "type": "message",
          "data": {
            "role": "user",
            "content": "what is token"
          }
        },
        {
          "type": "finalResponse",
          "data": ""
        }
      ],
      "generations": [
        [
          "b6af45db-5a54-48b7-8d51-a827632d9f0b",
          {
            "promptTokens": 1000,
            "completionTokens": 10,
            "totalTokens": 1010
          }
        ]
      ],
      "tools": [
        "FileReadTool",
        "FileEditTool",
        "BashTool",
        "LSTool",
        "FileWriteTool",
        "GrepTool",
        "GlobTool",
        "ThinkTool",
        "WebFetchTool",
        "BatchTool"
      ],
      "endTime": "2025-05-12T07:19:21.546Z",
      "duration": 1761
    }
  },

加入 generations 的结构，记录每次对话的 token usage

[sorrycc]

👍，可以。