Token 估算器

粘贴 Prompt 或文章; 实时查看 Token 估算; 避免超出模型上下文窗口。支持中英文混合文本。

隐私提示:本地解析,不上传服务器。

↓ 在下方输入区粘贴内容,结果会立即显示

在此粘贴 Prompt 或文本

实时统计字符、词数与 Token 估算,适合控制 LLM 上下文长度。

输出结果

字符数

81

词数

10

行数

1

中日韩字符

17

GPT 估算 Token

31

Claude 估算 Token

30

注释说明

Token 估算说明

以下为启发式估算,与 OpenAI tiktoken 等官方计数器可能略有偏差,但足以做上下文预算与 Prompt 长度规划。 当前约 31 GPT Token。

粘贴 Prompt 或文章; 实时查看 Token 估算; 避免超出模型上下文窗口。支持中英文混合文本。

快速开始

  1. 粘贴文本

    支持多行 Prompt、代码块、中英文混排。

  2. 查看统计

    字符、词数、CJK 字符数一目了然。

  3. 对照模型预算

    用 GPT / Claude 估算列规划上下文长度。

什么是 Token

大模型把文本切成 Token 计费与限长。英文约 4 字符 1 Token; 中文通常更省或更费; 取决于分词器。

估算准确吗

本工具用启发式公式; 与官方 tiktoken 可能差几个 Token; 但足够做预算与裁剪。

典型工作流

在编写 LLM 提示词时,先在此工具粘贴文本,实时观察 Token 变化。当接近模型限制(如 GPT-4 的 8k)时,工具会高亮提醒。此时可删减冗余内容或拆分 Prompt,确保完整信息能送入模型。

对于技术文档翻译等长文本,用「段落模式」逐段检查。先处理标题和关键段落,保留 20% Token 余量给模型回复。中英混排时,注意中文 1 字≈1.5 Token 的消耗特点。

示例

短 Prompt

Input

Summarize this article in 3 bullet points.

英文短句约十余 Token。

FAQ

和 ChatGPT 显示的一致吗?

不一定完全一致; 但量级相同; 适合上线前自检。

代码怎么算?

按字符启发式估算; 符号密集时代码 Token 可能偏多。

为什么相同字数不同语言的 Token 计数差异大?

因为 Token 化算法差异:英文按词/subword 分割,中文按字/词。像「深度学习」可能被分成 2-4 个 Token。工具使用与 OpenAI 一致的 tiktoken 库,结果与 API 计费一致。