Token估算器

粘貼Prompt或文章; 實时查看Token估算; 避免超出模型上下文視窗。 支持中英文混合文字。

隱私提示:本地解析,不上傳伺服器。

↓ 在下方輸入區貼上內容,結果會立即顯示

在此粘贴 Prompt 或文本

实时统计字符、词数与 Token 估算,适合控制 LLM 上下文长度。

輸出結果

字符数

81

词数

10

行数

1

中日韩字符

17

GPT 估算 Token

31

Claude 估算 Token

30

註釋說明

Token 估算说明

以下为启发式估算,与 OpenAI tiktoken 等官方计数器可能略有偏差,但足以做上下文预算与 Prompt 长度规划。 当前约 31 GPT Token。

粘貼Prompt或文章; 實时查看Token估算; 避免超出模型上下文視窗。 支持中英文混合文字。

快速開始

  1. 粘貼文字

    支持多行Prompt、程式碼塊、中英文混排。

  2. 查看統計

    字元、詞數、CJK字元數一目了然。

  3. 對照模型預算

    用GPT / Claude估算列規劃上下文長度。

什麼是Token

大模型把文本切成 token 計費與限長。英文約 4 字符 1 token; 中文通常更省或更費; 取決於分詞器。

估算準確嗎

本工具用啟發式公式; 與官方 tiktoken 可能差幾個 token; 但足夠做預算與裁剪。

典型工作流

在編寫LLM提示詞時,先在此工具粘貼文字,實时觀察Token變化。 當接近模型限制(如GPT-4的8k)時,工具會高亮提醒。 此時可删减冗餘內容或折開Prompt,確保完整資訊能送入模型。

對於技術文檔翻譯等長文字,用「段落模式」逐段檢查。 先處理標題和關鍵段落,保留20% Token餘量給模型回復。 中英混排時,注意中文1字≈1.5 Token的消耗特點。

示例

短Prompt

Input

Summarize this article in 3 bullet points.

英文短句約十餘Token。

FAQ

和ChatGPT顯示的一致嗎?

不一定完全一致; 但量級相同; 適合上線前自檢。

程式碼怎麼算?

按字元啟發式估算; 符號密集時程式碼Token可能偏多。

為什麼相同字數不同語言的Token計數差异大?

因為Token化算灋差异:英文按詞/subword分割,中文按字/詞。 像「深度學習」可能被分成2-4個Token。 工具使用與OpenAI一致的tiktoken庫,結果與API計費一致。