トークン推定器

リアルタイムトークン推定のヒントまたは記事を貼り付ける、モデルコンテキストの制限内に維持されます。CJKと英語の混合に対応しています。

プライバシー:アップロードしないローカルで処理します。

↓ 下の入力領域に貼り付けて、結果をすぐに表示します。★QADB 610☆QADB 610☆QADB 610☆QADB 610☆QADB 610☆QADB 610☆QADB 610☆QADB 610☆QADB

在此粘贴 Prompt 或文本

实时统计字符、词数与 Token 估算,适合控制 LLM 上下文长度。

出力

字符数

81

词数

10

行数

1

中日韩字符

17

GPT 估算 Token

31

Claude 估算 Token

30

備考

Token 估算说明

以下为启发式估算,与 OpenAI tiktoken 等官方计数器可能略有偏差,但足以做上下文预算与 Prompt 长度规划。 ~31 GPT tokens estimated.

リアルタイムトークン推定のヒントまたは記事を貼り付ける、モデルコンテキストの制限内に維持されます。CJKと英語の混合に対応しています。

クイックスタート

  1. テキストの貼り付け

    マルチラインプロンプト、コードブロック、混合言語。

  2. 統計を見る

    文字、単語、CJKカウントを一目で表示します。

  3. モデル予算のチェック

    GPT/Claude推定カラムを使用したコンテキスト計画。

トークンとは

LLMは、テキストを課金と割当てのためのトークンに分割します。各トークンの英語長は約4文字、CJKはマーカーによって異なります。

これはどのくらい正確ですか。

ヒューリスティック式

典型的なワークフロー

LLMプロンプトを作成する際に、トークンの使用状況をリアルタイムで監視するためにテキストをここに貼り付けます。このツールは、モデルの限界に近づいたときに警告(例えばGPT-4の8 kコンテキスト)を強調表示します。

テクニカル翻訳などの長いテキストについては、段落モードを使用してセクションごとにレビューしてください。混合言語テキストでは、漢字あたり約1.5個のマーカーが消費されることに注意してください。

簡単なヒント

Input

Summarize this article in 3 bullet points.

1本の短い英文線には約十数個のマークがある。

FAQ

マッチングChatGPTカウント?

いつも同じではありませんが、ほぼ同じです。飛行前検査に適しています。

コードは?

性格の啓発シンボルが密集しているコードは高すぎる可能性があります。

単語数が同じテキストでトークン数が大きく異なるのはなぜですか ?

タグ化は言語によって異なります:英語は単語/サブ単語を使用し、中国語は文字/単語を使用します。例えば、「深度学习' 2~4つのトークンに分けることができます。このツールはOpenAIのtiktokenライブラリを使用してAPI互換課金を行う。