Token-Schätzung

Einfügen von Aufforderungen oder Artikeln für Live-Token-Schätzungen; innerhalb der Kontextgrenzen des Modells bleiben. Gemischte CJK und Englisch unterstützt.

Datenschutz: lokal verarbeitet, nie hochgeladen.

↓ Fügen Sie in den Eingabebereich unten, um sofort Ergebnisse zu sehen

在此粘贴 Prompt 或文本

实时统计字符、词数与 Token 估算,适合控制 LLM 上下文长度。

Ausgang

字符数

81

词数

10

行数

1

中日韩字符

17

GPT 估算 Token

31

Claude 估算 Token

30

Hinweise

Token 估算说明

以下为启发式估算,与 OpenAI tiktoken 等官方计数器可能略有偏差,但足以做上下文预算与 Prompt 长度规划。 ~31 GPT tokens estimated.

Einfügen von Aufforderungen oder Artikeln für Live-Token-Schätzungen; innerhalb der Kontextgrenzen des Modells bleiben. Gemischte CJK und Englisch unterstützt.

Schnellstart

  1. Text einfügen

    Mehrzeilige Eingabeaufforderungen, Codeblöcke, gemischte Sprachen.

  2. Statistiken anzeigen

    Sehen Sie Zeichen, Wörter und CJK-Zählungen auf einen Blick.

  3. Überprüfen Sie das Modellbudget

    Verwenden Sie GPT / Claude-Schätzungsspalten für die Kontextplanung.

Was ist ein Token

LLMs teilen Text in Tokens für Abrechnung und Limits. Englisch ist ~4 Zeichen pro Token; CJK variiert je nach Tokenizer.

Wie genau ist das

Heuristische Formeln; kann sich leicht vom offiziellen tiktoken unterscheiden, aber gut für budgetierung und trimming.

Typischer Workflow

Wenn Sie LLM-Aufforderungen erstellen, fügen Sie Ihren Text hier ein, um die Nutzung von Tokens in Echtzeit zu überwachen. Das Tool hebt Warnungen hervor, wenn sich Modellgrenzen nähern (z. B. 8k-Kontext des GPT-4). Redundanzen oder Split-Aufforderungen in dieser Phase schneiden, um die vollständige Nachrichtenübermittlung zu gewährleisten.

Für lange Texte wie technische Übersetzungen verwenden Sie den Absatzmodus für eine Abschnitt-für-Abschnitt-Überprüfung. Priorisieren Sie Überschriften und Schlüsselsätze und lassen 20% Token-Headspace für Antworten. Hinweis: Chinesische Zeichen verbrauchen jeweils etwa 1,5 Token in gemischten Sprachtexten.

Beispiele

Kurze Aufforderung

Input

Summarize this article in 3 bullet points.

Eine kurze englische Linie ist etwa ein Dutzend Tokens.

FAQ

Passen ChatGPT Zählungen?

Nicht immer identisch, aber der gleiche Ballpark; Gut für Vorflugprüfungen.

Wie wäre es mit Code?

Charakterheuristik; Symbol-schwerer Code kann hoch schieben.

Warum variiert die Tokenzahl für Texte mit ähnlichen Wortzahlen drastisch?

Tokenisierung unterscheidet sich je nach Sprache: Englisch verwendet Wörter / Unterwörter, während Chinesisch Zeichen / Wörter verwendet. Zum Beispiel: 深度学习' kann in 2-4 Tokens aufgeteilt werden. Das Tool verwendet die Tiktoken-Bibliothek von OpenAI für die API-konsistente Abrechnung.