Вставить Prompt или статью; Просмотр оценок Token в режиме реального времени; Избегайте выхода за рамки контекстного окна модели. Поддержка смешанных текстов на английском и китайском языках.
Конфиденциальность: обрабатывается локально, никогда не загружается.
↓ Вставьте в область ввода ниже, чтобы мгновенно увидеть результаты
实时统计字符、词数与 Token 估算，适合控制 LLM 上下文长度。
字符数
81
词数
10
行数
1
中日韩字符
17
GPT 估算 Token
31
Claude 估算 Token
30
以下为启发式估算，与 OpenAI tiktoken 等官方计数器可能略有偏差，但足以做上下文预算与 Prompt 长度规划。 ~31 GPT tokens estimated.
Вставить Prompt или статью; Просмотр оценок Token в режиме реального времени; Избегайте выхода за рамки контекстного окна модели. Поддержка смешанных текстов на английском и китайском языках.
Вставить текст
Поддержка многорядного Prompt, блоков кода, смесей на английском и китайском языках.
Посмотреть Статистика
Символы, слова, символы CJK с первого взгляда.
Бюджет модели
Оцените длину контекста столбца с помощью GPT / Claude.
LLM разделяют текст на токены для выставления счетов и ограничений.Английский язык составляет ~ 4 символа на токен; CJK варьируется в зависимости от токенатора.
эвристические формулы; могут немного отличаться от официальных тиктокенов, но отлично подходят для составления бюджета и обрезки.
При написании подсказок LLM вставьте текст в этот инструмент, чтобы наблюдать изменения в токене в режиме реального времени. При приближении к ограничениям модели (например, 8k для GPT - 4) инструмент подсвечивает напоминание. В этом случае можно удалить избыточный контент или разделить Prompt, чтобы убедиться, что вся информация может быть отправлена в модель.
Для перевода эквивалентных длинных текстов технических документов проверьте их по пунктам с помощью « шаблона параграфов». Сначала обработайте заголовок и ключевые абзацы, сохраните 20% - ный запас токена для ответа модели. При смешивании китайско - британских рядов обратите внимание на характеристики потребления китайского слова EE 1.5 Token.
Input
Summarize this article in 3 bullet points.
В английском языке около 10 токенов.
Не обязательно полностью совпадает; Но вес такой же; Подходит для самопроверки перед выходом на линию.
эвристическая оценка по символам; Код токена может быть слишком большим при плотности символов.
Из - за различий в алгоритмах токенизации: английский делится на слова / subword, а китайский - на слова / слова. Такие, как « глубокое обучение», могут быть разделены на 2 - 4 токена. Инструменты используют библиотеку Tiktoken, соответствующую OpenAI, и результаты согласуются с API.
