Estimador de Tokens

Pega instrucciones o artículos para estimaciones de tokens en vivo; permanecer dentro de los límites del contexto del modelo. Compatible con inglés y CJK mixto.

Privacidad: procesado localmente, nunca cargado.

↓ Pega en el área de entrada de abajo para ver los resultados al instante

在此粘贴 Prompt 或文本

实时统计字符、词数与 Token 估算,适合控制 LLM 上下文长度。

Salida

字符数

81

词数

10

行数

1

中日韩字符

17

GPT 估算 Token

31

Claude 估算 Token

30

Notas

Token 估算说明

以下为启发式估算,与 OpenAI tiktoken 等官方计数器可能略有偏差,但足以做上下文预算与 Prompt 长度规划。 ~31 GPT tokens estimated.

Pega instrucciones o artículos para estimaciones de tokens en vivo; permanecer dentro de los límites del contexto del modelo. Compatible con inglés y CJK mixto.

Inicio rápido

  1. Pegar texto

    Prompts de varias líneas, bloques de código, lenguajes mixtos.

  2. Ver estadísticas

    Ver caracteres, palabras y cuentas CJK de un vistazo.

  3. Compruebe el presupuesto del modelo

    Utilice las columnas de estimación GPT / Claude para planificar el contexto.

¿Qué es un token

Los LLM dividen el texto en tokens para la facturación y los límites. Inglés es ~4 caracteres por token; CJK varía según el tokenizador.

¿Qué tan preciso es esto

Fórmulas heurísticas; puede diferir ligeramente del tiktoken oficial, pero bien para el presupuesto y el recorte.

Flujo de trabajo típico

Al elaborar instrucciones de LLM, pegue su texto aquí para monitorear el uso de tokens en tiempo real. La herramienta resalta las advertencias al acercarse a los límites del modelo (por ejemplo, el contexto 8k del GPT-4). Recorte las redundancias o las instrucciones de división en esta etapa para garantizar la entrega completa de mensajes.

Para textos largos como traducciones técnicas, utilice el modo párrafo para la revisión sección por sección. Priorizar los encabezados y los párrafos clave, dejando un 20% de espacio para las respuestas. Nota: Los caracteres chinos consumen aproximadamente 1,5 fichas cada una en textos de idiomas mixtos.

Ejemplos

Prompt corto

Input

Summarize this article in 3 bullet points.

Una línea corta en inglés es aproximadamente una docena de fichas.

FAQ

¿Compartir los recuentos de ChatGPT?

No siempre idéntico, pero el mismo campo de pelota; Bueno para los controles previos al vuelo.

¿Y el código?

heurística del carácter; símbolo-pesado código puede sesgarse alto.

¿Por qué el recuento de símbolos varía drásticamente para textos con recuentos de palabras similares?

La tokenización difiere según el idioma: el inglés usa palabras / subpalabras mientras que el chino usa caracteres / palabras. Por ejemplo, ' 深度学习' puede dividirse en 2-4 fichas. La herramienta utiliza la biblioteca de tokens de OpenAI para la facturación consistente con la API.