Towalles Towalles

토큰 추정기

라이브 토큰 추정을 위한 프롬프트 또는 기사를 붙여넣습니다.모델 컨텍스트 한계 내에 머물 수 있습니다.CJK 및 영어 혼합 지원.

개인 정보 보호: 로컬로 처리되고, 결코 업로드하지 않습니다.

↓ 아래의 입력 영역에 결결과를 즉시 볼 수 있습니다.

在此粘贴 Prompt 或文本

实时统计字符、词数与 Token 估算，适合控制 LLM 上下文长度。

출력

字符数

81

词数

10

行数

1

中日韩字符

17

GPT 估算 Token

31

Claude 估算 Token

30

메모

Token 估算说明

以下为启发式估算，与 OpenAI tiktoken 等官方计数器可能略有偏差，但足以做上下文预算与 Prompt 长度规划。 ~31 GPT tokens estimated.

라이브 토큰 추정을 위한 프롬프트 또는 기사를 붙여넣습니다.모델 컨텍스트 한계 내에 머물 수 있습니다.CJK 및 영어 혼합 지원.

빠른 시작

  1. 텍스트 텍스트 텍스트 텍스트

    다행 프롬프트, 코드 블록, 혼합 언어.

  2. 통계 보기

    문자, 단어 및 CJK 카운트를 한눈에 보십시오.

  3. 모델 예산 확인

    컨텍스트 계획을 위해 GPT / Claude 추정 열을 사용하십시오.

토큰이란 무엇인가

LLM은 청구 및 제한을 위한 토큰으로 텍스트를 분할합니다.영어는 토큰당 ~4개의 문자입니다.CJK는 토큰이저에 따라 다릅니다.

이것이 얼마나 정확한지

Heuristic 공식;공식 tiktoken과 약간 다를 수 있지만 예산 및 트리밍에 대한 벌금이 있습니다.

일반적인 워크플로우

LLM 프롬프트를 작성할 때, 실시간으로 토큰 사용을 모니터링하기 위해 여기에 텍스트를 붙여넣으십시오.이 도구는 모델 한계(예: GPT-4의 8k 컨텍스트)에 접근할 때 경고를 강조합니다.이 단계에서 중복 또는 분할 프롬프트를 조절하여 전체 메시지 전달을 보장합니다.

기술 번역과 같은 긴 텍스트의 경우 섹션별 검토를 위해 단락 모드를 사용하십시오.헤더와 핵심 단락을 우선순위화하여 응답을 위해 20%의 토큰 헤드룸을 남기십시오.참고 중국어 문자는 혼합 언어 텍스트에서 각각 ~1.5 토큰을 소비합니다.

예제

짧은 프롬프트

Input

Summarize this article in 3 bullet points.

짧은 영어 줄은 약 십 개의 토큰입니다.

FAQ

ChatGPT 카운트와 일치합니까?

항상 동일하지 않지만 같은 공장;비행 사전 체크에 적합합니다.

코드는 어떻게?

문자 heuristics;symbol-heavy 코드는 높이 스키 될 수 있습니다.

왜 비슷한 단어 수를 가진 텍스트에서 토큰 수가 크게 다릅니까?

토큰화는 언어에 따라 다릅니다. 영어는 단어/하단어를 사용하지만 중국어는 문자/단어를 사용합니다.예를 들어, '深度学习' 2-4개의 토큰으로 분할될 수 있습니다.이 도구는 API와 일관된 청구를 위해 OpenAI의 tiktoken 라이브러리를 사용합니다.