Contexte Planificateur budgétaire

Estimez les jetons pour le système, les outils, l'historique et les emplacements utilisateur par rapport à une limite de contexte du modèle. Utile lors de la conception de la mise en page de chat d'agent.

Read the full guide: Guide d'optimisation RAG : équilibrer le chunking, les dimensions d'intégration et le budget contextuel →

Confidentialité : traitée localement, jamais téléchargée.

↓ Collez dans la zone d'entrée ci-dessous pour voir les résultats instantanément

按 system / tools / history / user 四段估算 Token 占用与剩余窗口。

System
Tools
History
User

System

7

Tools

0

History

0

User

5

合计 Token

12

剩余

127988

占用率

0.0%

Notes

与上下文检查的区别

本工具按对话槽位拆分预算; 上下文检查器对整段文本按模型窗口对比。均为启发式估算。

Estimez les jetons pour le système, les outils, l'historique et les emplacements utilisateur par rapport à une limite de contexte du modèle. Utile lors de la conception de la mise en page de chat d'agent.

Démarrage rapide

  1. Sélectionner le modèle

    La limite de contexte provient de la liste des modèles.

  2. Remplissez quatre fentes

    Voir total, restant et pourcentage utilisé.

Significations de la fente

Système est système prompt; Outils est fonction defs; L'histoire est des messages antérieurs; L'utilisateur est le tour actuel.

Flow de travail typique

Lors de la conception d'un agent de dialogue AI, sélectionnez d'abord le modèle cible (par exemple GPT-4) dans l'outil. La limite de fenêtre contextuelle sera affichée automatiquement. Ensuite, entrez le contenu dans les quatre emplacements (système, outils, historique, utilisateur) respectivement pour voir l'utilisation en temps réel des jetons pour chaque section. Ajustez la longueur de l'invite pour rester en dessous de la limite tout en réservant de l'espace pour les dialogues suivants.

Par exemple, lors de la création d'un bot de service à la clientèle, vous pouvez allouer 50 jetons pour la définition de rôle dans la fente système, 200 jetons pour les descriptions d'API dans la fente outils, 300 jetons pour l'historique de conversation et réserver 500 jetons pour l'entrée de l'utilisateur. Les barres de progression codées en couleurs affichent visuellement les proportions, déclenchant des alertes lorsque la limite s'approche - indiquant quand simplifier les descriptions des outils ou raccourcir l'historique.

Exemples

Exemple

Input

gpt-4o-mini + 4 slots

Output

Per-slot tokens + remaining

FAQ

C'est la même chose que la vérification de contexte ?

Checker utilise le texte entier ; cela se divise par fente pour la planification multi-tour.

Pourquoi réserver des jetons spécifiquement pour la fente utilisateur?

La longueur de l'entrée de l'utilisateur est imprévisible. La réservation empêche les débordements - par exemple, avec la limite de 32 768 de GPT-4-32k, si d'autres sections utilisent 32 000 jetons, seuls 768 jetons restent pour les utilisateurs. Nous recommandons de réserver 15 à 20 % pour l’entrée de l’utilisateur + la réponse de l’IA, plus pour les scénarios complexes.