Контекстный бюджетный планировщик

Оценка токенов для системы, инструментов, истории и пользовательских слотов против ограничения контекста модели. Полезно при разработке макета чата агента.

Read the full guide: Руководство по оптимизации RAG: балансирование блоков, встраивание измерений и контекстный бюджет →

Конфиденциальность: обрабатывается локально, никогда не загружается.

↓ Вставьте в область ввода ниже, чтобы мгновенно увидеть результаты

按 system / tools / history / user 四段估算 Token 占用与剩余窗口。

System
Tools
History
User

System

7

Tools

0

History

0

User

5

合计 Token

12

剩余

127988

占用率

0.0%

Примечания

与上下文检查的区别

本工具按对话槽位拆分预算; 上下文检查器对整段文本按模型窗口对比。均为启发式估算。

Оценка токенов для системы, инструментов, истории и пользовательских слотов против ограничения контекста модели. Полезно при разработке макета чата агента.

Быстрый старт

  1. Выбор модели

    Контекстная граница исходит из списка моделей.

  2. Заполните четыре слота

    Смотрите общий, оставшийся и процент использованных.

Значение слота

Система - это системный запрос; Инструменты функции defs; История – это предыдущие сообщения; Пользователь – текущая очередь.

Типичный рабочий процесс

При разработке диалогового агента ИИ сначала выберите целевую модель (например, GPT-4) в инструменте. Ограничение контекстного окна будет отображаться автоматически. Затем введите контент в четыре слота (система, инструменты, история, пользователь) соответственно, чтобы увидеть использование токенов в реальном времени для каждого раздела. Настройте длину запроса, чтобы оставаться ниже предела, сохраняя место для последующих диалогов.

Например, при создании бота обслуживания клиентов вы можете выделить 50 токенов для определения ролей в системном слоте, 200 токенов для описаний API в слоте инструментов, 300 токенов для истории разговоров и зарезервировать 500 токенов для ввода пользователем. Цветно-кодированные строки прогресса визуально показывают пропорции, вызывая предупреждения при приближении к пределу - указывая, когда упростить описание инструмента или сократить историю.

Примеры

Пример

Input

gpt-4o-mini + 4 slots

Output

Per-slot tokens + remaining

FAQ

Как проверка контекста?

Checker использует весь текст; это разделяется на слот для многооборотного планирования.

Почему резервировать токены специально для пользовательского слота?

Длина входа пользователя непредсказуема. Резервирование предотвращает переполнения - например, с лимитом GPT-4-32k на 32 768, если другие разделы используют 32 000 токенов, для пользователей остается только 768 токенов. Рекомендуем зарезервировать 15-20% для пользовательского ввода + ответа на ИИ, больше для сложных сценариев.