컨텍스트 예산 계획기

시스템, 도구, 역사 및 사용자 슬롯에 대한 토큰을 모델 컨텍스트 제한에 대해 추정합니다.에이전트 채팅 레이아웃을 설계할 때 유용합니다.

Read the full guide: RAG Optimization Guide: Chunking, Embedding Dimensions 및 Context Budget 의 균형 잡힌 방법 →

개인 정보 보호: 로컬로 처리되고, 결코 업로드하지 않습니다.

↓ 아래의 입력 영역에 결결과를 즉시 볼 수 있습니다.

按 system / tools / history / user 四段估算 Token 占用与剩余窗口。

System
Tools
History
User

System

7

Tools

0

History

0

User

5

合计 Token

12

剩余

127988

占用率

0.0%

메모

与上下文检查的区别

本工具按对话槽位拆分预算; 上下文检查器对整段文本按模型窗口对比。均为启发式估算。

시스템, 도구, 역사 및 사용자 슬롯에 대한 토큰을 모델 컨텍스트 제한에 대해 추정합니다.에이전트 채팅 레이아웃을 설계할 때 유용합니다.

빠른 시작

  1. 모델 선택

    컨텍스트 제한은 모델 목록에서 나온다.

  2. 4 개의 슬롯을 채우십시오.

    총, 나머지 및 사용된 퍼센트를 참조하십시오.

슬롯 의미

시스템은 시스템 프롬프트입니다.도구는 기능 defs입니다;역사는 이전 메시지입니다.사용자는 현재의 순위입니다.

일반적인 워크플로우

AI 대화 에이전트를 설계할 때 먼저 도구에서 대상 모델 (예: GPT-4)을 선택합니다.컨텍스트 창 제한이 자동으로 표시됩니다.그런 다음 콘텐츠를 각각 네 개의 슬롯 (시스템, 도구, 기록, 사용자) 에 입력하여 각 섹션의 실시간 토큰 사용을 볼 수 있습니다.후속 대화 대화에 대한 공간을 예약하면서 제한 아래에 머물도록 프롬프트 길이를 조정합니다.

예를 들어 고객 서비스 예예를 구축할 때 시스템 슬롯에서 역할 정의를 위해 50개의 토큰, 도구 슬롯에서 API 설명을 위해 200개의 토큰, 대화 기록을 위해 300개의 토큰, 사용자 입력을 위해 500개의 토큰을 예약할 수 있습니다.색상 코드 된 진행 표시줄은 비율을 시각적으로 표시하고, 제한에 가까이 가면 경고를 트리거합니다. 도구 설명을 단순화하거나 기록을 단축할 때를 나타냅니다.

예제

예제

Input

gpt-4o-mini + 4 slots

Output

Per-slot tokens + remaining

FAQ

컨텍스트 체커와 마찬가지인가?

체커는 전체 텍스트를 사용합니다.이것은 다중 회전 계획을 위한 슬롯에 따라 분할됩니다.

왜 사용자 슬롯에 특별히 토큰을 예약합니까?

사용자 입력 길이는 예측할 수 없습니다.예약은 오버플로우를 방지합니다 - 예를 들어 GPT-4-32k의 32,768 제한으로 다른 섹션이 32,000 토큰을 사용하는 경우 사용자에게 768 토큰만 남습니다.사용자 입력 + AI 응답에 대해 15-20%를 예약하고 복잡한 시나리오에 대해 더 많은 것을 권장합니다.