上下文預算規劃

將system、tools、history、user四段分別估算Token,對照所選模型上下文上限。 設計Agent對話結構時更直觀。

阅读完整指南: rag 分塊優化指南:如何平衡嵌入維度與上下文預算 →

隱私提示:本地解析,不上傳伺服器。

↓ 在下方輸入區貼上內容,結果會立即顯示

按 system / tools / history / user 四段估算 Token 占用与剩余窗口。

System
Tools
History
User

System

7

Tools

0

History

0

User

5

合计 Token

12

剩余

127988

占用率

0.0%

註釋說明

与上下文检查的区别

本工具按对话槽位拆分预算; 上下文检查器对整段文本按模型窗口对比。均为启发式估算。

將system、tools、history、user四段分別估算Token,對照所選模型上下文上限。 設計Agent對話結構時更直觀。

快速開始

  1. 選模型

    上下文上限來自模型清單。

  2. 填四段文字

    查看合計、剩餘與佔用率。

槽比特含義

System為系統提示; Tools為function定義; History為過往消息; User為當前用戶輸入。

典型工作流

當設計AI對話代理時,首先在工具中選擇目標模型(如GPT-4)。 系統會自動顯示該模型的上下文視窗上限。 接著分別在system、tools、history和user四個槽比特輸入內容,實时查看各部分的token佔用比例。 通過調整提示詞長度,確保總token不超過限制,同時為後續對話預留空間。

例如開發客服機器人時,在system槽比特寫入角色定義(50 token),tools槽比特添加API描述(200 token),測試對話歷史佔用300 token,最後為用戶輸入預留500 token。 工具會以彩色進度條直觀展示占比,當總token接近上限時會觸發警告,這時就需要精簡tools描述或縮短歷史記錄。

示例

示例

Input

gpt-4o-mini + 4 slots

Output

Per-slot tokens + remaining

FAQ

和上下文檢查器一樣嗎?

檢查器對整段文字; 本工具按槽比特折開,適合規劃多輪對話結構。

為什麼user槽比特需要單獨預留token?

用戶輸入長度不可控,提前預留可避免超限。 例如GPT-4-32k模型總上限32768 token,若其他部分佔用32000 token,用戶就只能發送768 token的內容。 建議至少預留15-20%空間給用戶輸入和AI回復,複雜場景需留更多。