クイックスタート
-
モデルの選択
コンテキスト制限はモデルリストからです。
-
4つの空席を埋める
合計、残り、使用パーセントを参照してください。
モデルコンテキストに基づいて、システム、ツール、履歴、ユーザースロットを推定するトークンを制限します。エージェントのチャットレイアウトを設計するときに便利です。
Read the full guide: RAG 最適化ガイド : チャンキング、埋め込み次元、コンテキスト予算のバランス →
プライバシー:アップロードしないローカルで処理します。
↓ 下の入力領域に貼り付けて、結果をすぐに表示します。★QADB 610☆QADB 610☆QADB 610☆QADB 610☆QADB 610☆QADB 610☆QADB 610☆QADB 610☆QADB
按 system / tools / history / user 四段估算 Token 占用与剩余窗口。
System
7
Tools
0
History
0
User
5
合计 Token
12
剩余
127988
占用率
0.0%
本工具按对话槽位拆分预算; 上下文检查器对整段文本按模型窗口对比。均为启发式估算。
モデルコンテキストに基づいて、システム、ツール、履歴、ユーザースロットを推定するトークンを制限します。エージェントのチャットレイアウトを設計するときに便利です。
モデルの選択
コンテキスト制限はモデルリストからです。
4つの空席を埋める
合計、残り、使用パーセントを参照してください。
システムのヒントツールは機能定義です。歴史は以前の情報であり、ユーザーは現在のラウンドです。
AI対話エージェントを設計する際には、まずツール内でターゲットモデル(例えばGPT−4)を選択する。コンテキストウィンドウの制限が自動的に表示されます。次に、各セクションのリアルタイムトークンの使用状況を表示するために、4つのスロット(システム、ツール、履歴、ユーザー)にコンテンツを入力します。次のセッションのためのスペースを保持しながら、プロンプトの長さを制限の範囲内に維持するように調整します。
例えば、カスタマサービスロボットプログラムを構築する場合、システムスロットに50個のトークンをロール定義に割り当て、ツールスロットに200個のトークンをAPI記述に割り当て、300個のトークンをセッション履歴に割り当て、500個のトークンをユーザー入力に残しておくことができます。カラーエンコードされたプログレスバーにはスケールが直感的に表示され、限界に近づくとツールの説明を簡略化したり履歴を短縮したりするタイミングを示すアラームがトリガーされます。
Input
gpt-4o-mini + 4 slots
Output
Per-slot tokens + remaining
チェッカーは全文を使用します。これはスロットごとに分割され、多回転計画に使用されます。
ユーザー入力長は予測できません。予約はオーバーフローを防ぐことができます。例えば、GPT-4-32 kの32768制限の下で、他の部分が32000個のトークンを使用している場合、ユーザーは768個のトークンしか残っていません。ユーザー入力+人工知能応答の15~20%を保持し、複雑なシーンの場合はそれ以上を保持することをお勧めします。