llm prompt 與上下文:token 預算與模板

估算 token、檢查上下文窗口、設計 system/user 模板與 rag chunk 預算,並注意 api 隱私。

· 全部指南

token 與上下文窗口

大模型按 token 計費與截斷上下文。token-counter 估算 prompt 長度;context-window-checker 對比模型上限,避免請求被拒。中文往往每字約 1–2 token,英文按 bpe 切分--勿用字符數粗略等同。

prompt 結構

system 設定角色與約束;user 提任務;assistant 歷史可多輪。prompt-template 保存可復用模板;system-prompt-builder 組裝策略型 system 段。明確輸出格式(json schema)可減少解析失敗。

成本與質量

llm-pricing-calculator 估算費用;context-budget-planner 分配檢索片段與指令比例。rag 時 rag-chunk-analyzer 檢查 chunk 大小是否合適。過長 context 反而降質量--精選片段優於全文粘貼。

隱私

prompt 可能含客戶數據;towalles 計數在本地,但調用商用 api 仍會上傳內容。敏感場景用本地模型或脫敏後再請求。

相關工具