· 全部指南
Token 与上下文窗口
大语言模型按 token 计费、截断,并可能因超长而拒绝请求——而非按字符数。标称「128k 上下文」的模型仍有实际限制:输出预留、system prompt 开销与厂商安全缓冲会压缩可用空间。低估 token 会导致请求中途被截断,模型根本看不到你的最终指令。
token-counter 可估算常见模型下 prompt 的 token 消耗。context-window-checker 将估算与公开上下文上限对比,判断是否需要裁剪历史或选用更大档位。英文多用 BPE 分词,token 边界常与单词不对齐。中文及中日韩混排常约每字 1–2 token——切勿用 len(text) 代替 token 数。
典型场景:把 40 页 PDF 贴进客服机器人。token-counter 报 18 万 token;context-window-checker 对 128k 模型报溢出。流程:用 rag-chunk-analyzer 切分文档 → 只检索相关段落 → 重新计数 → 再发送。常见错误:因「模型很大」而塞满整库 wiki;忽略 GPT 与 Claude 系列 tokenizer 差异;忘记 tool 定义与 JSON schema 也占 token。
Prompt 结构
结构清晰的 prompt 分离关注点。system 消息设定角色、语气、安全规则与输出约束;user 消息给出具体任务与示例;历史 assistant 轮次承载对话——无状态集成里每轮请求都会重发全部历史。
prompt-template 保存可复用模式——客服分诊、SQL 生成、发布说明起草——带占位变量。system-prompt-builder 组装策略型 system 段:PII 处理、拒绝条件、引用要求。明确输出格式:「返回符合下列 schema 的合法 JSON」并标明字段类型,比笼统「用 JSON 回答」更能降低解析失败率。
迭代流程:起草 system + user → token-counter → 在五个代表输入上测试 → 统计解析成功率 → 在模型漂移处收紧指令 → 将优胜 prompt 记入 prompt-template 供团队复用。实例:增加「勿编造产品 SKU;缺失填 UNKNOWN」后,内部测试中 ERP 查询幻觉库存 ID 减少约九成。
成本与质量
更长 prompt 更贵,也可能降低回答质量——「lost in the middle」现象使模型忽略埋在上下文中段的事实。llm-pricing-calculator 按百万 input/output token 估算费用,便于在便宜模型做分类与贵模型做最终综合之间取舍。
context-budget-planner 划分检索片段、指令与预留输出 token。RAG 流水线应用 rag-chunk-analyzer 校验 chunk 大小:过小丢语义,过大浪费预算并稀释相关性。精选十条高信号段落优于倾倒一百页平庸全文。
质量清单:事实类须引用来源;抽取任务用低 temperature;头脑风暴仅在高 temperature 且有人审时使用;结构化输出写入数据库前用 structured-output-validator 校验。商用 API 会把 prompt 内容上传给提供商——即使用 Towalles 本地计数,点击 OpenAI/Anthropic「发送」仍会外传,须脱敏客户姓名、账号与未公开财务。
隐私
除非企业协议明确退出,prompt 可能成为与训练相关的遥测。应把每次 API 调用视为潜在数据披露。Towalles 的 token-counter 与 context-window-checker 在浏览器运行,草稿 sizing 不会为计算而上传——但在云端模型线程点「发送」仍会。
高敏感流程用本地模型(Ollama、私有化推理)。外部调用前用 pii-scanner 扫 prompt。团队规范:共享 prompt-template 库只用合成 fixture;聊天中禁止贴生产库 dump;若有人把凭据轮换文件贴进云模型对话,须立即事故复盘。本地优先工具降低意外暴露,不能替代数据分级与访问控制。