Tokens e Context Windows
LLMs fattura e truncare da token. token-counter stima la dimensione del prompt; context-window - checker confronta i limiti del modello. Il cinese usa spesso ~ 1 - 2 token per carattere; l'inglese usa BPE - non equiparare il conteggio dei char ai token.
Struttura rapida
Il sistema imposta il ruolo e i vincoli; l'utente indica il compito; la cronologia dell 'assistente si estende su turni. prompt-template memorizza modelli riutilizzabili; system-prompt - builder assembla blocchi di sistema con policy pesanti. Specifica il formato di output (schema JSON) per ridurre gli errori di parsing.
Costo e qualità
llm-pricing - calculator stima la spesa; context-budget - planner divide il recupero rispetto alle istruzioni. rag-chunk - analyzer controlla le dimensioni dei blocchi per RAG. Un contesto molto lungo può danneggiare i snippet curati dalla qualità rispetto al dumping di documenti completi.
Privacy
Le richieste possono includere dati dei clienti. Gli asciugamani contano localmente, ma le chiamate API commerciali caricano ancora il contenuto. Usa modelli locali o redatta prima di inviare testo sensibile.