Démarrage rapide
-
Définir les paramètres
Taille du morceau ≥100 chars; Le chevauchement doit être inférieur à la taille du morceau.
-
Coller le document
Aperçu en direct de chaque morceau de longueur et de texte.
Définissez la taille du morceau et le chevauchement pour diviser le long Markdown ou le texte simple. Aperçu du fragmentation RAG avant l'intégration et l'ajustement de récupération.
Read the full guide: LLM Invites et contexte : Budgets et modèles de jetons →
Confidentialité : traitée localement, jamais téléchargée.
↓ Collez dans la zone d'entrée ci-dessous pour voir les résultats instantanément
按字符数切分长文档,支持重叠窗口。适合 RAG 索引与上下文裁剪预览。
共 1 个块
块 #1 (94 字符)
# Doc Paragraph one with enough text for RAG chunking. Paragraph two continues the document.
块大小最小 100; 重叠须小于块大小。生产环境请结合语义边界与 Embedding 模型限制调整。
Définissez la taille du morceau et le chevauchement pour diviser le long Markdown ou le texte simple. Aperçu du fragmentation RAG avant l'intégration et l'ajustement de récupération.
Définir les paramètres
Taille du morceau ≥100 chars; Le chevauchement doit être inférieur à la taille du morceau.
Coller le document
Aperçu en direct de chaque morceau de longueur et de texte.
Les séparations de caractères sont un début; ajouter des limites sémantiques (titres, paragraphes) dans la production.
Split Markdown par titres ou taille maximale tout en préservant la structure pour l'intégration ou la traduction par lots.
Utilisation pour les unités de documentation technique RAG, de long morceau README et de pipeline de localisation.
Après avoir collé de longs documents dans la boîte d'entrée, définissez une taille de morceau de 500 à 1000 caractères (idéal pour la plupart des systèmes RAG). Cliquez sur « Split » pour prévisualiser instantanément les morceaux, avec un chevauchement de 10 à 20% recommandé pour la continuité du contexte. Les résultats permettent de copier des morceaux individuels ou d'exporter tous, prêts pour l'intégration d'API ou de bases de données vectorielles.
Pour la documentation du code, conservez les marques de syntaxe Markdown (comme les symboles de bloc de code). Vérifiez qu'il n'y a pas de troncament accidentel du code, réglable via la taille du morceau ou les séparateurs manuels. Les documents de code peuvent nécessiter des morceaux plus petits (par exemple, 300 caractères) que le texte simple pour l'intégrité logique.
Input
200 chars, 40 overlap
Output
Multiple indexed chunks
basé sur le caractère; utiliser l'estimateur de jetons pour les budgets de jetons.
Cela équilibre des limites strictes de caractère. Pour des phrases complètes, augmentez la taille du morceau ou activez « Prioriser les paragraphes » (dépasse légèrement les limites). Les documents techniques peuvent tolérer des tronçons mineurs car la récupération RAG récupère souvent le contexte via des morceaux se chevauchant.