Splitter de morceau Markdown

Définissez la taille du morceau et le chevauchement pour diviser le long Markdown ou le texte simple. Aperçu du fragmentation RAG avant l'intégration et l'ajustement de récupération.

Read the full guide: LLM Invites et contexte : Budgets et modèles de jetons →

Confidentialité : traitée localement, jamais téléchargée.

↓ Collez dans la zone d'entrée ci-dessous pour voir les résultats instantanément

按字符数切分长文档,支持重叠窗口。适合 RAG 索引与上下文裁剪预览。

块大小(字符)
重叠(字符)

文档内容

共 1 个块

#1 (94 字符)

# Doc

Paragraph one with enough text for RAG chunking.

Paragraph two continues the document.

Notes

RAG 提示

块大小最小 100; 重叠须小于块大小。生产环境请结合语义边界与 Embedding 模型限制调整。

Définissez la taille du morceau et le chevauchement pour diviser le long Markdown ou le texte simple. Aperçu du fragmentation RAG avant l'intégration et l'ajustement de récupération.

Démarrage rapide

  1. Définir les paramètres

    Taille du morceau ≥100 chars; Le chevauchement doit être inférieur à la taille du morceau.

  2. Coller le document

    Aperçu en direct de chaque morceau de longueur et de texte.

Conseils de production

Les séparations de caractères sont un début; ajouter des limites sémantiques (titres, paragraphes) dans la production.

Caractéristiques et cas d'utilisation

Split Markdown par titres ou taille maximale tout en préservant la structure pour l'intégration ou la traduction par lots.

Utilisation pour les unités de documentation technique RAG, de long morceau README et de pipeline de localisation.

Flow de travail typique

Après avoir collé de longs documents dans la boîte d'entrée, définissez une taille de morceau de 500 à 1000 caractères (idéal pour la plupart des systèmes RAG). Cliquez sur « Split » pour prévisualiser instantanément les morceaux, avec un chevauchement de 10 à 20% recommandé pour la continuité du contexte. Les résultats permettent de copier des morceaux individuels ou d'exporter tous, prêts pour l'intégration d'API ou de bases de données vectorielles.

Pour la documentation du code, conservez les marques de syntaxe Markdown (comme les symboles de bloc de code). Vérifiez qu'il n'y a pas de troncament accidentel du code, réglable via la taille du morceau ou les séparateurs manuels. Les documents de code peuvent nécessiter des morceaux plus petits (par exemple, 300 caractères) que le texte simple pour l'intégrité logique.

Exemples

Exemple

Input

200 chars, 40 overlap

Output

Multiple indexed chunks

FAQ

Divisé par des jetons ?

basé sur le caractère; utiliser l'estimateur de jetons pour les budgets de jetons.

Pourquoi mes morceaux contiennent-ils des phrases tronquées ?

Cela équilibre des limites strictes de caractère. Pour des phrases complètes, augmentez la taille du morceau ou activez « Prioriser les paragraphes » (dépasse légèrement les limites). Les documents techniques peuvent tolérer des tronçons mineurs car la récupération RAG récupère souvent le contexte via des morceaux se chevauchant.