Démarrage rapide
-
Définir les paramètres
Même taille de morceau et chevauchement que le diviseur de morceau.
-
Lire les métriques
Regardez la longueur moyenne du morceau et les déchets de chevauchement.
Analysateur de morceau RAG
Entrez un document et des paramètres de morceau pour voir le compte, la distribution de char et les déchets de chevauchement. Réglage l'indexation RAG sans deviner la taille du morceau.
Confidentialité : traitée localement, jamais téléchargée.
↓ Collez dans la zone d'entrée ci-dessous pour voir les résultats instantanément
分析文档分块统计：块数、平均/最小/最大字符、重叠浪费率。配合文档分块工具调参。
块大小
重叠
文档内容
块数
1
平均字符
138
最小
138
最大
138
重叠浪费
0%
空块
0
Notes
如何解读
重叠浪费率 = 因重叠导致的冗余字符占比。块数过多或平均过小可能不利于检索质量。
Entrez un document et des paramètres de morceau pour voir le compte, la distribution de char et les déchets de chevauchement. Réglage l'indexation RAG sans deviner la taille du morceau.
Avec diviseur de morceau
Cela ne produit que des statistiques ; le diviseur de morceau affiche le texte de morceau. Analyser d'abord, puis diviser.
Caractéristiques et cas d'utilisation
Prévisionnez les tailles des morceaux RAG et les chevauchements par caractères ou jetons estimés pour ajuster la stratégie de récupération.
Utilisez avant de construire des KB pour comparer l'impact de chunk_size sur le rappel et l'ajustement des configurations de pipeline vectoriel.
Flow de travail typique
Lorsque vous utilisez RAG Chunk Analyzer, collez d'abord le texte de votre document ou téléchargez un fichier, puis définissez la taille du morceau et le chevauchement. L'outil calcule instantanément le nombre de morceaux et affiche la distribution des caractères via l'histogramme. En réglant les curseurs, vous pouvez observer des caractères de chevauchement gaspillés sous différents paramètres pour trouver la stratégie de fragmentation optimale équilibrant la précision de récupération et l'efficacité du stockage.
En pratique, commencez par de petits morceaux (200-500 caractères) pour les documents techniques et de grands morceaux (800-1500 caractères) pour les articles. Réduire les chevauchements lorsque le taux de déchets dépasse 15 %. Après avoir exporté les résultats, appliquez ces paramètres à votre pipeline d'indexation de base de données vectorielle pour éviter les essais et erreurs répétés.
Exemples
Exemple
Input
500 chars, 50 overlap
Output
6 stat metrics
FAQ
Comment sont calculés les déchets ?
(chars de morceau total − longueur brute) / chars de morceau total; reflète la redondance de chevauchement.
Pourquoi mon taux de déchets de chevauchement augmente-t-il soudainement?
Lorsque la taille du morceau et le chevauchement sont des multiples entiers (par exemple, 1000 caractères + 500 chevauchements), le texte est calculé en redondance. Évitez cela en utilisant des nombres premiers (par exemple 997 caractères) ou en réglant le chevauchement à 10 %-20 % de la taille du morceau.