Schnellstart
-
Parameter festlegen
Gleiche Stückgröße und Überlappung wie der Stückteiler.
-
Metriken lesen
Beobachten Sie durchschnittliche Stücklänge und Überlappungsabfall.
RAG-Stückanalyser
Geben Sie ein Dokument ein und teilen Sie Parameter ein, um Anzahl, Char-Verteilung und überlappende Abfälle zu sehen. Tune die RAG-Indexierung, ohne die Stückgröße zu erraten.
Datenschutz: lokal verarbeitet, nie hochgeladen.
↓ Fügen Sie in den Eingabebereich unten, um sofort Ergebnisse zu sehen
分析文档分块统计：块数、平均/最小/最大字符、重叠浪费率。配合文档分块工具调参。
块大小
重叠
文档内容
块数
1
平均字符
138
最小
138
最大
138
重叠浪费
0%
空块
0
Hinweise
如何解读
重叠浪费率 = 因重叠导致的冗余字符占比。块数过多或平均过小可能不利于检索质量。
Geben Sie ein Dokument ein und teilen Sie Parameter ein, um Anzahl, Char-Verteilung und überlappende Abfälle zu sehen. Tune die RAG-Indexierung, ohne die Stückgröße zu erraten.
Mit Stückteiler
Dies liefert nur Statistiken; Der Stücksplitter zeigt Stücktext an. Zuerst analysieren, dann aufteilen.
Eigenschaften und Anwendungsfälle
Vorschau RAG-Stückgrößen und Überlappungen nach Zeichen oder geschätzten Tokens, um die Abrufstrategie einzustellen.
Verwenden Sie vor dem Erstellen von KBs, um die Auswirkungen von chunk_size auf die Recall- und Tuning-Vektorpipeline-Konfigurationen zu vergleichen.
Typischer Workflow
Wenn Sie den RAG Chunk Analyzer verwenden, fügen Sie zuerst den Text Ihres Dokuments ein oder laden Sie eine Datei hoch, stellen Sie dann die Stückgröße und die Überlappung fest. Das Werkzeug berechnet sofort die Anzahl der Stücke und zeigt die Zeichenverteilung über ein Histogramm an. Durch die Einstellung der Schieberegler können Sie verschwendete Überlappungszeichen unter verschiedenen Parametern beobachten, um die optimale Schnittstrategie zu finden, die Abfragegenauigkeit und Speichereffizienz ausgleichen.
In der Praxis beginnen Sie mit kleinen Stücken (200-500 Zeichen) für technische Dokumente und größeren Stücken (800-1500 Zeichen) für Artikel. Reduzieren Sie die Überlappung, wenn die Abfallrate 15% übersteigt. Wenden Sie nach dem Exportieren der Ergebnisse diese Parameter auf Ihre Vektordatenbank-Indexierungs-Pipeline an, um wiederholte Versuche und Fehler zu vermeiden.
Beispiele
Beispiel
Input
500 chars, 50 overlap
Output
6 stat metrics
FAQ
Wie wird der Abfall berechnet?
(Gesamt Stück Chars − Rohlänge) / Gesamt Stück Chars; reflektiert die Überlappungsredundanz.
Warum steigt meine Überlappungsrate plötzlich?
Wenn Stückgröße und Überlappung Ganzzahlen sind (z.B. 1000 Zeichen + 500 Überlappung), wird Text redundant berechnet. Verhindern Sie dies, indem Sie Primzahlen verwenden (z. B. 997 Zeichen) oder eine Überlappung auf 10%-20% der Stückgröße feineinstimmen.