Inicio rápido
-
Establecer parámetros
El mismo tamaño y superposición del trozo que el divisor de trozos.
-
Leer métricas
Ver longitud promedio de trozo y residuos de superposición.
Analizador de trozos RAG
Introduzca un documento y los parámetros de trozos para ver el recuento, la distribución de char y los residuos superpuestos. Sintonice la indexación RAG sin adivinar el tamaño del trozo.
Privacidad: procesado localmente, nunca cargado.
↓ Pega en el área de entrada de abajo para ver los resultados al instante
分析文档分块统计：块数、平均/最小/最大字符、重叠浪费率。配合文档分块工具调参。
块大小
重叠
文档内容
块数
1
平均字符
138
最小
138
最大
138
重叠浪费
0%
空块
0
Notas
如何解读
重叠浪费率 = 因重叠导致的冗余字符占比。块数过多或平均过小可能不利于检索质量。
Introduzca un documento y los parámetros de trozos para ver el recuento, la distribución de char y los residuos superpuestos. Sintonice la indexación RAG sin adivinar el tamaño del trozo.
Con divisor de trozos
Esto solo produce estadísticas; el divisor de trozos muestra el texto de trozos. Analiza primero, luego divide.
Características y casos de uso
Vista previa de tamaños de trozos RAG y superposiciones por caracteres o tokens estimados para ajustar la estrategia de recuperación.
Utilice antes de construir KBs para comparar el impacto de chunk_size en las configuraciones de pipeline vectorial de recuperación y sintonización.
Flujo de trabajo típico
Al usar el Analizador de trozos RAG, primero pegue el texto del documento o suba un archivo, y luego establezca el tamaño del trozo y la superposición. La herramienta calcula al instante el número de trozos y muestra la distribución de caracteres a través del histograma. Al ajustar los cursores, puede observar caracteres de superposición desperdiciados bajo diferentes parámetros para encontrar la estrategia óptima de troqueo que equilibra la precisión de recuperación y la eficiencia de almacenamiento.
En la práctica, comienza con trozos pequeños (200-500 caracteres) para documentos técnicos y trozos más grandes (800-1500 caracteres) para artículos. Reducir la superposición cuando la tasa de residuos supera el 15%. Después de exportar los resultados, aplique estos parámetros a la tubería de indexación de la base de datos vectorial para evitar pruebas y errores repetidos.
Ejemplos
Ejemplo
Input
500 chars, 50 overlap
Output
6 stat metrics
FAQ
¿Cómo se calculan los residuos?
(chars de trozo total - longitud en bruto) / chars de trozo total; refleja la redundancia de superposición.
¿Por qué mi tasa de residuos superpuestos aumenta repentinamente?
Cuando el tamaño del trozo y la superposición son múltiplos enteros (por ejemplo, 1000 caracteres + 500 superposiciones), el texto se calcula de forma redundante. Evite esto mediante el uso de números primos (por ejemplo, 997 caracteres) o la superposición de ajuste fino al 10%-20% del tamaño del trozo.