Быстрый старт
-
установка параметров
Размер блока совпадает с размером перекрывающегося документа.
-
Читать показатели
Уделение внимания средней длине блока и коэффициенту перекрывающихся отходов.
RAG Чанк Анализатор
Введите параметры документа и блока для просмотра количества блоков, распределения символов и перекрывающихся отходов. При настройке размера индекса RAG не нужно слепо угадывать размер chunk size.
Конфиденциальность: обрабатывается локально, никогда не загружается.
↓ Вставьте в область ввода ниже, чтобы мгновенно увидеть результаты
分析文档分块统计：块数、平均/最小/最大字符、重叠浪费率。配合文档分块工具调参。
块大小
重叠
文档内容
块数
1
平均字符
138
最小
138
最大
138
重叠浪费
0%
空块
0
Примечания
如何解读
重叠浪费率 = 因重叠导致的冗余字符占比。块数过多或平均过小可能不利于检索质量。
Введите параметры документа и блока для просмотра количества блоков, распределения символов и перекрывающихся отходов. При настройке размера индекса RAG не нужно слепо угадывать размер chunk size.
Совместимость с модульными инструментами
Этот инструмент выдает только статистику; Инструмент для разделения документов на блоки отображает каждый текст. Сначала проанализируем, а потом разрежем.
Особенности и случаи использования
Оцените разделение длинных документов по символам или токенам, просмотрите размер блока RAG и эффект перекрытия, чтобы помочь настроить политику chunk.
Прежде чем создавать базу знаний, оцените разделение параграфов, сравните влияние различных chunk size на отзывы и напишите конфигурацию LangChain / LlamaIndex.
Типичный рабочий процесс
При использовании анализатора блоков RAG сначала вставьте текст документа или загрузите файл, а затем установите размер блока и количество перекрытий. Инструмент мгновенно вычисляет количество разделов и показывает распределение символов гистограммой. Регулируя ползунок, вы можете наблюдать за отходами перекрывающихся символов в разных параметрах, помогая найти оптимальное решение для разделения, которое сбалансирует точность поиска и эффективность хранения.
В практическом применении рекомендуется сначала протестировать техническую документацию небольшими блоками 200 - 500 символов и обрабатывать длинные статьи большими блоками 800 - 1500 символов. Наблюдение за уровнем перекрывающихся отходов, превышающим 15 процентов, позволяет соответствующим образом сократить объем перекрывающихся отходов. После экспорта результатов анализа параметры могут быть синхронизированы с процессом индексации векторной базы данных, чтобы избежать повторения ошибок.
Примеры
Пример
Input
500 chars, 50 overlap
Output
6 stat metrics
FAQ
Как насчёт нормы расточительства?
(Общий символ блока - длина оригинала) / Общий символ блока; Отражает избыточность, обусловленную дублированием.
Почему мой уровень перекрывающихся отходов резко вырос?
Когда размер блока в несколько раз больше, чем количество перекрывающихся (например, 1000 символов блока + 500 символов перекрытия), большое количество текста будет повторно вычислено. Избежать этого можно путем выбора простого числа в качестве базовой единицы (например, 997 символов) или тонкой настройки перекрытия от 10% до 20% от размера блока.