Markdown Чанк Сплиттер

Установите размер блока с перекрытием, разрезая длинный Markdown или чистый текст на несколько частей. Предварительный просмотр зернистости индекса RAG в сочетании с Embedding и отладкой поиска.

Read the full guide: LLM запросы и контекст: токенные бюджеты и шаблоны →

Конфиденциальность: обрабатывается локально, никогда не загружается.

↓ Вставьте в область ввода ниже, чтобы мгновенно увидеть результаты

按字符数切分长文档,支持重叠窗口。适合 RAG 索引与上下文裁剪预览。

块大小(字符)
重叠(字符)

文档内容

共 1 个块

#1 (94 字符)

# Doc

Paragraph one with enough text for RAG chunking.

Paragraph two continues the document.

Примечания

RAG 提示

块大小最小 100; 重叠须小于块大小。生产环境请结合语义边界与 Embedding 模型限制调整。

Установите размер блока с перекрытием, разрезая длинный Markdown или чистый текст на несколько частей. Предварительный просмотр зернистости индекса RAG в сочетании с Embedding и отладкой поиска.

Быстрый старт

  1. установка параметров

    Размер блока ≥ 100 символов; Перекрытие должно быть меньше размера блока.

  2. Вставить файл

    Предварительный просмотр количества символов и содержимого каждого блока в режиме реального времени.

Производственные рекомендации

Разделение символов является отправной точкой; Перед выходом на линию рекомендуется оптимизировать семантические границы в сочетании с заголовками, абзацами и другими.

Особенности и случаи использования

Разделите документ Markdown по заголовку или максимальному количеству символов, сохраните иерархическую структуру и выводите несколько блоков, чтобы облегчить векторное хранилище или поэтапный перевод.

Технические документы RAG, длинные блоки README, многоязычные локализованные конвейерные разрезы используются.

Типичный рабочий процесс

После вставки длинного документа в поле ввода установите размер блока 500 - 1000 символов (подходит для большинства систем RAG). Нажмите кнопку « Блок», чтобы мгновенно создать предварительный просмотр, а перекрытие между блоками рекомендуется установить на 10 - 20% от размера блока, чтобы сохранить контекстную согласованность. Блочные результаты позволяют копировать отдельные блоки или экспортировать все, что можно использовать непосредственно в API Embedding или векторной базе данных.

При работе с документом кода рекомендуется сначала сохранить синтаксические метки Markdown (например, блок кода 'символ'). После дробления проверьте, случайно ли отрезок кода был отрезан, и это можно решить, отрегулировав размер блока или вручную вставив разделитель блока. По сравнению с обычным текстом, документ кода может потребовать меньших блоков (например, 300 символов) для обеспечения логической целостности.

Примеры

Пример

Input

200 chars, 40 overlap

Output

Multiple indexed chunks

FAQ

Нажмите токен?

Текущие символы; Бюджет Token приведен в соответствие с оценочным устройством Token.

Почему мои фрагментарные результаты содержат неполные предложения?

Это компромисс, который строго гарантирует ограничение количества символов. Если требуется полное предложение, можно соответствующим образом увеличить размер блока или отметить опцию « Приоритет по параграфам» (немного превысит ограничение символов). Техническая документация рекомендует терпимо относиться к небольшому количеству отсеков, поскольку поиск RAG обычно восстанавливает контекст через перекрывающиеся блоки.