Быстрый старт
-
установка параметров
Размер блока ≥ 100 символов; Перекрытие должно быть меньше размера блока.
-
Вставить файл
Предварительный просмотр количества символов и содержимого каждого блока в режиме реального времени.
Установите размер блока с перекрытием, разрезая длинный Markdown или чистый текст на несколько частей. Предварительный просмотр зернистости индекса RAG в сочетании с Embedding и отладкой поиска.
Read the full guide: LLM запросы и контекст: токенные бюджеты и шаблоны →
Конфиденциальность: обрабатывается локально, никогда не загружается.
↓ Вставьте в область ввода ниже, чтобы мгновенно увидеть результаты
按字符数切分长文档,支持重叠窗口。适合 RAG 索引与上下文裁剪预览。
共 1 个块
块 #1 (94 字符)
# Doc Paragraph one with enough text for RAG chunking. Paragraph two continues the document.
块大小最小 100; 重叠须小于块大小。生产环境请结合语义边界与 Embedding 模型限制调整。
Установите размер блока с перекрытием, разрезая длинный Markdown или чистый текст на несколько частей. Предварительный просмотр зернистости индекса RAG в сочетании с Embedding и отладкой поиска.
установка параметров
Размер блока ≥ 100 символов; Перекрытие должно быть меньше размера блока.
Вставить файл
Предварительный просмотр количества символов и содержимого каждого блока в режиме реального времени.
Разделение символов является отправной точкой; Перед выходом на линию рекомендуется оптимизировать семантические границы в сочетании с заголовками, абзацами и другими.
Разделите документ Markdown по заголовку или максимальному количеству символов, сохраните иерархическую структуру и выводите несколько блоков, чтобы облегчить векторное хранилище или поэтапный перевод.
Технические документы RAG, длинные блоки README, многоязычные локализованные конвейерные разрезы используются.
После вставки длинного документа в поле ввода установите размер блока 500 - 1000 символов (подходит для большинства систем RAG). Нажмите кнопку « Блок», чтобы мгновенно создать предварительный просмотр, а перекрытие между блоками рекомендуется установить на 10 - 20% от размера блока, чтобы сохранить контекстную согласованность. Блочные результаты позволяют копировать отдельные блоки или экспортировать все, что можно использовать непосредственно в API Embedding или векторной базе данных.
При работе с документом кода рекомендуется сначала сохранить синтаксические метки Markdown (например, блок кода 'символ'). После дробления проверьте, случайно ли отрезок кода был отрезан, и это можно решить, отрегулировав размер блока или вручную вставив разделитель блока. По сравнению с обычным текстом, документ кода может потребовать меньших блоков (например, 300 символов) для обеспечения логической целостности.
Input
200 chars, 40 overlap
Output
Multiple indexed chunks
Текущие символы; Бюджет Token приведен в соответствие с оценочным устройством Token.
Это компромисс, который строго гарантирует ограничение количества символов. Если требуется полное предложение, можно соответствующим образом увеличить размер блока или отметить опцию « Приоритет по параграфам» (немного превысит ограничение символов). Техническая документация рекомендует терпимо относиться к небольшому количеству отсеков, поскольку поиск RAG обычно восстанавливает контекст через перекрывающиеся блоки.