RAG 分块分析

输入文档与分块参数,查看块数、字符分布与重叠浪费率。调 RAG 索引粒度时不用盲猜 chunk size。

阅读完整指南: RAG 分块优化指南:如何平衡嵌入维度与上下文预算 →

隐私提示:本地解析,不上传服务器。

↓ 在下方输入区粘贴内容,结果会立即显示

分析文档分块统计:块数、平均/最小/最大字符、重叠浪费率。配合文档分块工具调参。

块大小
重叠

文档内容

块数

1

平均字符

138

最小

138

最大

138

重叠浪费

0%

空块

0

注释说明

如何解读

重叠浪费率 = 因重叠导致的冗余字符占比。块数过多或平均过小可能不利于检索质量。

输入文档与分块参数,查看块数、字符分布与重叠浪费率。调 RAG 索引粒度时不用盲猜 chunk size。

快速开始

  1. 设置参数

    块大小与重叠与文档分块工具一致。

  2. 阅读指标

    关注平均块长与重叠浪费率。

与分块工具配合

本工具只出统计; 文档分块工具展示每块正文。先分析再切分。

功能与使用场景

按字符或 Token 估算拆分长文档,预览 RAG 分块大小与重叠效果,辅助调整 chunk 策略。

搭建知识库前评估段落切分、对比不同 chunk_size 对召回的影响、写 LangChain/LlamaIndex 配置时使用。

典型工作流

使用 RAG 分块分析器时,先粘贴文档文本或上传文件,然后设置分块大小和重叠量。工具会即时计算分块数量,并用直方图展示字符分布。通过调整滑块,可以观察不同参数下重叠字符的浪费情况,帮助找到平衡检索精度和存储效率的最佳分块方案。

实际应用中,建议先用 200-500 字符的小块测试技术文档,用 800-1500 字符的大块处理长文章。观察重叠浪费率超过 15% 时,适当减小重叠量。导出分析结果后,可将参数同步到你的向量数据库索引流程中,避免重复试错。

示例

示例

Input

500 chars, 50 overlap

Output

6 stat metrics

FAQ

浪费率怎么算?

(总块字符 − 原文长度) / 总块字符; 反映重叠带来的冗余。

为什么我的重叠浪费率突然飙升?

当分块大小与重叠量成整数倍关系时(如分块 1000 字符+重叠 500 字符),大量文本会被重复计算。避免这种情况的方法是选择质数作为基础单位(如 997 字符),或微调重叠量至分块大小的 10%-20% 之间。