快速開始
-
設定參數
塊大小與重疊與檔案分塊工具一致。
-
閱讀名額
關注平均塊長與重疊浪費率。
輸入檔案與分塊參數,查看塊數、字元分佈與重疊浪費率。 調RAG索引細微性時不用盲猜chunk size。
阅读完整指南: rag 分塊優化指南:如何平衡嵌入維度與上下文預算 →
隱私提示:本地解析,不上傳伺服器。
↓ 在下方輸入區貼上內容,結果會立即顯示
分析文档分块统计:块数、平均/最小/最大字符、重叠浪费率。配合文档分块工具调参。
块数
1
平均字符
138
最小
138
最大
138
重叠浪费
0%
空块
0
重叠浪费率 = 因重叠导致的冗余字符占比。块数过多或平均过小可能不利于检索质量。
輸入檔案與分塊參數,查看塊數、字元分佈與重疊浪費率。 調RAG索引細微性時不用盲猜chunk size。
設定參數
塊大小與重疊與檔案分塊工具一致。
閱讀名額
關注平均塊長與重疊浪費率。
本工具只出統計; 檔案分塊工具展示每塊正文。 先分析再切分。
按字元或Token估算折開長檔案,預覽RAG分塊大小與重疊效果,輔助調整chunk策略。
搭建知識庫前評估段落切分、對比不同chunk_size對召回的影響、寫LangChain/LlamaIndex配寘時使用。
使用RAG分塊分析器時,先粘貼檔案文字或上傳文件,然後設定分塊大小和重疊量。 工具會即時計算分塊數量,並用長條圖展示字元分佈。 通過調整滑塊,可以觀察不同參數下重疊字元的浪費情况,幫助找到平衡檢索精度和存儲效率的最佳分塊方案。
實際應用中,建議先用200-500字元的小塊測試技術文檔,用800-1500字元的大塊處理長文章。 觀察重疊浪費率超過15%時,適當减小重疊量。 匯出分析結果後,可將參數同步到你的向量資料庫索引流程中,避免重複試錯。
Input
500 chars, 50 overlap
Output
6 stat metrics
(總塊字元−原文長度)/總塊字元; 反映重疊帶來的冗餘。
當分塊大小與重疊量成整數倍關係時(如分塊1000字元+重疊500字元),大量文字會被重複計算。 避免這種情況的方法是選擇質數作為基礎組織(如997字元),或微調重疊量至分塊大小的10%-20%之間。