RAG分塊分析

輸入檔案與分塊參數,查看塊數、字元分佈與重疊浪費率。 調RAG索引細微性時不用盲猜chunk size。

阅读完整指南: rag 分塊優化指南:如何平衡嵌入維度與上下文預算 →

隱私提示:本地解析,不上傳伺服器。

↓ 在下方輸入區貼上內容,結果會立即顯示

分析文档分块统计:块数、平均/最小/最大字符、重叠浪费率。配合文档分块工具调参。

块大小
重叠

文档内容

块数

1

平均字符

138

最小

138

最大

138

重叠浪费

0%

空块

0

註釋說明

如何解读

重叠浪费率 = 因重叠导致的冗余字符占比。块数过多或平均过小可能不利于检索质量。

輸入檔案與分塊參數,查看塊數、字元分佈與重疊浪費率。 調RAG索引細微性時不用盲猜chunk size。

快速開始

  1. 設定參數

    塊大小與重疊與檔案分塊工具一致。

  2. 閱讀名額

    關注平均塊長與重疊浪費率。

與分塊工具配合

本工具只出統計; 檔案分塊工具展示每塊正文。 先分析再切分。

功能與使用場景

按字元或Token估算折開長檔案,預覽RAG分塊大小與重疊效果,輔助調整chunk策略。

搭建知識庫前評估段落切分、對比不同chunk_size對召回的影響、寫LangChain/LlamaIndex配寘時使用。

典型工作流

使用RAG分塊分析器時,先粘貼檔案文字或上傳文件,然後設定分塊大小和重疊量。 工具會即時計算分塊數量,並用長條圖展示字元分佈。 通過調整滑塊,可以觀察不同參數下重疊字元的浪費情况,幫助找到平衡檢索精度和存儲效率的最佳分塊方案。

實際應用中,建議先用200-500字元的小塊測試技術文檔,用800-1500字元的大塊處理長文章。 觀察重疊浪費率超過15%時,適當减小重疊量。 匯出分析結果後,可將參數同步到你的向量資料庫索引流程中,避免重複試錯。

示例

示例

Input

500 chars, 50 overlap

Output

6 stat metrics

FAQ

浪費率怎麼算?

(總塊字元−原文長度)/總塊字元; 反映重疊帶來的冗餘。

為什麼我的重疊浪費率突然飆升?

當分塊大小與重疊量成整數倍關係時(如分塊1000字元+重疊500字元),大量文字會被重複計算。 避免這種情況的方法是選擇質數作為基礎組織(如997字元),或微調重疊量至分塊大小的10%-20%之間。