RAGブロックアナライザ

これは統計データのみを出力します。ブロック分割器はブロックテキストを表示します。分析してから分割します。

RAGブロックのサイズとオーバーラップを文字または推定マーカーでプレビューして、取得ポリシーを変更します。

Knowledge Baseを構築する前に使用して、chunk _ sizeがリコール率に与える影響を比較し、ベクトルパイピング構成を調整します。

RAGブロックアナライザを使用する場合は、まずドキュメントテキストを貼り付けるかファイルをアップロードし、次にブロックサイズとオーバーラップを設定します。ツールはブロックの数をすぐに計算し、文字分布をヒストグラムで表示します。スライダを調整することで、異なるパラメータの下で浪費された重複文字を観察して、検索精度とストレージ効率をバランスさせる最適なブロック化戦略を見つけることができます。

実際には、テクニカルドキュメントのブロック（200～500文字）から始まり、記事のブロック（800～1500文字）。浪費率が15%を超えると、オーバーラップが減少する。結果をエクスポートしたら、これらのパラメータをベクトルデータベースインデックスパイプラインに適用して、試行錯誤を繰り返さないようにします。