Markdownブロック分割器

ブロックのサイズとオーバーラップを設定して、長いMarkdownまたはプレーンテキストを分割します。

Read the full guide: LLM プロンプトとコンテキスト : トークン予算とテンプレート →

プライバシー:アップロードしないローカルで処理します。

↓ 下の入力領域に貼り付けて、結果をすぐに表示します。★QADB 610☆QADB 610☆QADB 610☆QADB 610☆QADB 610☆QADB 610☆QADB 610☆QADB 610☆QADB

按字符数切分长文档,支持重叠窗口。适合 RAG 索引与上下文裁剪预览。

块大小(字符)
重叠(字符)

文档内容

共 1 个块

#1 (94 字符)

# Doc

Paragraph one with enough text for RAG chunking.

Paragraph two continues the document.

備考

RAG 提示

块大小最小 100; 重叠须小于块大小。生产环境请结合语义边界与 Embedding 模型限制调整。

ブロックのサイズとオーバーラップを設定して、長いMarkdownまたはプレーンテキストを分割します。

クイックスタート

  1. パラメータの設定

    ブロックサイズ≧100文字、オーバーラップはブロックサイズより小さくなければなりません。

  2. ドキュメントの貼り付け

    各ブロックの長さとテキストのリアルタイムプレビュー。

生産技術

性格分裂は始まりであり、生産にセマンティック境界(見出し、段落)を追加します。

機能とユースケース

タイトルまたは最大サイズでMarkdownを分割し、埋め込みまたは一括翻訳の構造を保持します。

テクニカルドキュメントRAG、ロングREADMEブロック化、ローカリゼーションパイプラインユニットに使用されます。

典型的なワークフロー

長いドキュメントを入力ボックスに貼り付けたら、ブロックサイズを500~1000文字に設定します(ほとんどのRAGシステムに最適)。[分割](Split)をクリックしてブロックをすぐにプレビューし、コンテキスト連続性を維持するために10~20%オーバーラップすることをお勧めします。結果:単一のブロックをコピーするか、すべてのブロックをエクスポートして、埋め込みAPIまたはベクトルデータベースの準備をすることができます。

コードドキュメントの場合は、Markdownシンタックスタグ(コードブロック「」記号など)を保持します。ブロックサイズまたは手動区切り文字で変更できる、予期せぬコードトランケートが発生していないことを確認します。論理整合性のために、コードドキュメントはプレーンテキストよりも小さいブロック(たとえば300文字)を必要とすることがあります。

Input

200 chars, 40 overlap

Output

Multiple indexed chunks

FAQ

トークンで分割?

性格に基づくトークン予算策定にトークン推定器を使用します。

なぜチャンクには切り捨てられた文があるのですか ?

これにより、厳しい文字制限がバランスされます。完全な文では、ブロックのサイズを大きくするか、段落の優先度をオンにします(制限を少し超えて)。RAG検索では通常、ブロックを重ねることによってコンテキストが復元されるため、テクニカル文書ではわずかな切り捨てが許容されることがあります。