クイックスタート
-
パラメータの設定
ブロックサイズ≧100文字、オーバーラップはブロックサイズより小さくなければなりません。
-
ドキュメントの貼り付け
各ブロックの長さとテキストのリアルタイムプレビュー。
ブロックのサイズとオーバーラップを設定して、長いMarkdownまたはプレーンテキストを分割します。
Read the full guide: LLM プロンプトとコンテキスト : トークン予算とテンプレート →
プライバシー:アップロードしないローカルで処理します。
↓ 下の入力領域に貼り付けて、結果をすぐに表示します。★QADB 610☆QADB 610☆QADB 610☆QADB 610☆QADB 610☆QADB 610☆QADB 610☆QADB 610☆QADB
按字符数切分长文档,支持重叠窗口。适合 RAG 索引与上下文裁剪预览。
共 1 个块
块 #1 (94 字符)
# Doc Paragraph one with enough text for RAG chunking. Paragraph two continues the document.
块大小最小 100; 重叠须小于块大小。生产环境请结合语义边界与 Embedding 模型限制调整。
ブロックのサイズとオーバーラップを設定して、長いMarkdownまたはプレーンテキストを分割します。
パラメータの設定
ブロックサイズ≧100文字、オーバーラップはブロックサイズより小さくなければなりません。
ドキュメントの貼り付け
各ブロックの長さとテキストのリアルタイムプレビュー。
性格分裂は始まりであり、生産にセマンティック境界(見出し、段落)を追加します。
タイトルまたは最大サイズでMarkdownを分割し、埋め込みまたは一括翻訳の構造を保持します。
テクニカルドキュメントRAG、ロングREADMEブロック化、ローカリゼーションパイプラインユニットに使用されます。
長いドキュメントを入力ボックスに貼り付けたら、ブロックサイズを500~1000文字に設定します(ほとんどのRAGシステムに最適)。[分割](Split)をクリックしてブロックをすぐにプレビューし、コンテキスト連続性を維持するために10~20%オーバーラップすることをお勧めします。結果:単一のブロックをコピーするか、すべてのブロックをエクスポートして、埋め込みAPIまたはベクトルデータベースの準備をすることができます。
コードドキュメントの場合は、Markdownシンタックスタグ(コードブロック「」記号など)を保持します。ブロックサイズまたは手動区切り文字で変更できる、予期せぬコードトランケートが発生していないことを確認します。論理整合性のために、コードドキュメントはプレーンテキストよりも小さいブロック(たとえば300文字)を必要とすることがあります。
Input
200 chars, 40 overlap
Output
Multiple indexed chunks
性格に基づくトークン予算策定にトークン推定器を使用します。
これにより、厳しい文字制限がバランスされます。完全な文では、ブロックのサイズを大きくするか、段落の優先度をオンにします(制限を少し超えて)。RAG検索では通常、ブロックを重ねることによってコンテキストが復元されるため、テクニカル文書ではわずかな切り捨てが許容されることがあります。