마크다운 Markdown Markdown Markdown Chunk Splitter

조각 크기를 설정하고 오긴긴 마크다운 또는 일반 텍스트를 분할하도록 overlap 합니다.Set chunk size and overlap to split long Markdown or plain text.임베디드 및 검색 조정하기 전에 RAG 조각을 미리보십시오.

Read the full guide: LLM 프롬프트 및 컨텍스트 : 토큰 예산 및 템플릿 →

개인 정보 보호: 로컬로 처리되고, 결코 업로드하지 않습니다.

↓ 아래의 입력 영역에 결결과를 즉시 볼 수 있습니다.

按字符数切分长文档,支持重叠窗口。适合 RAG 索引与上下文裁剪预览。

块大小(字符)
重叠(字符)

文档内容

共 1 个块

#1 (94 字符)

# Doc

Paragraph one with enough text for RAG chunking.

Paragraph two continues the document.

메모

RAG 提示

块大小最小 100; 重叠须小于块大小。生产环境请结合语义边界与 Embedding 模型限制调整。

조각 크기를 설정하고 오긴긴 마크다운 또는 일반 텍스트를 분할하도록 overlap 합니다.Set chunk size and overlap to split long Markdown or plain text.임베디드 및 검색 조정하기 전에 RAG 조각을 미리보십시오.

빠른 시작

  1. 파라미터 설정

    조각 크기 ≥100 chars;overlap 는 chunk 크기보다 작아야 합니다.

  2. 문서 붙여넣기

    각 부분의 길이와 텍스트의 라이브 미리보기.

생산 팁

문자 분할은 시작입니다.생산에서 의미적 경계 (헤더링, 단락) 을 추가합니다.

특징 및 사용 사례

내장 또는 배치 번역을 위해 구조를 보존하면서 헤더링이나 최대 크기로 마크다운을 분할합니다.

기술 문서 RAG, 긴 README 조각 및 지역화 파이프라인 단위에 대한 사용.

일반적인 워크플로우

긴 문서를 입력 상자에 입입력 한 후 500-1000 문자 크기를 설정합니다 (대부분의 RAG 시스템에 이상적입니다). '분할'을 클릭하여 즉즉시 조각을 미리보이고, 컨텍스트 연속성을 위해 추천되는 10-20% overlap.결과는 단일 결합을 복사하거나 모두 내보내고 API 또는 결결결합 결결합 결결과를 사용할 수 있습니다.

코드 문서의 경우 Markdown 구문 마크 (코드 블록 ``` 기호와 같이) 를 보존하십시오.우연히 코드 단단이 발생하지 않는지 확인하십시오. 조조조조각 크기 또는 수동 분리기를 통해 조절 가능합니다.코드 문서는 논리적 무결성을 위해 일반 텍스트보다 작은 조각 (예: 300 문자) 이 필요할 수 있습니다.

예제

예제

Input

200 chars, 40 overlap

Output

Multiple indexed chunks

FAQ

토큰에 따라 분할?

캐릭터 기반;토큰 예산을 위해 토큰 추정기를 사용하십시오.

왜 내 조각에는 단축된 문장이 포함되어 있습니까?

이것은 엄격한 문자 제한을 균형화합니다.완전한 문장의 경우 완완완전한 문장의 크기를 증가하거나 '단락을 우선순위화'를 활성화하십시오 (한계를 약간 초과합니다).기술 문서는 RAG 검색이 종종 RAG RAG 검색이 RAG 검색을 통해 상황을 복구하기 때문에 작은 단단축을 허용할 수 있습니다.