· 모든 가이드
덩어리 크기의 황금 법칙 (The Golden Rules of Chunk Sizes)
텍스트 청크링은 RAG 시스템의 첫 번째 게이트키퍼입니다.크기가 큰 청크는 정보를 희석시키는 반면 크기가 작은 청크는 의미의 일관성을 깨뜨립니다.기술 문서는 256 - 512 토큰 덩어리로 번성하는 반면 법률 텍스트는 조항 무결성을 유지하기 위해 1024 + 토큰을 필요로합니다. [rag - chunk - analyzer] (towalles. com / rag - chunk - analyzer) 를 로컬로 시도하여 민감한 데이터를 업로드하지 않고 청크 효과를 테스트하십시오.
하이브리드 청크는 종종 가장 잘 작동합니다: 먼저 단락으로 분할한 다음 복잡한 단락을 세분화합니다. API 문서에서는 메서드 설명을 주 청크로 사용하고 매개변수 세부 정보를 하위 청크로 사용할 수 있습니다.항상 목표를 기억하십시오 : 모든 덩어리는 자체 독립적 인 Q & A 단위가되어야합니다.
차원 포함의 숨겨진 비용 The Hidden Cost of Embedding Dimensions
768-크기가 항상 최적은 아닙니다.더 높은 차원은 뉘앙스를 캡처하지만 계산 비용이 증가합니다. [embedding - size - calculator] (towalles. com / embedding - size - calculator) 를 사용한 모델 비교: 384 - dim all - MiniLM - L 6 은 대부분의 경우 768 - dim 모델과 비교할 수 있는 성능을 제공하며 스토리지를 50% 적게 사용합니다.개인 정보 보호에 민감한 시나리오의 경우 브라우저 내 로컬로 임베디드를 계산합니다.
검색 축척을 기준으로 치수를 선택합니다. 1 천만 개 이상의 문서에는 1024 개 이상의 차원이 필요할 수 있지만, 1 천만 개 이상의 문서에는 384 개의 차원이 필요할 수 있습니다. 경험적 데이터에 따르면 차원이 데이터 복잡성 요구 사항을 초과할 때 정확도가 고지대이지만 지연 시간은 계속 증가합니다.
동적 컨텍스트 예산 배부
LLM 의 컨텍스트 창은 소중합니다. [context - budget - planner] (towalles. com / context - budget - planner) 는 할당을 시뮬레이션하는 데 도움이 됩니다. 시스템 명령에 대해 20%, 검색된 콘텐츠에 대해 50%, 생성에 대해 30% 를 사용하는 것이 좋은 출발점입니다.비율을 동적으로 조정하면 응답이 향상됩니다. 검색 신뢰도가 높은 경우 명령어 공간을 압축합니다.
더 긴 컨텍스트 ≠ 더 좋은 품질.검색을 위해 전체 8 K 토큰을 할당하면 중요한 정보가 익사 할 수 있습니다.테스트에 따르면 3 - 5 개의 정확한 중간 덩어리 (1. 5 K - 2 K 토큰 총) 는 종종 10 개 이상의 큰 덩어리를 능가합니다.또한 임베디드 컴퓨팅 오버헤드를 줄일 수 있습니다.
엔드 투 엔드 최적화 체크리스트
RAG 파이프라인을 시작하기 전에 다음을 수행하십시오. 1) 도메인 텍스트를 사용하여 ≥ 3 개의 청크링 전략을 테스트합니다. 2) 데이터 규모와 일치하는 최소 유효 차원을 선택합니다. 3) 동적 컨텍스트 예산 규칙을 설정합니다.모든 테스트는 데이터 노출 없이 Towalles 도구에서 로컬로 실행할 수 있습니다.
검색 성공률, LLM 응답 관련성 및 엔드 투 엔드 지연 시간을 지속적으로 모니터링합니다.데이터 분포가 변경될 때 청크를 재평가합니다.최적화된 RAG 시스템은 정적 매개변수 집합이 아니라 동적 균형 예술입니다.