네, 완전히 무료입니다. 청크 수나 처리량에 대한 제한 없이 모든 길이의 텍스트를 청킹할 수 있습니다.
아니요. 모든 청킹은 브라우저에서 로컬로 수행됩니다. 문서는 사용자의 디바이스에서 비공개로 유지됩니다.
텍스트 청킹은 컨텍스트 제한이 있는 시스템에서 처리할 수 있도록 대규모 문서를 더 작고 겹치는 세그먼트로 분할하는 것입니다. 주요 사용 사례: (1) RAG(검색 증강 생성) — 문서를 512~1024 토큰 세그먼트로 분할하고 10~20%의 겹침을 두어 벡터 데이터베이스에 임베딩합니다. 청크는 검색 가능한 단위가 되며, 사용자가 질문하면 관련 청크가 검색되어 컨텍스트로 LLM에 제공됩니다. (2) LLM 컨텍스트 윈도우 — 모델에는 토큰 제한(8K, 32K, 128K)이 있으므로 긴 문서를 청킹하여 일괄 처리합니다. (3) 문서 처리 파이프라인 — 대규모 PDF나 웹 스크래핑 콘텐츠를 분할하여 병렬 처리합니다. (4) 번역 — 문자 수 제한이 있는 번역 API로 보내기 전에 긴 텍스트를 청킹합니다. 모범 사례: 임베딩 모델의 최적 입력 길이(예: text-embedding-ada-002의 경우 512 토큰)에 따라 청크 크기를 선택하고, 주요 개념이 청크 간에 분할되는 것을 방지하기 위해 항상 겹침(10~20%)을 사용하며, 의미 단위를 온전히 유지하기 위해 단순 문자 수 제한보다 문장/단락 경계를 선호하고, 추적성을 위해 각 청크와 함께 메타데이터(원본 문서, 위치, 페이지 번호)를 보존하세요.