Chunking Strategies

def fixed_size_chunk(text: str, chunk_size: int = 500, overlap: int = 50):
    chunks = []
    start = 0
    while start < len(text):
        end = start + chunk_size
        chunks.append(text[start:end])
        start = end - overlap  # Overlap để giữ mạch văn
    return chunks

from langchain.text_splitter import RecursiveCharacterTextSplitter
 
splitter = RecursiveCharacterTextSplitter(
    chunk_size=1000,
    chunk_overlap=200,
    separators=["\n\n", "\n", ".", " "]
)
 
chunks = splitter.split_text(long_document)

from langchain_experimental.text_splitter import SemanticChunker
from langchain_openai import OpenAIEmbeddings
 
embeddings = OpenAIEmbeddings()
chunker = SemanticChunker(embeddings)
 
# Tự động phát hiện khi nào đổi chủ đề
chunks = chunker.split_text(document)

def agentic_chunk(text: str) -> list[str]:
    prompt = f"""
    Đọc văn bản sau và chia thành các chunks logic.
    Mỗi chunk phải:
    - Chứa trọn vẹn một ý/concept
    - 100-500 từ
    
    TEXT:
    {text}
    
    Trả về dạng JSON: ["chunk1", "chunk2", ...]
    """
    return llm.generate(prompt)

chunks = []
for i, chunk in enumerate(raw_chunks):
    chunks.append({
        "content": chunk,
        "metadata": {
            "source": "company_handbook.pdf",
            "page": i // 2,  # Ước tính page
            "chunk_index": i,
            "total_chunks": len(raw_chunks)
        }
    })

test_queries = [
    "Chính sách nghỉ phép như thế nào?",
    "Làm sao để xin làm việc từ xa?",
    "Quy định về OT?"
]
 
for query in test_queries:
    results = vector_db.search(query, top_k=3)
    print(f"Query: {query}")
    print(f"Top result: {results[0]['content'][:100]}...")
    # Kiểm tra xem chunk có chứa answer không

from langchain.text_splitter import CharacterTextSplitter, RecursiveCharacterTextSplitter
import chromadb
 
# Sample document
doc = """
[Dán một bài viết dài 2000+ từ ở đây]
"""
 
# Strategy 1: Fixed
fixed_splitter = CharacterTextSplitter(chunk_size=500, chunk_overlap=50)
fixed_chunks = fixed_splitter.split_text(doc)
 
# Strategy 2: Recursive
recursive_splitter = RecursiveCharacterTextSplitter(chunk_size=500, chunk_overlap=50)
recursive_chunks = recursive_splitter.split_text(doc)
 
print(f"Fixed: {len(fixed_chunks)} chunks")
print(f"Recursive: {len(recursive_chunks)} chunks")
 
# So sánh chunk đầu tiên
print("\n--- Fixed chunk 1 ---")
print(fixed_chunks[0])
print("\n--- Recursive chunk 1 ---")
print(recursive_chunks[0])