Cara Membuat AI Knowledge Base dari Data Sendiri (RAG)

🏗️ Arsitektur Sistem RAG

Sebelum coding, pahami dulu alur sistemnya. RAG terdiri dari dua fase utama:

User Query
    ↓
[Embedding Model] → Query Vector
    ↓
[Vector DB] ← Similarity Search
    ↓
Top-K Relevant Chunks
    ↓
[LLM] + System Prompt + Chunks
    ↓
Generated Answer

🛠️ Persiapan: Tools & API Key

Yang dibutuhkan sebelum mulai:

Install dependencies:

pip install openai chromadb langchain langchain-openai \
    pypdf python-docx pandas tiktoken fastapi uvicorn

# Atau jika pakai Google Gemini:
pip install google-generativeai

# Atau Llama 4 via Ollama (lokal, gratis):
# https://ollama.com/library/llama4

📂 Step 1: Persiapkan & Chunking Data

Ini adalah step yang paling kritis — dan paling sering salah. Kualitas chunking sangat menentukan akurasi jawaban.

Load Dokumen:

from langchain.document_loaders import PyPDFLoader, CSVLoader
from langchain.text_splitter import RecursiveCharacterTextSplitter

# Load PDF
loader = PyPDFLoader("data/dokumen-kasus.pdf")
documents = loader.load()

# Chunking — ini yang tricky!
text_splitter = RecursiveCharacterTextSplitter(
    chunk_size=512,       # karakter per chunk
    chunk_overlap=50,     # overlap antar chunk
    separators=["\n\n", "\n", ".", " "]
)
chunks = text_splitter.split_documents(documents)

🔢 Step 2: Buat Embedding

Embedding mengubah teks menjadi array angka (vektor) yang merepresentasikan makna semantiknya.

import openai
import os

# Gunakan provider sesuai kebutuhan:
# OpenAI (paling umum)
openai.api_key = os.environ["OPENAI_API_KEY"]

def get_embedding(text: str) -> list[float]:
    response = openai.embeddings.create(
        model="text-embedding-3-small",  # atau text-embedding-3-large
        input=text
    )
    return response.data[0].embedding

# Atau Gemini Embedding (lebih murah):
# from google.generativeai import embed_content
# result = embed_content(model="models/gemini-embedding-exp-03-07", content=text)

# Embed semua chunk
embeddings = []
for chunk in chunks:
    emb = get_embedding(chunk.page_content)
    embeddings.append({
        "text": chunk.page_content,
        "embedding": emb,
        "metadata": chunk.metadata
    })

🗄️ Step 3: Simpan ke Vector Database

Menggunakan ChromaDB (self-hosted) sebagai contoh:

import chromadb
from chromadb.utils import embedding_functions

# Setup ChromaDB
client = chromadb.PersistentClient(path="./chroma_db")
openai_ef = embedding_functions.OpenAIEmbeddingFunction(
    api_key=os.environ["OPENAI_API_KEY"],
    model_name="text-embedding-3-small"
)

collection = client.get_or_create_collection(
    name="knowledge_base",
    embedding_function=openai_ef,
    metadata={"hnsw:space": "cosine"}  # cosine similarity
)

# Batch insert
batch_size = 100
for i in range(0, len(chunks), batch_size):
    batch = chunks[i:i+batch_size]
    collection.add(
        documents=[c.page_content for c in batch],
        ids=[f"chunk_{i+j}" for j in range(len(batch))],
        metadatas=[c.metadata for c in batch]
    )

🔍 Step 4: Build Retrieval Pipeline

Ini adalah inti dari sistem — query user → cari chunk relevan → generate jawaban:

def answer_question(user_query: str, n_results: int = 5) -> str:
    # 1. Cari chunk relevan
    results = collection.query(
        query_texts=[user_query],
        n_results=n_results
    )
    context_chunks = results["documents"][0]
    
    # 2. Susun context
    context = "\n\n---\n\n".join(context_chunks)
    
    # 3. Kirim ke LLM — pilih model sesuai kebutuhan
    system_prompt = """Anda adalah asisten yang menjawab berdasarkan dokumen yang diberikan.
    Jika informasi tidak ada dalam context, katakan tidak tahu.
    Jangan mengarang jawaban di luar context yang diberikan."""
    
    # Opsi A: OpenAI GPT-5.4 mini (hemat)
    response = openai.chat.completions.create(
        model="gpt-5.4-mini",      # atau "gpt-5.4" untuk kualitas lebih tinggi
        messages=[
            {"role": "system", "content": system_prompt},
            {"role": "user", "content": f"Context:\n{context}\n\nPertanyaan: {user_query}"}
        ],
        temperature=0.2  # rendah = lebih faktual
    )
    return response.choices[0].message.content

    # Opsi B: Google Gemini 3 Flash (lebih murah, context window 1M token)
    # import google.generativeai as genai
    # model = genai.GenerativeModel('gemini-3-flash')
    # response = model.generate_content(f"{system_prompt}\n\nContext:\n{context}\n\n{user_query}")
    
    # Opsi C: Llama 4 via Ollama (lokal, GRATIS)
    # import ollama
    # response = ollama.chat(model='llama4', messages=[...])

🚀 Step 5: Deploy ke Server

Bungkus pipeline tadi dengan FastAPI dan deploy ke VPS:

from fastapi import FastAPI
from pydantic import BaseModel

app = FastAPI()

class QueryRequest(BaseModel):
    query: str
    session_id: str | None = None

@app.post("/chat")
async def chat(request: QueryRequest):
    answer = answer_question(request.query)
    return {"answer": answer}

# Jalankan:
# uvicorn main:app --host 0.0.0.0 --port 8000

🔧 Troubleshooting Umum