آموزش / پیشرفته: ساختن با API / درس ۱۵ از ۱۵
پاسخ از روی مستندات خودتان با RAG
Embedding، تکهکردن متن و جستوجوی شباهت را بشناسید و با یک نمونهی پایتون، پرسشوپاسخ فارسی روی مستندات پروژه بسازید. همراه با اینکه کی RAG لازم نیست.
پیشرفته، ۹ دقیقه مطالعه
RAG (Retrieval-Augmented Generation) یعنی پیش از پرسیدن از مدل، تکههای مرتبط از اسناد خودتان را پیدا کنید و در زمینه بگذارید. مدل بهجای تکیه بر حافظهی آموزشی، از روی همان متن پاسخ میدهد؛ پس توهم کمتر و پاسخ بهروزتر است.
کی لازم است و کی نه؟
- لازم است: مستندات داخلی بزرگ، آییننامهها، پایگاه دانش پشتیبانی، چتبات سایت که باید از روی محتوای شما جواب دهد.
- معمولاً لازم نیست: پرسش دربارهی کد پروژه. ایجنتها خودشان با جستوجوی متنی (grep) و خواندن فایلها کد را خوب پیدا میکنند. اگر کل اسناد در پنجرهی زمینه جا میشود هم سادهتر است همه را یکجا بدهید.
سه مفهوم
- Embedding: تبدیل یک متن به برداری از عددها، طوری که متنهای هممعنا بردارهای نزدیک داشته باشند. مدلهای Embedding چندزبانه فارسی را هم پشتیبانی میکنند.
- تکهکردن (Chunking): اسناد را به تکههای چندصدکلمهای میشکنید تا هر تکه یک موضوع داشته باشد.
- جستوجوی شباهت: پرسش را هم Embedding میکنید و نزدیکترین تکهها را برمیدارید.
نمونهی کامل با پایتون
این نمونه همهی فایلهای Markdown پوشهی docs را نمایه میکند و به پرسش فارسی پاسخ میدهد. با هر سرویس سازگار با OpenAI که مدل Embedding دارد کار میکند.
python
import os, glob, json, numpy as np
from openai import OpenAI
client = OpenAI(base_url="https://api.darvareh.ir/v1", api_key=os.environ["AI_API_KEY"])
EMB_MODEL = "EMBEDDING_MODEL_ID"
CHAT_MODEL = "CHAT_MODEL_ID"
def chunks(text, size=900, overlap=150):
i = 0
while i < len(text):
yield text[i:i + size]
i += size - overlap
# ۱) نمایهسازی (یک بار، یا هر وقت اسناد عوض شد)
docs = []
for path in glob.glob("docs/**/*.md", recursive=True):
for c in chunks(open(path, encoding="utf-8").read()):
docs.append({"path": path, "text": c})
vecs = []
for i in range(0, len(docs), 64):
batch = [d["text"] for d in docs[i:i + 64]]
vecs += [e.embedding for e in client.embeddings.create(model=EMB_MODEL, input=batch).data]
M = np.array(vecs, dtype="float32")
M /= np.linalg.norm(M, axis=1, keepdims=True)
# ۲) پرسش
def ask(question, k=4):
q = np.array(client.embeddings.create(model=EMB_MODEL, input=[question]).data[0].embedding, dtype="float32")
q /= np.linalg.norm(q)
top = np.argsort(M @ q)[::-1][:k]
context = "\n\n".join(f"[{docs[i]['path']}]\n{docs[i]['text']}" for i in top)
r = client.chat.completions.create(model=CHAT_MODEL, messages=[
{"role": "system", "content": "فقط بر اساس متنهای دادهشده پاسخ بده و منبع (نام فایل) را ذکر کن. اگر پاسخ در متنها نیست، صریحاً بگو."},
{"role": "user", "content": f"متنها:\n{context}\n\nپرسش: {question}"},
])
return r.choices[0].message.content
print(ask("فرایند بازگشت وجه به مشتری چند روز طول میکشد؟"))از نمونه تا محصول
- ذخیرهی بردارها: برای چند هزار تکه، یک فایل NumPy کافی است. برای بیشتر، از SQLite با افزونهی برداری، PostgreSQL با pgvector یا Qdrant استفاده کنید.
- بهروزرسانی: فقط فایلهای تغییرکرده را دوباره نمایه کنید (مثلاً با مقایسهی هش فایل).
- فراداده: نام فایل، عنوان بخش و تاریخ را کنار هر تکه نگه دارید تا پاسخ قابل استناد باشد.
- سرویس آماده: اگر نمیخواهید خودتان بسازید، آروانکلاد پایگاه دانش RAG با همگامسازی خودکار از فضای ابری ارائه میکند (معرفی).
خطاهای رایج
- تکههای خیلی بزرگ (موضوعهای قاطی) یا خیلی کوچک (بیزمینه).
- نپرسیدن «اگر نمیدانی بگو نمیدانم»؛ بدون آن، مدل جای خالی را با حدس پر میکند.
- عوض کردن مدل Embedding بدون نمایهسازی دوباره؛ بردارهای دو مدل با هم قابل مقایسه نیستند.