آموزش / ابزارها در عمل / درس ۸ از ۱۵
اجرای مدل متنباز روی سیستم یا سرور شخصی
با Ollama در چند دقیقه یک مدل کدنویسی را روی سیستم خودتان اجرا کنید، و برای سرور تیمی سراغ vLLM بروید. همراه با جدول حافظهی گرافیکی لازم.
متوسط، ۹ دقیقه مطالعه
اجرای مدل روی سختافزار خودتان سه مزیت دارد: داده از سازمان بیرون نمیرود، به اینترنت بینالملل وابسته نیستید و هزینهی هر درخواست صفر است (بعد از خرید سختافزار). در عوض، مدلهای محلی معمولاً از مدلهای پرچمدار ابری ضعیفترند.
چه سختافزاری لازم است؟
حافظهی گرافیکی (VRAM) مهمترین عامل است. برای مدل با کوانتیزهی ۴ بیتی (رایجترین حالت) تقریباً:
| حافظهی گرافیکی | اندازهی مدل مناسب | مثال کاربرد |
|---|---|---|
| ۸ گیگابایت | مدلهای ۷ تا ۹ میلیارد پارامتری | تکمیل خودکار کد |
| ۱۶ گیگابایت | تا حدود ۱۴ میلیارد پارامتر | چت کدنویسی سبک |
| ۲۴ تا ۳۲ گیگابایت | مدلهای ۲۷ تا ۳۲ میلیاردی یا MoE حدود ۳۰ میلیاردی | ایجنت کدنویسی شخصی |
| ۴۸ تا ۹۶ گیگابایت | مدلهای MoE حدود ۸۰ میلیاردی | سرور کوچک تیمی |
| چند کارت سرور | مدلهای بسیار بزرگ (صدها میلیارد پارامتر) | جایگزین سرویس ابری برای سازمان |
برای محاسبهی دقیقتر از ماشینحساب حافظه استفاده کنید. بدون کارت گرافیک هم با llama.cpp و رم کافی میشود مدلهای کوچک را اجرا کرد، فقط کندتر.
روش سریع: Ollama
# لینوکس
curl -fsSL https://ollama.com/install.sh | sh
# دریافت و اجرای یک مدل کدنویسی (نام دقیق را از کتابخانهی Ollama بردارید)
ollama pull qwen3-coder:30b
ollama run qwen3-coder:30bOllama یک API سازگار با OpenAI روی http://localhost:11434/v1 باز میکند. پس همان تنظیمات راهنمای اتصال ابزارها با این آدرس پایه کار میکند (کلید را هر مقداری بگذارید).
اگر دانلود مدل از اینترنت بینالملل کند یا قطع است، فایل GGUF مدل را جای دیگری دانلود کنید و با یک Modelfile به Ollama بدهید.
سرور تیمی: vLLM
برای چند کاربر همزمان، vLLM توان عملیاتی بسیار بیشتری دارد:
pip install vllm
vllm serve Qwen/Qwen3-Coder-30B-A3B-Instruct \
--max-model-len 65536 \
--api-key YOUR_TEAM_KEYحالا همهی اعضای تیم میتوانند ابزارهایشان را به http://SERVER_IP:8000/v1 وصل کنند. یک رابط چت تحت وب هم با Open WebUI روی همین سرور راه بیندازید.
انتخاب مدل
فهرست زندهی مدلهای پرطرفدار و تازه را در صفحهی مدلهای متنباز ببینید؛ این صفحه هر شش ساعت از Hugging Face بهروز میشود. به مجوز مدل هم دقت کنید: بیشتر مدلها Apache-2.0 یا MIT هستند، اما برخی شرطهای استفادهی تجاری دارند.
نکتههای امنیتی سرور
- پورت API را مستقیم روی اینترنت باز نگذارید؛ پشت فایروال یا VPN سازمانی نگه دارید.
- اگر به ایجنت اجازهی اجرای فرمان میدهید، آن را در کانتینر یا ماشین مجازی جدا اجرا کنید.