کدنماAI-Coding.irتازه‌های هوش مصنوعی و کدنویسی
دلار (تتر) ۲۷۰٬۳۵۴ تومانAMD ۵۲۴٫۱۳ ▲ +۴٫۱٪AVGO ۳۵۵٫۳۴ ▲ +۴٫۰٪AMZN ۲۶۶٫۹۶ ▲ +۳٫۵٪NVDA ۱۵۰٫۹۶ ▼ −۲٫۹٪BABA ۸۵٫۱۱ ▼ −۱٫۸٪SPCX ۱۴۳٫۹۹ ▲ +۱٫۶٪پرکاربردترین مدل برنامه‌نویسی DeepSeek V4.1 Flash 1017

آموزش / ابزارها در عمل / درس ۸ از ۱۵

اجرای مدل متن‌باز روی سیستم یا سرور شخصی

با Ollama در چند دقیقه یک مدل کدنویسی را روی سیستم خودتان اجرا کنید، و برای سرور تیمی سراغ vLLM بروید. همراه با جدول حافظه‌ی گرافیکی لازم.

متوسط، ۹ دقیقه مطالعه

در این آموزش
  1. چه سخت‌افزاری لازم است؟
  2. روش سریع: Ollama
  3. سرور تیمی: vLLM
  4. انتخاب مدل
  5. نکته‌های امنیتی سرور

اجرای مدل روی سخت‌افزار خودتان سه مزیت دارد: داده از سازمان بیرون نمی‌رود، به اینترنت بین‌الملل وابسته نیستید و هزینه‌ی هر درخواست صفر است (بعد از خرید سخت‌افزار). در عوض، مدل‌های محلی معمولاً از مدل‌های پرچم‌دار ابری ضعیف‌ترند.

چه سخت‌افزاری لازم است؟

حافظه‌ی گرافیکی (VRAM) مهم‌ترین عامل است. برای مدل با کوانتیزه‌ی ۴ بیتی (رایج‌ترین حالت) تقریباً:

حافظه‌ی گرافیکیاندازه‌ی مدل مناسبمثال کاربرد
۸ گیگابایتمدل‌های ۷ تا ۹ میلیارد پارامتریتکمیل خودکار کد
۱۶ گیگابایتتا حدود ۱۴ میلیارد پارامترچت کدنویسی سبک
۲۴ تا ۳۲ گیگابایتمدل‌های ۲۷ تا ۳۲ میلیاردی یا MoE حدود ۳۰ میلیاردیایجنت کدنویسی شخصی
۴۸ تا ۹۶ گیگابایتمدل‌های MoE حدود ۸۰ میلیاردیسرور کوچک تیمی
چند کارت سرورمدل‌های بسیار بزرگ (صدها میلیارد پارامتر)جایگزین سرویس ابری برای سازمان

برای محاسبه‌ی دقیق‌تر از ماشین‌حساب حافظه استفاده کنید. بدون کارت گرافیک هم با llama.cpp و رم کافی می‌شود مدل‌های کوچک را اجرا کرد، فقط کندتر.

روش سریع: Ollama

bash
# لینوکس
curl -fsSL https://ollama.com/install.sh | sh

# دریافت و اجرای یک مدل کدنویسی (نام دقیق را از کتابخانه‌ی Ollama بردارید)
ollama pull qwen3-coder:30b
ollama run qwen3-coder:30b

Ollama یک API سازگار با OpenAI روی http://localhost:11434/v1 باز می‌کند. پس همان تنظیمات راهنمای اتصال ابزارها با این آدرس پایه کار می‌کند (کلید را هر مقداری بگذارید).

اگر دانلود مدل از اینترنت بین‌الملل کند یا قطع است، فایل GGUF مدل را جای دیگری دانلود کنید و با یک Modelfile به Ollama بدهید.

سرور تیمی: vLLM

برای چند کاربر هم‌زمان، vLLM توان عملیاتی بسیار بیشتری دارد:

bash
pip install vllm
vllm serve Qwen/Qwen3-Coder-30B-A3B-Instruct \
  --max-model-len 65536 \
  --api-key YOUR_TEAM_KEY

حالا همه‌ی اعضای تیم می‌توانند ابزارهایشان را به http://SERVER_IP:8000/v1 وصل کنند. یک رابط چت تحت وب هم با Open WebUI روی همین سرور راه بیندازید.

انتخاب مدل

فهرست زنده‌ی مدل‌های پرطرفدار و تازه را در صفحه‌ی مدل‌های متن‌باز ببینید؛ این صفحه هر شش ساعت از Hugging Face به‌روز می‌شود. به مجوز مدل هم دقت کنید: بیشتر مدل‌ها Apache-2.0 یا MIT هستند، اما برخی شرط‌های استفاده‌ی تجاری دارند.

نکته‌های امنیتی سرور

  • پورت API را مستقیم روی اینترنت باز نگذارید؛ پشت فایروال یا VPN سازمانی نگه دارید.
  • اگر به ایجنت اجازه‌ی اجرای فرمان می‌دهید، آن را در کانتینر یا ماشین مجازی جدا اجرا کنید.