سرور هشتکارتی Instinct
هشت MI355X یعنی حدود ۲٫۳ ترابایت حافظه در یک سرور؛ برای مدلهای تریلیونی و دهها کاربر همزمان.
کارتهای Instinct شرکت AMD از پرحافظهترین کارتهای بازارند؛ MI355X روی هر کارت ۲۸۸ گیگابایت حافظه دارد، یعنی مدل بزرگ با کارت کمتری جا میشود. کنارش کارتهای Radeon برای ورکاستیشن و رایانههای کوچک Ryzen AI Max را هم فراهم و راهاندازی میکنیم.
نرمافزار اجرای مدل روی AMD، ROCm است. نسخه 10.1 آن (مهر ۱۴۰۵) vLLM، SGLang و PyTorch را رسماً پشتیبانی میکند و Ollama هم روی کارتهای Radeon و Instinct کار میکند. AMD برای مدلهای بزرگی که حافظه زیاد میخواهند انتخاب خوبی است؛ ولی بعضی مدلهای تازه و بهینهسازیها دیرتر از انویدیا به آن میرسند، پس پیش از خرید، مدل مورد نظرتان را روی همان سختافزار میآزماییم.
هشت MI355X یعنی حدود ۲٫۳ ترابایت حافظه در یک سرور؛ برای مدلهای تریلیونی و دهها کاربر همزمان.
MI350P با ۱۴۴ گیگابایت حافظه HBM3E در سرورهای هواخنک معمولی جا میشود و سرور مخصوص لازم ندارد.
Radeon AI PRO R9700 با ۳۲ گیگابایت یا Radeon PRO W7900 با ۴۸ گیگابایت؛ برای مدلهای میاناندازه در یک واحد.
Ryzen AI Max+ 395 با ۱۲۸ گیگابایت حافظه مشترک در رایانهای به اندازه یک کتاب؛ AMD میگوید مدل تا ۲۰۰ میلیارد پارامتر را اجرا میکند. نسل تازه، Ryzen AI Max+ PRO 495، تا ۱۹۲ گیگابایت حافظه دارد.
مشخصات از صفحههای رسمی AMD، بازبینیشده در ۳۰ مهر ۱۴۰۵.
| محصول | حافظه هر کارت | پهنای باند | در یک سرور هشتکارتی | چه مدلی جا میشود |
|---|---|---|---|---|
| Instinct MI300X | ۱۹۲ گیگابایت HBM3 | ۵٫۳ ترابایت بر ثانیه | ۱٫۵ ترابایت | مدل حدود ۱۵۰ میلیاردی در ۸ بیت روی هر کارت |
| Instinct MI325X | ۲۵۶ گیگابایت HBM3E | ۶ ترابایت بر ثانیه | ۲ ترابایت | مدل حدود ۲۰۰ میلیاردی در ۸ بیت روی هر کارت |
| Instinct MI350X و MI355X | ۲۸۸ گیگابایت HBM3E | ۸ ترابایت بر ثانیه | ۲٫۳ ترابایت | مدلهای یکتریلیونی در ۸ بیت در یک سرور |
| Instinct MI350P (کارت PCIe) | ۱۴۴ گیگابایت HBM3E | ۴ ترابایت بر ثانیه | بسته به سرور | مدل حدود ۱۲۰ میلیاردی در ۸ بیت روی هر کارت |
| Instinct MI455X و رک Helios | ۴۳۲ گیگابایت HBM4 | ۲۳٫۳ ترابایت بر ثانیه | رک ۷۲ کارتی با ۳۱ ترابایت حافظه | مدلهای چندتریلیونی؛ با خنککاری مایع |
ستون «چه مدلی جا میشود» برآورد ماست، نه ادعای سازنده: هر میلیارد پارامتر در ۸ بیت حدود ۱ گیگابایت و در ۴ بیت حدود نیم گیگابایت حافظه میگیرد و باید جا برای حافظه گفتوگو و کاربران همزمان هم بماند. MI350P و MI455X تازه معرفی شدهاند؛ زمان تحویل آنها را در پیشفاکتور اعلام میکنیم.
مشخصات از صفحههای رسمی AMD، بازبینیشده در ۳۰ مهر ۱۴۰۵.
| محصول | حافظه | پهنای باند | توان | چه مدلی جا میشود |
|---|---|---|---|---|
| Radeon AI PRO R9700 | ۳۲ گیگابایت GDDR6 | ۶۴۰ گیگابایت بر ثانیه | ۳۰۰ وات | مدل تا حدود ۳۰ میلیارد در ۴ بیت؛ چهار کارت با هم ۱۲۸ گیگابایت |
| Radeon PRO W7900 و W7800 48GB | ۴۸ گیگابایت GDDR6 | ۸۶۴ گیگابایت بر ثانیه | ۲۶۰ تا ۲۹۵ وات | مدل حدود ۳۰ میلیاردی در ۸ بیت |
| Ryzen AI Max+ 395 | تا ۱۲۸ گیگابایت حافظه مشترک | حدود ۲۵۶ گیگابایت بر ثانیه (محاسبه ما) | ۴۵ تا ۱۲۰ وات | به گفته AMD تا ۲۰۰ میلیارد پارامتر؛ مناسب مدلهای MoE |
| Ryzen AI Max+ PRO 495 | تا ۱۹۲ گیگابایت (تا ۱۶۰ گیگابایت برای پردازنده گرافیکی) | حدود ۲۷۳ گیگابایت بر ثانیه (محاسبه ما) | ۴۵ تا ۱۲۰ وات | به گفته AMD بیش از ۳۰۰ میلیارد پارامتر در ۴ بیت |
ستون «چه مدلی جا میشود» برآورد ماست، نه ادعای سازنده: هر میلیارد پارامتر در ۸ بیت حدود ۱ گیگابایت و در ۴ بیت حدود نیم گیگابایت حافظه میگیرد و باید جا برای حافظه گفتوگو و کاربران همزمان هم بماند.
| لایه | آنچه نصب و تنظیم میکنیم |
|---|---|
| اجرای مدل برای چند کاربر | vLLM یا SGLang؛ هر دو چند درخواست همزمان را با هم پردازش میکنند |
| اجرای سبک و آزمایشی | llama.cpp یا Ollama برای یک کاربر، آزمایش و مدلهای کوچک |
| رابط برنامهنویسی | API سازگار با OpenAI، تا برنامههایی که امروز به سرویس خارجی وصلاند بدون بازنویسی به مدل لوکال وصل شوند |
| دستیار و اسناد | دستیار فارسی، جستوجو در اسناد داخلی با ذکر منبع (RAG) و گردشکارهای n8n |
| ورود و پایش | ورود با حساب سازمانی، ثبت پرسش و پاسخ، و پایش مصرف GPU، صف درخواستها و زمان پاسخ |
سختافزار را بعد از سنجیدن مدل روی کار خود شما انتخاب میکنیم، نه از روی جدول. پیشفاکتور فقط وقتی صادر میشود که معلوم باشد چه مدلی، برای چند نفر و با چه سرعتی باید کار کند.
کار، تعداد کاربران، داده، محل نصب و سختافزاری را که از قبل دارید مرور میکنیم.
چند مدل باز را روی نمونه کار واقعیتان میسنجیم و حافظه و سرعت لازم را از روی همان نتیجه حساب میکنیم.
پیکربندی دقیق، مدل پیشنهادی، زمان تحویل و شرایط پشتیبانی را مکتوب میدهیم. قیمت را فقط در پیشفاکتور اعلام میکنیم.
سختافزار را نصب میکنیم، مدل را راه میاندازیم و دستیار را به سامانههایتان وصل میکنیم. یک بار هم سامانه را با قطع اینترنت بینالملل میآزماییم.
مستندات و آموزش تیم شما را تحویل میدهیم و بعد، طبق قرارداد، نگهداری و بهروزرسانی مدلها را بر عهده میگیریم.
فرم را پر کنید یا در واتساپ پیام بدهید. هرچه اینها روشنتر باشد، پیشفاکتور دقیقتر است:
حداکثر تا یک روز کاری پاسخ میدهیم.
درباره دستیار فارسی، اتوماسیون اسناد یا اینکه از کجا شروع کنید، بپرسید.
ROCm نرمافزار AMD برای اجرای محاسبات هوش مصنوعی روی کارتهایش است؛ چیزی شبیه CUDA در انویدیا. vLLM، SGLang و PyTorch رسماً روی آن کار میکنند و بیشتر مدلهای باز رایج اجرا میشوند. بعضی مدلهای تازه یا بهینهسازیهای خاص اول برای انویدیا منتشر میشوند؛ برای همین مدل شما را پیش از خرید روی همان سختافزار میآزماییم.
MI355X با ۲۸۸ گیگابایت حافظه روی هر کارت از B200 (۱۸۰ تا ۱۹۲ گیگابایت) حافظه بیشتری دارد و مدل بزرگتری در یک سرور جا میدهد. B200 و B300 انویدیا پشتیبانی نرمافزاری گستردهتری دارند. انتخاب به مدل، تعداد کاربران و نرمافزاری که استفاده میکنید بستگی دارد و آن را با آزمایش روی کار واقعی تعیین میکنیم.
برای دستیار یک واحد، توسعه و آزمایش، در رایانهای کوچک و کممصرف. پهنای باند حافظهاش حدود ۲۵۶ گیگابایت بر ثانیه است، پس برای مدلهای MoE که برای هر کلمه فقط بخشی از پارامترها را میخوانند (مثل gpt-oss-120b یا Qwen3.5-122B-A10B) مناسبتر است تا مدلهای متراکم بزرگ.
خیر. ژرف GPU را ساعتی یا ماهانه اجاره نمیدهد. سه راه داریم: سختافزار را تأمین و در محل شما نصب میکنیم، یک ماشین اختصاصی برایتان راه میاندازیم که خودمان نگهداریاش میکنیم، یا مدل را روی سختافزاری که از قبل دارید راه میاندازیم. اگر فقط چند ساعت پردازش برای آزمایش لازم دارید، همین را در گفتوگوی اول بگویید تا راه مناسب را پیشنهاد کنیم.
قیمت را روی سایت اعلام نمیکنیم، چون به پیکربندی، تعداد، بازار روز و نوع تحویل بستگی دارد. بعد از گفتوگوی اول و سنجش روی کار شما، پیشفاکتور مکتوب میدهیم که مدل دقیق سختافزار، زمان تحویل و شرایط پشتیبانی را هم دارد.
بله، اگر مدل، نرمافزار اجرا، دستیار، ورود کاربران و ابزار پایش همه داخل شبکه شما باشند. هر جزئی که به سرویس خارجی وابسته باشد، در قطعی از کار میافتد؛ برای همین پیش از تحویل، سامانه را با قطع عمدی اینترنت بینالملل میآزماییم.
بگویید چه مدلی را با چند کاربر میخواهید اجرا کنید. اجرای آن را روی AMD میسنجیم و اگر انویدیا یا مک برای کارتان بهتر است، همین را صریح میگوییم.