
کارت سیستم Claude Fable 5.2 و Mythos 5.2؛ توانایی، ایمنی و محدودیتها
خوانش کارت سیستم ۲۶۴صفحهای آنتروپیک: هر آزمون روی کدام مدل بود، نفوذ دستور از راه مدل جایگزین، آگاهی فزاینده از ارزیابی و جاهایی که Fable 5.2 عقب میماند.
ادامه مطلب
مدل چهاربیتی ممکن است در حافظه جا شود، اما انتخابش به کیفیت پاسخ، طول متن و سرعت زیر بار بستگی دارد. راهنمای آزمون و مقایسه پیش از استفاده واقعی.
پژوهش ژرف۲۸ آبان ۱۴۰۵۱۳ دقیقه
فایل مدل را دانلود کردهاید، در حافظه کارت گرافیک هم جا میشود و به چند سؤال کوتاه جواب میدهد. حالا یک سند بلند میفرستید و دو همکار هم همزمان از مدل سؤال میپرسند؛ حافظه پر میشود یا پاسخ دیر میرسد. حتی اگر اجرا متوقف نشود، هنوز یک سؤال باقی است: آیا نسخه چهاربیتی در سؤالهایی که برای ما مهماند، به اندازه نسخه اصلی درست جواب میدهد؟
چهاربیتی بودن، بهتنهایی جواب هیچکدام از این سؤالها نیست. برای انتخاب باید سه چیز را کنار هم بسنجید: کیفیت پاسخ در کار خودتان، بیشترین حافظه مصرفی هنگام اجرا و زمان پاسخ زیر بار واقعی. این نوشته روش پیشنهادی تیم ژرف برای همین مقایسه است؛ نتیجه آزمایش یک مدل مشخص یا توصیه به خرید کارت گرافیک نیست. اعداد مثالها فرضیاند.
وزنهای مدل اعدادیاند که طی آموزش به دست آمدهاند. کوانتیزهسازی یا quantization، مقدار هر وزن را از میان مجموعه کوچکتری از مقدارهای ممکن انتخاب میکند. این کار مثل زیپکردن فایل نیست که با باز کردنش همه مقدارهای اصلی دقیقاً برگردند. بخشی از جزئیات عددی از دست میرود؛ باید ببینیم این تغییر در پاسخ به کدام سؤالها اثر میگذارد.
در روشهای خطی، با یک ضریب مقیاس، عدد ذخیرهشده را به مقداری نزدیک به وزن اصلی تبدیل میکنند. نگه داشتن همین ضرایب هم حافظه میخواهد. ضمن اینکه «چهاربیتی» نام یک روش واحد نیست: مستندات TensorRT انویدیا بین INT4 برای وزنها و قالب ممیز شناور FP4 فرق میگذارد. پس برچسب چهاربیتی تضمین نمیکند که محاسبات دو نسخه به یک روش انجام شود، روی سختافزار یکسان قابل اجرا باشند یا پاسخهایی با کیفیت یکسان بدهند.
پیش از مقایسه، نسخه دقیق مدل پایه، روش تبدیل، تعداد وزنها در هر گروه، بخشهای تبدیلنشده و نرمافزار اجرا را ثبت کنید. اگر این اطلاعات را ندارید، میتوانید کارایی همان فایل را بسنجید، اما علت تفاوتش با فایل دیگر را با اطمینان به تعداد بیتها نسبت ندهید. اگر مدل، قالب گفتوگو یا تنظیمات تولید پاسخ فرق کند، دیگر نمیتوان تفاوت نتیجه را فقط به کوانتیزهسازی نسبت داد.
ممکن است وزنها با چهار بیت ذخیره شوند، ولی برنامه بخشی از محاسبات را با قالب دیگری انجام دهد. در راهنمای bitsandbytes در Hugging Face، نوع داده محاسبه جداگانه تنظیم میشود و همه لایهها الزاماً به قالب کمبیت تبدیل نمیشوند. بنابراین عبارت «کل مدل چهاربیتی است» اغلب توضیح کافی برای آنچه واقعاً اجرا میشود نیست.
سه ردیف جدا در گزارش بگذارید: قالب وزنها، قالب محاسبات و قالب کش. کش کلید و مقدار، که در ادامه «کش KV» مینامیم، اطلاعاتی از توکنهای قبلی را برای تولید ادامه پاسخ نگه میدارد. کمبیت کردن وزنها به این معنا نیست که کش هم خودکار کمبیت شده است.
همین تفکیک، عیبیابی را سادهتر میکند. اگر وزنها سبکتر شدهاند ولی مصرف حافظه گفتوگوهای بلند همچنان بالاست، دوباره تبدیل وزنها را شروع نکنید. اول ببینید حافظه در کدام بخش خرج میشود. اگر هم سرعت پایین آمده، نوع داده و مسیر واقعی اجرای محاسبات را بررسی کنید؛ نام فایل به شما نمیگوید پردازنده دقیقاً چه دستورهایی اجرا کرده است.
یک مدل فرضی با ۸ میلیارد وزن را در نظر بگیرید. اگر همه وزنها بدون هیچ سرباری در یک قالب ذخیره شوند، حساب خام چنین است:
| بیت برای هر وزن | حجم خام وزنها با گیگابایت دهدهی |
|---|---|
| ۱۶ بیت | ۱۶ گیگابایت |
| ۸ بیت | ۸ گیگابایت |
| ۴ بیت | ۴ گیگابایت |
فرمول این جدول، تعداد وزن ضرب در تعداد بیت و تقسیم بر هشت است. این جدول اندازه دانلود یا حافظه لازم برای اجرای یک محصول واقعی را پیشبینی نمیکند. ضرایب مقیاس، بخشهای تبدیلنشده، کش، نتایج میانی و حافظه موقت لازم برای اجرای محاسبات هنوز در آن نیامدهاند. برنامه ممکن است بیشتر از حجمی که دادهها در همان لحظه اشغال کردهاند، حافظه رزرو کند.
برای سرور خودتان، مصرف حافظه را در چند لحظه ثبت کنید: پس از بارگذاری مدل، هنگام پردازش متن بلند، نزدیک پایان تولید پاسخ و هنگام چند درخواست همزمان. اگر ابزار اجرا هر دو مقدار حافظه مصرفشده و رزروشده را نشان میدهد، هر دو را نگه دارید. فقط عکس گرفتن از وضعیت کارت بعد از بارگذاری مدل، سقف مصرف سرویس را نشان نمیدهد.
روی دستگاه با حافظه یکپارچه نیز فضای آزاد را از ظرفیت اسمی جدا کنید؛ سیستمعامل و برنامههای دیگر از همان حافظه سهم میبرند. برای راهاندازی اولیه میتوانید از آموزش نصب و اجرای Ollama شروع کنید. اما اینکه یک گفتوگو بدون مشکل پیش رفته، نشان نمیدهد سیستم از پس استفاده روزمره برمیآید.
راهنمای کش در Transformers توضیح میدهد که کش پویا با ادامه تولید رشد میکند؛ در لایههای دارای پنجره لغزان یا توجه قطعهای (chunked attention)، این رشد محدود است. همان راهنما هشدار میدهد که کمبیت کردن کش، در متن کوتاه و با حافظه کافی، ممکن است باعث شود پاسخ دیرتر برسد. کش را باید جدا از وزنها انتخاب و آزمایش کرد.
برای اینکه مصرف حافظه دستمان بیاید، یک مدل فرضی را در نظر بگیریم: ۳۲ لایه، ۸ هد KV در هر لایه، ۱۲۸ بُعد در هر هد، ۸۱۹۲ توکن ذخیرهشده و ۲ بایت برای هر مقدار. اگر همه لایهها تمام این توکنها را نگه دارند، حافظه خام کلیدها و مقدارها برای یک درخواست برابر است با:
عدد اول برای دو مجموعه کلید و مقدار است. در این مثال چهار درخواست مستقل، بدون اشتراک کش، مجموعاً ۴ گیبیبایت کش میخواهند. این مقدار جدا از وزنهای مدل است. منظور از ۸۱۹۲، مجموع توکنهایی است که تا آن لحظه در کش ماندهاند، نه فقط طول سؤال کاربر. توکنهای پاسخ هم به کش اضافه میشوند و حافظه میگیرند.
این حساب فقط برای مدلی با مشخصات همین مثال است. استفاده از یک کش مشترک برای درخواستهایی که ابتدای یکسانی دارند، پنجره لغزان، تقسیم مدل میان چند دستگاه و شیوه تخصیص حافظه، نتیجه را عوض میکنند. برای اعلام ظرفیت، بیشترین طول متن و بیشترین تعداد درخواست همزمانی را که سرویس میپذیرد با هم آزمایش کنید. مقداری حافظه هم خالی بگذارید تا با بالا رفتن مصرف، حافظه پر نشود؛ درصد ثابت و مناسبی برای همه سیستمها وجود ندارد.
واحدها را هم یکی کنید: در جدول وزنها، هر گیگابایت یک میلیارد بایت است؛ در مثال کش، هر گیبیبایت ۱۰۷۳۷۴۱۸۲۴ بایت. مقدار خام را به بایت نگه دارید تا اختلاف واحد را با سربار برنامه اشتباه نگیرید.
بعضی روشهای تبدیل از نمونه ورودی برای تعیین محدوده اعداد استفاده میکنند. راهنمای کوانتیزهسازی ایستا در PyTorch این فرایند را توضیح میدهد: محدودهها پیش از اجرا با ورودیهای مشابه تعیین میشوند؛ در روش پویا، محدوده هر دسته ورودی دوباره محاسبه میشود. همه روشهای چهاربیتی به یک نوع کالیبراسیون نیاز ندارند؛ دستور همان روش را دنبال کنید.
داده کالیبراسیون را از مجموعه آزمون نهایی جدا نگه دارید. اگر با دیدن جوابهای آزمون، ضرایب یا تنظیمات را مرتب تغییر دهید، همان آزمون دیگر معیار مستقلی برای سنجیدن کیفیت نسخه نهایی نیست. بخشی از نمونهها را برای عیبیابی و بخشی را برای تصمیم آخر کنار بگذارید و بنویسید هر نمونه از کجا آمده است.
برای دستیار فارسی، فقط چند پاراگراف انگلیسیِ تمیز کافی نیست. از کار واقعی نمونه بگیرید: پرسش کوتاه و بلند، نام کالا، جمله منفی، عدد فارسی و لاتین، جدول و پاسخ ساختاریافته. لازم نیست مدل را برای هر کاری امتحان کنید؛ نمونهها را از همان کاری انتخاب کنید که قرار است به مدل بسپارید. در راهنمای جداسازی مشتری و زمان در ارزیابی توضیح دادهایم چرا جدا بودن ردیفها، همیشه به معنی مستقل بودن نمونهها نیست.
این مثال کاملاً ساختگی است: دو نسخه را روی همان ۱۰۰ کار امتحان میکنیم. نسخه مرجع ۹۴ کار و نسخه چهاربیتی ۹۳ کار را درست انجام میدهد. اگر فقط اختلاف یک واحد درصد را ببینیم، ممکن است تغییر ناچیز به نظر برسد. اما نتیجه تکتک کارها تصویر دیگری میدهد:
| گروه کار | پاسخ درست نسخه مرجع | پاسخ درست نسخه چهاربیتی | پاسخهایی که خراب شدهاند | پاسخهایی که بهتر شدهاند |
|---|---|---|---|---|
| ۲۰ کار حساس | ۱۹ | ۱۶ | ۳ | ۰ |
| ۸۰ کار عادی | ۷۵ | ۷۷ | ۱ | ۳ |
| مجموع ۱۰۰ کار | ۹۴ | ۹۳ | ۴ | ۳ |
در این مثال، «خراب شدن» یعنی نسخه مرجع درست جواب داده و نسخه جدید غلط؛ «بهتر شدن» برعکس آن است. نسخه جدید سه سؤال را که نسخه مرجع غلط جواب داده بود درست پاسخ داده، اما در چهار سؤال که نسخه مرجع درست جواب داده بود اشتباه کرده است. امتیاز کل فقط یک واحد کم شده. در گروه کارهای حساس، تعداد پاسخهای درست از ۱۹ به ۱۶ رسیده است؛ مثلاً پیدا کردن بندی در قرارداد داخلی که انجام کاری را ممنوع میکند. این مثال درباره هیچ مدل واقعی نیست و با ۲۰ نمونه هم نمیشود نرخ خطای آینده را دقیق برآورد کرد.
پیش از دیدن نتیجه، تعیین کنید با دیدن چه خطاهایی مدل را کنار میگذارید. برای پیشنویسی که بعداً ویرایش میشود، کمی افت کیفیت شاید پذیرفتنی باشد. اما اگر مبلغ استخراجشده بدون اینکه کسی آن را بررسی کند در سیستم ثبت میشود، خطا در مبلغ قابل قبول نیست. درست بودن قالب JSON یا شکل نوشتن عدد، درستی اطلاعات را تضمین نمیکند. ممکن است خروجی هر دو نسخه JSON معتبر باشد، اما فقط یکی مبلغ را درست استخراج کرده باشد.
خروجیها را با شناسه ثابت کنار هم نگه دارید. برای پاسخهای متنی، داوری بدون نمایش نام نسخهها کمک میکند انتظار «مدل فشرده ضعیفتر است» بر قضاوت اثر نگذارد. اگر مدل با تنظیمات یکسان هر بار پاسخ متفاوتی میدهد، آزمون را به تعداد کافی با همان تنظیمات تکرار کنید. یک پاسخ خوب و یک پاسخ بد، اثر کوانتیزهسازی را ثابت نمیکند؛ این جدول فقط نشان میدهد چه گزارشی از میانگین ساده مفیدتر است.
مستندات ONNX Runtime توضیح میدهد که افزایش سرعت به مدل، سختافزار و سربار تبدیل بستگی دارد. برای بررسی افت کیفیت هم پیشنهاد میکند وزنها و نتایج میانی دو نسخه را مقایسه کنید و ببینید آیا با کوانتیزه نکردن بعضی بخشها کیفیت بهتر میشود. پس کمتر شدن بیتها نه تضمین سرعت است، نه به معنی از دست رفتن قطعی کیفیت در همه کارها.
مقایسه عملی را با دو سؤال شروع کنید: کاربر چقدر تا اولین توکن منتظر میماند و کار چه زمانی تمام میشود؟ تولید سریع پس از یک انتظار طولانی، برای گفتوگو الزاماً تجربه خوبی نیست. در کارهای غیرتعاملی، شاید مهمتر باشد که سیستم در یک مدت مشخص به چند درخواست پاسخ درست میدهد. راهنمای مهندسی زمان پاسخ تفاوت پردازش ورودی، تولید ادامه پاسخ و انتظار در صف را توضیح میدهد.
نسخه مرجع و نسخه جدید را با متنها، سقف خروجی، تعداد درخواست همزمان و تنظیمات یکسان اجرا کنید. اجرای سرد را از اجرای گرم و درخواست با کش آماده را از درخواست بدون کش جدا گزارش دهید. زمان کل و صدکهای بالای زمان پاسخ را هم ثبت کنید؛ فقط به میانگین سرعت تولید توکن اکتفا نکنید. خطاهای کمبود حافظه و درخواستهای ردشده هم جزو نتیجهاند؛ حذفشان از جدول، ظرفیت را بهتر از واقع نشان میدهد.
اگر نسخه مرجع روی دستگاه مقصد جا نمیشود، کیفیتش را روی دستگاه مناسب دیگری بسنجید و این تفاوت را بنویسید. برای مقایسه سرعت، هر دو نسخه را با شرایط یکسان روی یک دستگاه امتحان کنید. اگر دستگاهها متفاوتاند، نتیجه درباره ترکیب مدل و دستگاه است و اثر کوانتیزهسازی را بهتنهایی نشان نمیدهد.
جدول زیر پیشنهاد تیم ژرف برای تصمیمگیری است، نه رتبهبندی روشها. هیچ نسخهای را صرفاً بهخاطر چهار یا هشت بیت بودن تأیید نمیکند.
| آنچه اندازه گرفتهاید | تصمیم پیشنهادی |
|---|---|
| مدل در کارهای مهم همچنان درست جواب میدهد، حافظه کافی است و زمان پاسخ مناسب است | از نسخه چهاربیتی برای همان کاربرد و با همان محدودیت طول متن و تعداد درخواست همزمان استفاده کنید |
| امتیاز کل خوب است، اما خطاهای حساس بیشتر شدهاند | فعلاً رد کنید؛ نسخهای با دقت عددی بالاتر یا تبدیل نکردن بخشهای حساس را دوباره امتحان کنید |
| پاسخها درستاند، ولی متن بلند باعث کمبود حافظه میشود | کش، سقف متن و تعداد درخواست همزمان را بررسی کنید؛ فقط تعداد بیت وزنها را کمتر نکنید |
| حافظه کمتر مصرف میشود، ولی کار دیرتر تمام میشود | پیادهسازی و مسیر اجرا را بررسی کنید؛ اگر به اندازه کافی سریعتر نشد، نسخه قبلی را نگه دارید |
| با هیچکدام از تنظیمات به نتیجه قابل قبول نمیرسید | مدل کوچکتر، تغییر کاربرد یا سختافزار دیگر را جداگانه ارزیابی کنید |
حدی مثل «تا دو درصد افت مجاز است» را صرفاً چون در مقاله دیگری آمده، معیار خودتان قرار ندهید. حد مجاز را با توجه به هزینه خطا، امکان بازبینی پاسخ و تعداد نمونههای آزمون تعیین کنید. گاهی مدل کوچکتری با دقت عددی بالاتر انتخاب بهتری است؛ گاهی مدل بزرگترِ کمبیت. این نتیجه را باید از آزمون همان دو گزینه گرفت، نه از تعداد پارامترها.
اگر برای جا شدن مدل، سقف طول سند یا تعداد درخواست همزمان را کم میکنید، این محدودیت را به کاربر بگویید و در برنامه اعمال کنید. کوتاه کردن متن آزمون یا کم کردن درخواستها فقط برای گرفتن نتیجه بهتر، مشکل استفاده واقعی را حل نمیکند.
برای نسخهای که انتخاب کردهاید، فایل مدل و هش آن، نسخه برنامه و درایور، قالب گفتوگو، تنظیمات تولید، روش تبدیل، داده کالیبراسیون و نتیجه آزمون را کنار هم نگه دارید. یادداشت کنید چه کسی پاسخهای حساس را بررسی کرده و کدام موارد هنوز به بازبینی انسانی نیاز دارند. چنین سابقهای برای پیدا کردن علت تغییر رفتار مفیدتر از نامی مثل «نسخه سبک» است.
بعد از شروع استفاده، طول ورودی و خروجی، تعداد درخواستهای همزمان، بیشترین مصرف حافظه و زمان پاسخ را ثبت کنید. ببینید کاربران کدام پاسخها را اصلاح کردهاند. اگر کاربران سندهای بلندتری بفرستند یا زبان دیگری اضافه شود، حتی بدون عوض شدن وزنها باید در تصمیم قبلی تجدیدنظر کنید. بهروزرسانی نرمافزار اجرا یا روش کش نیز دلیل خوبی برای تکرار آزمون است.
کوچکتر شدن فایل، اجرای مدل را روی دستگاههای بیشتری ممکن میکند؛ مناسب بودنش برای کار شما هنوز به آزمون نیاز دارد. نسخه چهاربیتی وقتی به کارتان میآید که پاسخ درست بدهد، زمان پاسخ مناسب باشد و مصرف حافظه از حافظهای که در اختیار دارید بیشتر نشود. هر سه شرط را با هم بسنجید.
منابع در ۱۹ نوامبر ۲۰۲۶ بررسی شدند. توضیح سازوکارها و محدودیتهای فنی بر اساس این مستندات است؛ جدول تصمیمگیری، روش آزمون و مثالهای عددی را تیم ژرف تهیه کرده است. این مقاله گزارش بنچمارک نیست.
برچسبهاکوانتیزهسازیمدل محلیحافظه گرافیکارزیابی مدلسرعت پاسخ

خوانش کارت سیستم ۲۶۴صفحهای آنتروپیک: هر آزمون روی کدام مدل بود، نفوذ دستور از راه مدل جایگزین، آگاهی فزاینده از ارزیابی و جاهایی که Fable 5.2 عقب میماند.
ادامه مطلب
هایکو ۵٫۵ با زمینه یکمیلیونی و قیمت کمتر عرضه شد. مرز ۱۰۰ هزار توکن، سطح استدلال و تغییرات API تعیین میکنند صرفهجویی واقعی تیمها چقدر باشد.
ادامه مطلب
خوانش کارت سیستم ۱۴۴صفحهای هایکو ۵٫۵: شرایط معیارها، تزریق دستور، رفتار در محیط محصور، پسرفت صداقت، نظارت و پژوهش رفاه مدل.
ادامه مطلباگر این مطلب به فرایندی واقعی در سازمان شما مربوط است، از صفحه خدمات شروع کنید یا با ما تماس بگیرید.