پشته استنتاج کارآمد: هوش مصنوعی و محاسبات آگاه از انرژی

ت

تیم ژرف ای‌آی

۹ تیر ۱۴۰۵به‌روزرسانی ۸ مرداد ۱۴۰۵۱۳ دقیقه مطالعه
پشته استنتاج کارآمد: هوش مصنوعی و محاسبات آگاه از انرژی

هوش مصنوعی آگاه از انرژی به این معنا نیست که هر مدل را کوچک کنیم. این یک انضباط مهندسی است: نتیجه قابل قبول یک وظیفه را با انرژی و کربن اندازه‌گیری‌شده کمتر تحویل دهیم، بدون آنکه هزینه، تأخیر، خطا یا اثر سخت‌افزار را بی‌صدا بیرون مرز محاسبه ببریم.

مقیاس مسئله اندازه‌گیری را توجیه می‌کند. آژانس بین‌المللی انرژی در گزارش Energy and AI برآورد کرد مراکز داده در سال ۲۰۲۴ حدود ۴۱۵ تراوات‌ساعت، نزدیک ۱٫۵ درصد برق جهان، مصرف کرده‌اند و برای ۲۰۳۰ حدود ۹۴۵ تراوات‌ساعت را پیش‌بینی کرد. این آژانس در به‌روزرسانی ۲۰۲۶ برآورد کرد تقاضای برق مراکز داده در ۲۰۲۵ حدود ۱۷ درصد رشد کرده و رشد مراکز متمرکز بر هوش مصنوعی سریع‌تر بوده است. این ارقام برآورد و پیش‌بینی مدل‌شده جهانی‌اند، نه قرائت کنتور یک محصول خاص.

تیم محصول همچنان اهرم‌های مهمی دارد: آیا فراخوان مدل لازم است، چه مقدار زمینه دریافت می‌کند، کدام مدل و runtime آن را سرو می‌کند، درخواست‌ها چگونه دسته‌بندی می‌شوند، کار انعطاف‌پذیر چه زمانی اجرا می‌شود و آیا خروجی ناموفق تلاش مجدد پرهزینه می‌سازد. بنابراین واحد درست فقط «وات هر GPU» یا «توکن بر ثانیه» نیست؛ انرژی به‌ازای واحد کار موفق و عبورکرده از گیت کیفیت است.

پیش از ادعای بهبود، مرز را تعریف کنید

نتیجه کارایی تنها وقتی قابل تفسیر است که پنج چیز ثابت باشد:

  1. واحد کارکردی: یک سند پذیرفته‌شده، یک پرونده پشتیبانی حل‌شده، هزار پاسخ عبورکرده از کیفیت یا خروجی دیگری متصل به ارزش.
  2. کف کیفیت: مجموعه ارزیابی، روش امتیازدهی، پوشش زبان، حد ایمنی و رفتار امتناع که باید قابل قبول بماند.
  3. مرز سامانه: شتاب‌دهنده، CPU میزبان، حافظه، ذخیره‌سازی، شبکه، سرمایش و تبدیل برق یا زیرمجموعه‌ای که صریح اعلام شده است.
  4. شرایط اجرا: سخت‌افزار، نرم‌افزار، هش مدل، دقت عددی، توزیع طول زمینه، batch و هم‌زمانی، هدف تأخیر، منطقه و پنجره اندازه‌گیری.
  5. روش کربن: منبع انرژی، شدت کربن زمانی و مکانی و اینکه انتشار نهفته سخت‌افزار محاسبه شده است یا نه.

استاندارد ISO/IEC 21031:2024 برای شدت کربن نرم‌افزار روشی برای محاسبه نرخ انتشار کربن یک سامانه نرم‌افزاری تعریف می‌کند. بنیاد Green Software صورت‌بندی واحد کارکردی را در مرور SCI توضیح می‌دهد. SCI از معیار استنتاج گسترده‌تر است: انرژی عملیاتی، شدت کربن مکانی و سهمی از انتشار نهفته سخت‌افزار را ترکیب می‌کند. تیم باید پیاده‌سازی روش خود را مستند کند، نه اینکه کنار عددی بی‌سند عبارت «سازگار با SCI» بنویسد.

شاخص PUE می‌تواند سربار تأسیسات را توصیف کند، اما نشان نمی‌دهد مدل درست پاسخ می‌دهد، سرور کم‌استفاده است یا انتشار نهفته بالا رفته است. هزینه کمتر ابری نیز شاید حاصل تخفیف تجاری باشد، نه انرژی کمتر. هزینه، انرژی، کربن، آب، تأخیر و کیفیت را سنجه‌های مرتبط اما جدا نگه دارید.

از پریز تا گردش‌کار اندازه بگیرید

با تله‌متری سطح درخواست شروع و آن را با اندازه‌گیری فیزیکی کالیبره کنید. برای هر طبقه بارکاری، توکن ورودی و خروجی، رفتار کش، مسیر مدل، runtime، تخصیص سخت‌افزار، زمان صف و فعالیت، تلاش مجدد، نتیجه کیفیت و سرنوشت نهایی کسب‌وکار را ثبت کنید.

در لایه زیرساخت، توان اندازه‌گیری‌شده کل سامانه را بر TDP تراشه ترجیح دهید. MLPerf Inference توان را فقط برای همان معیار همراه گزارش می‌کند و سنجه را از متوسط توان AC اندازه‌گیری‌شده در پریز برای کل سامانه به دست می‌آورد. قواعد آن همچنین آستانه کیفیت مخصوص بارکاری دارد. نتیجه MLPerf پیش‌بینی بار خصوصی نیست، اما انضباطش مفید است: کیفیت هم‌ارز را مقایسه کنید، کل سامانه آزموده‌شده را در مرز بگذارید و سناریو را اعلام کنید.

سنجه‌های عملیاتی مفید شامل این موارد است:

  • ژول به‌ازای پاسخ عبورکرده از کیفیت؛
  • کیلووات‌ساعت به‌ازای هزار کار پذیرفته‌شده؛
  • کار موفق یا توکن پذیرفته‌شده بر ژول؛
  • توان بیکار، فعال و اوج سامانه؛
  • بهره‌برداری شتاب‌دهنده و اشغال حافظه؛
  • نرخ برخورد کش و توکن اجتناب‌شده؛
  • تلاش مجدد، timeout و تولید رهاشده؛
  • زمان تا نخستین توکن، زمان هر توکن خروجی، تأخیر p95 و throughput؛
  • شدت کربن شبکه و گرم CO2e به‌ازای واحد کارکردی؛
  • انتشار نهفته تخصیص‌یافته به واحد کارکردی؛
  • PUE تأسیسات و، در صورت اهمیت، سنجه مصرف آب.

مخرج نباید شکست و اصلاح را حذف کند. اگر پردازش دسته‌ای ۲۰ کیلووات‌ساعت برای ۱۰۰۰ خروجی مصرف کند اما فقط ۸۰۰ خروجی اعتبارسنجی شوند، سنجه عملیاتی اولیه ۲۵ وات‌ساعت به‌ازای خروجی پذیرفته‌شده است، نه ۲۰. دوباره‌کاری انسانی و اجرای دوباره نیز باید دیده شود.

به ترتیب ورود اتلاف به سامانه بهینه کنید

توالی قابل اتکاتر از بالای مدل شروع می‌شود.

۱. استنتاج غیرضروری را حذف کنید

از مدل مولد نخواهید تاریخ را قالب‌بندی کند، lookup دقیق پایگاه داده انجام دهد یا درخواستی را طبقه‌بندی کند که قاعده قطعی پاسخ داده است. کنش کاربر را debounce کنید، تولید جایگزین‌شده را لغو کنید، با کلید idempotency کار تکراری را ببندید و حلقه بازگشتی عامل را محدود کنید. سند خراب را پیش از OCR یا استنتاج رد کنید.

این لایه اغلب بیش از تغییر kernel صرفه‌جویی می‌کند، چون کل فراخوان حذف می‌شود. قابلیت اعتماد هم بهتر می‌شود.

۲. کار هر درخواست را کم کنید

فقط گذرگاه مرتبط را بازیابی کنید، زمینه تکراری را حذف کنید، دستور ثابت را فشرده کنید، طول خروجی را ببندید و وقتی شما کامل شد توقف کنید. زمینه بلند حتی اگر بیشتر توکن‌ها اثری بر پاسخ نداشته باشند حافظه و محاسبه prefill مصرف می‌کند. حذف را آزمایش کنید؛ کاهش زمینه ممکن است recall را خراب یا شرط سیاست را حذف کند.

از کش معنایی یا prefix تنها وقتی استفاده مجدد درست است بهره بگیرید. کلید کش باید نسخه مدل و پرامپت، tenant و مجوز، تازگی منبع، locale، سیاست ایمنی و پارامترهای مرتبط تولید را شامل شود. برخورد کش میان مشتریان یا پس از تغییر سیاست، نشت داده یا تصمیم قدیمی است، نه پیروزی کارایی.

۳. به کم‌هزینه‌ترین مدلِ قبول‌شونده مسیر بدهید

نردبان مسیر بسازید: تابع قطعی، مدل تخصصی کوچک، مدل عمومی متوسط و سپس مدل قوی‌تر یا بازبینی انسان. بر اساس پیچیدگی و ریسک قابل مشاهده مسیر بدهید، نه فقط اطمینان ادعایی خود مدل. برای حالت‌هایی که احتمال مسیر اشتباه دارند مجموعه چالش نگه دارید.

راهنمای مسیریابی مدل طراحی cascade و fallback را شرح می‌دهد. مسیریابی آگاه از انرژی، ژول و کربن اندازه‌گیری‌شده را به تصمیم کیفیت، تأخیر و هزینه اضافه می‌کند.

۴. بهره‌برداری سرویس را بهتر کنید

batching پیوسته یا پویا درخواست‌های سازگار را ترکیب می‌کند و زمان‌بند میان throughput و تأخیر تعادل می‌گذارد. استفاده دوباره از prefix و KV cache محاسبه تکراری را کم می‌کند. مدیریت کارآمد حافظه batch بزرگ‌تر را ممکن می‌کند: مقاله PagedAttention با کاهش اتلاف KV cache، throughput بالاتری برای مدل‌ها و سامانه‌های آزموده‌شده گزارش کرد. نتیجه وابسته به پیاده‌سازی و بارکاری است؛ آن را روی توزیع واقعی طول پرامپت و هم‌زمانی دوباره بسنجید.

شتاب‌دهنده کم‌بار می‌تواند ناکارآمد باشد، اما بیشینه‌کردن کور بهره‌برداری شاید هدف تأخیر را بشکند یا رهاکردن صف را بالا ببرد. کار موفق بر ژول را در بار واقعی و با احتساب دوره بیکار بسنجید.

۵. فشرده‌سازی را از گیت کیفیت عبور دهید

تقطیر، هرس و کوانتیزه‌سازی حافظه، انتقال و محاسبه را کم می‌کند. برای نمونه SmoothQuant روش ۸ بیتی پس از آموزش را توصیف و در تنظیمات آزموده‌شده تا ۱٫۵۶ برابر افزایش سرعت و ۲ برابر کاهش حافظه با افت ناچیز دقت گزارش کرد. این شاهدی است که کوانتیزه‌سازی می‌تواند کمک کند، نه تضمین برای هر مدل، شتاب‌دهنده، زبان یا وظیفه.

پس از فشرده‌سازی کل مجموعه انتشار را اجرا کنید. کلاس نادر، ورودی فارسی و دوزبانه، عدد، فراخوان ابزار، ایمنی، کالیبراسیون و زمینه بلند را بسنجید. کل سامانه را متر کنید؛ دقت عددی ارزان‌تر روی سخت‌افزار ناسازگار شاید به kernel ناکارآمد fallback کند.

۶. سخت‌افزار، runtime و مکان را همسان کنید

سخت‌افزار را با بار اندازه‌گیری‌شده انتخاب کنید، نه اوج تبلیغاتی. ظرفیت و پهنای‌باند حافظه، پشتیبانی دقت، منحنی توان در بار مورد انتظار، دسترسی، اثر نهفته و چرخه تعویض را ببینید. استنتاج لبه می‌تواند انتقال شبکه را کم و حریم خصوصی یا تاب‌آوری را بهتر کند، اما ناوگانی از دستگاه‌های کم‌استفاده لزوماً کم‌کربن‌تر از سرور مشترک نیست.

runtime سرویس را تنها پس از معیارگیری خروجی هم‌ارز انتخاب کنید. گراف کامپایلر، kernel، تخصیص‌گر حافظه، سیاست batching و قالب مدل هم بر تأخیر و هم انرژی اثر می‌گذارند. راهنمای مهندسی تأخیر استنتاج توضیح می‌دهد چرا میانگین، صف و دنباله توزیع را پنهان می‌کند.

زمان‌بندی آگاه از کربن برای کار واقعاً انعطاف‌پذیر است

کربن عملیاتی به زمان و مکان مصرف برق وابسته است. نوسازی batch امبدینگ، تولید داده مصنوعی یا ارزیابی غیرفوری می‌تواند تا دوره‌ای با شدت کربن پیش‌بینی‌شده کمتر صبر کند یا به منطقه مجاز دیگری برود. پژوهش محاسبات آگاه از کربن برای مراکز داده سامانه‌ای تولیدی برای جابه‌جایی زمانی بار انعطاف‌پذیر با استفاده از پیش‌بینی و محدودیت ظرفیت توصیف می‌کند.

زمان‌بندی مرز دارد:

  • کار ایمنی، پزشکی یا عملیاتی فوری را فقط برای پیش‌بینی پاک‌تر عقب نیندازید؛
  • اقامت داده، امنیت، انتقال شبکه، تأخیر و ظرفیت منطقه را حساب کنید؛
  • شدت کربن پیش‌بینی‌شده و محقق‌شده را ثبت کنید؛ پیش‌بینی نامطمئن است؛
  • نگذارید صف «ساعت پاک» به تلاش مجدد یا نقض موعد منجر شود؛
  • تأیید کنید کار جابه‌جا شده، نه اینکه کپی شده باشد؛
  • عامل حاشیه‌ای یا مکانی را به‌شکل ثابت به کار ببرید و انتخاب را اعلام کنید.

زمان‌بندی آگاه از کربن فقط وقتی انتشار عملیاتی را کم می‌کند که شدت شبکه تغییر کند و کار واقعاً قابل جابه‌جایی باشد. این کار ژول مصرفی وظیفه را کم نمی‌کند و انتشار نهفته سخت‌افزار را پاک نمی‌کند.

مثال عملی: سرویس استخراج فاکتور

فرض کنید شرکت ماهانه ۲۰۰ هزار فاکتور پردازش می‌کند. خط پایه هر صفحه، حتی جلد و تکراری، را به یک مدل چندوجهی بزرگ می‌فرستد. JSON نامعتبر دو بار دوباره اجرا می‌شود. انسان خروجی‌ها را بعد از ثبت نمونه‌گیری می‌کند.

جایگزین مرحله‌ای بسازید:

  1. با هش، تکرار دقیق را حذف کنید؛
  2. فایل خراب یا پشتیبانی‌نشده را رد کنید؛
  3. با طبقه‌بند سبک layout، فاکتور را از جلد جدا کنید؛
  4. برای قالب روشن OCR و اعتبارسنجی قطعی اجرا کنید؛
  5. صفحه مبهم را به مدل چندوجهی کوچک بفرستید؛
  6. فقط حالت کم‌اطمینان یا پرارزش را به مدل قوی‌تر ارتقا دهید؛
  7. جمع، مالیات، ارز، فروشنده و رابطه سفارش خرید را پیش از پذیرش اعتبارسنجی کنید؛
  8. شکست را به بازبینی بفرستید، نه تلاش مجدد کور.

دو سامانه را روی مجموعه لایه‌بندی‌شده یکسان شامل فاکتور فارسی و انگلیسی، اسکن، جدول، دست‌خط، چند ارز و دستور خصمانه مقایسه کنید. کف پذیرش برای دقت فیلد و تطبیق حسابداری ثابت کنید. کل سرویس را زیر بار واقعی متر کنید.

جدول تصمیم می‌تواند چنین باشد:

نامزدفاکتور پذیرفتهkWh / هزار پذیرفتهتأخیر p95خطای فیلد حیاتیبازبینی انسان
خط پایه، مدل بزرگ۹۶٫۸٪A اندازه‌گیری‌شدهAAA
مسیر مرحله‌ای۹۷٫۱٪B اندازه‌گیری‌شدهBBB
مسیر مرحله‌ای کوانتیزه۹۶٫۹٪C اندازه‌گیری‌شدهCCC

جدول را با تخمین معیار نامرتبط فروشنده پر نکنید؛ اجرا کنید. مسیر مرحله‌ای تنها وقتی منتشر می‌شود که حد کیفیت و کنترل را پاس کند، نه صرفاً چون B از A کمتر است.

دام‌های رایج و عدم قطعیت

اثر بازگشتی: ارزان‌ترشدن هر درخواست می‌تواند مصرف کل را بالا ببرد. هم شدت به‌ازای واحد کارکردی و هم انرژی و کربن مطلق ماهانه را پیگیری کنید.

انتقال محدوده: انتقال کار از شتاب‌دهنده به CPU پیش‌پردازش، شبکه، ذخیره‌سازی یا دستگاه مشتری شاید یک داشبورد را بهتر و اثر کل را بزرگ‌تر کند.

تخصیص بیکاری: endpoint همیشه‌روشن با ترافیک کم ممکن است کارایی اجرای فعال خوب و کارایی ماهانه ضعیف داشته باشد. بیکاری و scale-to-zero را حساب کنید.

فرسایش کیفیت: بهینه‌سازی شاید معیار عمومی را حفظ اما زبان یا حالت کسب‌وکار را خراب کند. گیت کیفیت باید توزیع استقرار را بازتاب دهد.

داده نامطمئن کربن: عامل شبکه، تخصیص ابر، PUE و موجودی انتشار نهفته ممکن است با تأخیر یا مدل‌شده باشد. منبع، زمان، مکان، روش و در صورت امکان بازه عدم قطعیت را گزارش کنید.

آب و محدودیت محلی: منطقه کم‌کربن شاید تنش آبی یا ازدحام شبکه داشته باشد. کربن تنها اثر محیطی یا اجتماعی نیست.

گیت انتشار و حلقه عملیاتی ۳۰ روزه

پیش از انتشار نیاز دارید:

  • واحد کارکردی و کف کیفیت نسخه‌دار؛
  • آزمون خروجی هم‌ارز در برابر خط پایه تولید؛
  • اندازه‌گیری توان کل سامانه یا تخمین کالیبره مستند؛
  • آزمون تأخیر p95 و ظرفیت در هم‌زمانی واقعی؛
  • نبود رگرسیون فراتر از حد برای زبان و ایمنی حیاتی؛
  • آزمون جداسازی و تازگی کش؛
  • fallback و rollback زیر بار؛
  • پایش انرژی مطلق، نه فقط شدت کارایی.

در ۳۰ روز نخست، سیگنال کیفیت و شکست را روزانه، شدت انرژی و کربن را هفتگی و مصرف انباشته را مرور کنید. با افزایش خطای حیاتی، عبور انرژی کار پذیرفته از بودجه، شکست صحت کش یا ورود ظرفیت به حالت ناکارآمد runtime بازگردانی کنید.

کارت امتیاز عملیات باید کیفیت، انرژی، کربن، هزینه و تأخیر را کنار هم بگذارد. تیتر جهت‌دار مفید چنین است:

شدت انرژی = کل kWh اندازه‌گیری یا تخصیص‌یافته
            / تعداد خروجی عبورکرده از گیت کیفیت

آن را با kWh کل و CO2e کل تخمینی همراه کنید. شدت ممکن است بهتر شود درحالی‌که تقاضای مطلق بالا می‌رود.

پرسش‌های رایج

آیا مدل کوچک‌تر همیشه کم‌مصرف‌تر است؟

خیر. پشتیبانی runtime، batching، بهره‌برداری سخت‌افزار، طول خروجی، تلاش مجدد و دقت وظیفه مهم‌اند. سامانه کامل را در کف کیفیت هم‌ارز مقایسه کنید.

آیا کوانتیزه‌سازی همیشه انرژی را کم می‌کند؟

خیر. می‌تواند حافظه و محاسبه را کم کند، اما سود به kernel، سخت‌افزار، مدل، دقت و بار بستگی دارد. عملیات پشتیبانی‌نشده یا تلاش مجدد ناشی از افت کیفیت می‌تواند سود را حذف کند.

آیا داشبورد کربن ارائه‌دهنده ابر کافی است؟

ورودی مفیدی است، اما تیم همچنان به مرز بار، مخرج عبورکرده از کیفیت، زمان، منطقه، روش تخصیص و عدم قطعیت نیاز دارد. داشبوردهای مختلف ممکن است قابل مقایسه نباشند.

آیا درخواست تعاملی را برای برق کم‌کربن عقب بیندازیم؟

معمولاً وقتی تأخیر به سرویس لطمه می‌زند خیر. جابه‌جایی زمانی را برای کار صریحاً قابل تعویق با موعد و محدودیت عملیاتی به کار ببرید.

تیم محصول ابتدا چه چیزی را تغییر دهد؟

فراخوان غیرضروری و تلاش مجدد کور را حذف، زمینه نامرتبط را کوتاه و کار ساده را از بزرگ‌ترین مدل دور کنید. سپس runtime و سخت‌افزار را با خط پایه اندازه‌گیری‌شده بهینه کنید.

محاسبات آگاه از انرژی وقتی معتبر می‌شود که انضباط معمول انتشار باشد: نتیجه ثابت، کیفیت ثابت، مرز صریح، اندازه‌گیری فیزیکی یا کالیبره و تغییر قابل بازگشت. هدف برچسب سبز نیست؛ ژول و کربن کمتر برای کاری است که هنوز شایسته نام «موفق» باشد.

یادداشت منابع

منابع بررسی‌شده و جاری تا ۳۰ ژوئیه ۲۰۲۶:

#انرژی هوش مصنوعی#بهینه‌سازی استنتاج#پایداری#زیرساخت

مطالب مرتبط

ادامه مطالعه

گزارش روزانه و راهنماهای عملیاتی ژرف را ببینید. این صفحه یک آرشیو موضوعی است، نه دعوت به شروع پروژه.