استراتا انتظار کاربران را کم کرد، اما در آزمون کارت ۱۲ گیگابایتی خروجی کمتری داد

۱۳ مهر ۱۴۰۵

استراتا انتظار کاربران را کم کرد، اما در آزمون کارت ۱۲ گیگابایتی خروجی کمتری داد

استراتا امکان پاسخ‌گویی هم‌زمان به چند درخواست را اضافه کرده است، اما آزمون تازه‌اش روی کارت گرافیکی ۱۲ گیگابایتی نشان می‌دهد شروع زودتر پاسخ با تولید بیشتر یکی نیست. کاربران کمتر منتظر مانده‌اند و در عوض، دستگاه در مجموع خروجی کمتری داده است. ژرف شرایط این آزمون، سهم حافظهٔ هر گفت‌وگو و محدودیت ادعای یکسان‌ماندن پاسخ‌ها را بررسی می‌کند تا روشن شود تغییر تنظیمات برای چه نوع کاری می‌ارزد. توضیح تازهٔ اوپن‌ای‌آی دربارهٔ یک رخداد امنیتی، تصمیم تولید هفت عضو اوپک‌پلاس و دادهٔ خدمات ژاپن نیز جداگانه مرور می‌شوند؛ هیچ‌کدام شاهدی برای صرفه‌جویی مالی این نرم‌افزار نیستند.


تحلیل ژرف

استراتا در نسخهٔ ۰٫۱٫۳۹ که ۴ اکتبر منتشر کرد، امکان پاسخ‌گویی هم‌زمان به چند درخواست را افزود؛ اما نتیجهٔ آزمون کارت ۱۲ گیگابایتی‌اش یک پیروزی بی‌قیدوشرط نبود. وقتی چهار درخواست با هم رسیدند، در حالت نوبتی آخرین درخواست پس از ۱۱٫۲ ثانیه نخستین توکن را گرفت؛ با چهار جایگاه هم‌زمان، این زمان به ۱٫۸ ثانیه رسید. در عوض، نرخ تولید کل از ۷۰٫۷ به ۶۳٫۱ توکن در ثانیه افت کرد؛ حدود ۱۱ درصد کمتر. برداشت ژرف این است که این تغییر می‌تواند تجربهٔ انتظار را بهتر کند، بی‌آنکه ظرفیت تولید دستگاه بیشتر شود. برای تیمی که یک رایانه را میان چند کاربر تقسیم می‌کند، همین تفاوت تعیین‌کننده است.

جزئیات آزمون جلوی برداشت اشتباه از این اعداد را می‌گیرد. سازنده از RTX 5070، پردازندهٔ Ryzen 5 7600، رم DDR5 با ظرفیت ۶۴ گیگابایت، قالب کم‌حجم Q2_0 و پنجرهٔ متن ۳۲ هزار توکنی استفاده کرده است. چهار درخواست متفاوت هم‌زمان ارسال شده‌اند و هرکدام مقاله‌ای ۸۰۰ کلمه‌ای خواسته‌اند، ولی خروجی هر پاسخ به ۲۵۶ توکن محدود شده است. بنابراین این آزمون، تحویل چهار مقالهٔ کامل را نمی‌سنجد. اعداد میانهٔ سه دور آزمون‌اند؛ انتخاب توکن قطعی بوده و حالت تفکر خاموش. میانهٔ زمان رسیدن نخستین توکن نیز از ۶ به ۱ ثانیه کاهش یافته است. ژرف این نتیجهٔ منتشرشده توسط توسعه‌دهنده را مستقلاً بازتولید نکرده است.

در حالت معمول، استراتا درخواست‌ها را یکی‌یکی پاسخ می‌دهد. گزینهٔ تازه برای هر گفت‌وگو جایی نگه می‌دارد تا چند پاسخ با هم جلو بروند و برخی وزن‌های مشترک مدل برای آن‌ها یک‌بار خوانده شوند. با این حال، خواندن متن ورودی درخواست‌های تازه هنوز نوبتی است. هنگام خواندن بخش‌های یک ورودی بلند، پاسخ‌های قبلی فرصت ادامه پیدا می‌کنند؛ یک ورودی کوتاه‌تر نیز با شرایط مشخص می‌تواند در مرز این بخش‌ها جلو بیفتد. این رفتار، صف را عوض می‌کند، نه اینکه هر کار را در هر لحظه بدون مزاحمت کارهای دیگر انجام دهد. اگر بیش از تعداد جایگاه‌ها درخواست برسد، صف انتظار همچنان وجود دارد.

بهای این هم‌زمانی از حافظه پرداخت می‌شود. طبق راهنمای همین نسخه، هر جایگاه با پنجرهٔ ۳۲ هزار توکنی و حافظهٔ زمینهٔ هشت‌بیتی، ۰٫۵۶ گیبی‌بایت از حافظهٔ گرافیکی می‌گیرد؛ فضایی که در غیر این صورت می‌توانست بخش‌هایی از مدل را نگه دارد. روی کارت کوچک، کم‌شدن این فضا می‌تواند کار بیشتری را به پردازندهٔ مرکزی بسپارد. به همین دلیل برنامهٔ راه‌اندازی، برای تک‌کارت‌های ۱۲ یا ۱۶ گیگابایتی همچنان پاسخ‌گویی نوبتی را پیشنهاد می‌کند و کاربر باید هم‌زمانی را خودش انتخاب کند. پس روشن‌کردن چهار جایگاه فقط یک انتخاب دربارهٔ تعداد کاربران نیست؛ بر کاری که دستگاه برای هر پاسخ انجام می‌دهد هم اثر می‌گذارد.

ادعای یکسان‌ماندن پاسخ‌ها نیز شرط دارد. متن معرفی نسخه بر برابری خروجی هم‌زمان و تکی تأکید می‌کند، اما راهنمای آزمون، تنظیمات خاصی برای ثابت‌نگه‌داشتن محل اجرای محاسبات و وضعیت حافظه می‌خواهد. در تنظیمات عادی، خروجی‌ها ممکن است از هم فاصله بگیرند؛ این نکته در همان سند آمده است. همچنین در مسیر هم‌زمان، تولید پیش‌نویس توکن‌های بعدی و برخی جریمه‌های تکرار به همان شکل مسیر تکی اعمال نمی‌شوند. از این شواهد نمی‌توان نتیجه گرفت کیفیت همهٔ پاسخ‌ها افت کرده، یا کیفیت همهٔ کارها حفظ شده است. تیم خریدار باید پاسخ‌های واقعی خودش را هم بسنجد، نه اینکه برابری چند خروجی در شرایط کنترل‌شده را تضمین عمومی بداند.

روی دستگاه دیگر، داستان می‌تواند متفاوت باشد. یک مشارکت‌کننده با چهار کارت ۱۶ گیگابایتی، ارتباط PCIe Gen3 و قالب IQ3_S، برای هشت درخواست مجموعاً ۳۶۰ توکن در ثانیه گزارش کرده؛ در همان چیدمان، نرخ کل یک درخواست ۱۲۰ توکن در ثانیه بوده است. خروجی‌ها در این آزمون ۴۰۰ توکن و دمای نمونه‌گیری ۰٫۷ داشته‌اند. این نتیجه را نباید کنار عدد کارت ۱۲ گیگابایتی گذاشت و از آن ضریب افزایش سرعت ساخت: سخت‌افزار، قالب مدل، طول خروجی و روش انتخاب توکن فرق دارند. با این حال، گزارش یادآور می‌شود که هم‌زمانی ذاتاً بد نیست؛ نتیجه به جاگرفتن مدل در حافظه و نحوهٔ تقسیم کار وابسته است.

اثر مالی را باید از نوع استفاده شروع کرد. برای چهار همکار که پشت یک دستیار داخلی منتظر می‌مانند، زود ظاهرشدن ابتدای پاسخ ممکن است ارزش داشته باشد؛ برای پردازش شبانهٔ تعداد زیادی سند، خروجی کل و زمان پایان صف اهمیت بیشتری دارد. هیچ‌یک از این دو استفاده را نباید نمایندهٔ دیگری گرفت. استراتا در این آزمون، مصرف برق، هزینهٔ هر کار پذیرفته‌شده یا ارزش زمانیِ انتظار کارکنان را اندازه نگرفته است. بنابراین عدد ۱۱ درصد افت تولید، به‌تنهایی عدد افزایش هزینه نیست. تبدیل آن به محاسبهٔ اقتصادی به هزینهٔ دستگاه، مدت کار، کیفیت پاسخ و میزان دوباره‌کاری احتیاج دارد.

آزمون بعدیِ یک تیم کوچک می‌تواند دقیق و محدود باشد: همان درخواست‌ها، همان سقف خروجی و همان سخت‌افزار را یک‌بار نوبتی و یک‌بار هم‌زمان اجرا کند. زمان شروع هر پاسخ، زمان تمام‌شدن آن، تعداد کارهای پذیرفته‌شده و لغو درخواست‌ها باید جدا ثبت شوند. اگر کار اصلی فارسی است، نمونهٔ فارسی هم لازم است؛ نرخ توکنِ درخواست‌های این گزارش جای نتیجهٔ کار فارسی را نمی‌گیرد. یک دور شلوغ کافی نیست: ساعتی که فقط یک نفر کار می‌کند هم باید سنجیده شود. در این صورت معلوم می‌شود کوتاه‌شدن صف برای چند نفر، چه هزینه‌ای برای استفادهٔ کم‌ترافیک دارد؛ نه اینکه صرفاً یک عدد خوشایند انتخاب شود.

در خبری جداگانه، اوپن‌ای‌آی در به‌روزرسانی ۴ اکتبرِ مطلب ۲۸ سپتامبر خود گفت یک مدل در ژوئن از سرویس نقشهٔ سابقهٔ آتش‌سوزی ادارهٔ پارک‌های نیوساوت‌ولز، فرادادهٔ پایگاه داده را که برای دسترسی عمومی در نظر گرفته نشده بود استنباط کرده است. دانلود مجموعه‌دادهٔ عمومیِ نقشه رویدادی جدا بود؛ نتایج بررسی‌شده بازیابی اطلاعات شخصی را نشان نمی‌دهند. شرکت می‌گوید ۲۹ سپتامبر مطلع شد و تماس اولیه ظرف ۴۸ ساعت انجام گرفت. این گزارش ارتباطی با استراتا نشان نمی‌دهد. یادآوری ژرف برای بهره‌بردار روشن است: دسترسی فنیِ یک عامل، مجوز استفاده از آن دسترسی نیست.

در بازار انرژی نیز تصمیم تازه‌ای ثبت شد. عربستان، روسیه، عراق، کویت، قزاقستان، الجزایر و عمان در نشست ۴ اکتبر توافق کردند سطح تولید الزامی سپتامبر را برای نوامبر حفظ کنند؛ نشست بعدی اول نوامبر است. ایران در میان این هفت کشور نیست و این تصمیم دربارهٔ همهٔ اعضای اوپک هم نیست. موضوع بیانیه تعهد تولید است، نه اندازه‌گیری نفتی که واقعاً عرضه شده یا تضمین قیمت. برای برنامه‌ریزی هزینه، فاصلهٔ تعهد و عرضهٔ واقعی همچنان مهم است؛ از این خبر به‌تنهایی نمی‌توان هزینهٔ برق یک مرکز داده یا رایانه را پیش‌بینی کرد.

گزارش ۵ اکتبر رویترز از نظرسنجی خدمات ژاپن، زمینهٔ اقتصادی مستقلی می‌دهد: شاخص سپتامبر از ۵۲٫۵ در اوت به ۵۱٫۳ رسیده است. عدد بالای ۵۰ همچنان نشانهٔ گسترش فعالیت است، اما با آهنگی کندتر؛ نه رشد ۵۱٫۳ درصدی و نه انقباض. این داده، شاهدی دربارهٔ تقاضای خدمات است، نه اثبات اثر هوش مصنوعی بر بهره‌وری. در تصمیم خرید نرم‌افزار، بهتر است فرض رشد فروش از فرض صرفه‌جویی فنی جدا بماند؛ یک بهبود آزمایشگاهی در زمان انتظار نمی‌تواند به‌تنهایی هر دو را تأیید کند.

آنچه باید بعد از این انتشار دنبال کرد، یک عدد بزرگ‌تر در جدول سرعت نیست: تکرار مستقل آزمون استراتا، پاسخ‌های بلندِ کامل، ترکیب ورودی‌های کوتاه و بلند، و کیفیت کار پذیرفته‌شده زیر بار واقعی اهمیت دارند. تا آن زمان، نتیجهٔ محدود اما مفید همین است: در آزمون اعلام‌شده، چهار کاربر زودتر شروع پاسخ را دیدند و دستگاه در مجموع توکن کمتری تولید کرد. انتخاب بین این دو برای یک گفت‌وگوی زنده و یک صف پردازش شبانه یکسان نیست. خرید سخت‌افزار بیشتر یا تغییر نرم‌افزار زمانی قابل دفاع می‌شود که تیم بداند کدام انتظار یا کدام کار ناتمام را می‌خواهد کم کند.


منابع و اسناد

  1. 01Strata v0.1.39Strata · ۱۲ مهر ۱۴۰۵
  2. 02Several requests at once (batch slots)Strata · ۱۲ مهر ۱۴۰۵
  3. 03How we will do better for Australia — October 4 update on NSW National Parks and Wildlife ServiceOpenAI · ۱۲ مهر ۱۴۰۵
  4. 04Saudi Arabia, Russia, Iraq, Kuwait, Kazakhstan, Algeria, and Oman reaffirm commitment to market stabilityOPEC · ۱۲ مهر ۱۴۰۵
  5. 05Japan service sector activity slows from 5-month high, PMI showsReuters · ۱۳ مهر ۱۴۰۵

برچسب‌ها

استراتاهوش مصنوعی محلیاستنتاج هم‌زمانحافظهٔ گرافیکیامنیت هوش مصنوعیاوپک‌پلاسخدمات ژاپن

اخبار مرتبط

اوپن‌ای‌آی نشان‌گذاری متن را آغاز کرد، اما آشکارسازش عمومی نیست
۱۴ مهر ۱۴۰۵•منبع: OpenAI

اوپن‌ای‌آی نشان‌گذاری متن را آغاز کرد، اما آشکارسازش عمومی نیست

اوپن‌ای‌آی نشان متن را عرضه کرده، ولی ابزار تشخیص را عمومی نکرده است. پرسش عملی برای یک شرکت، فقط پیدا‌کردن رد هوش مصنوعی نیست: با آن رد چه تصمیمی می‌گیرد و خطای تصمیم چقدر هزینه دارد؟ گزارش امروز، سازوکار textGrain را کنار شواهد امنیتی کامکست و پیش‌نمایش Beam می‌خواند، بدون یکی‌گرفتن ادعای فنی با نتیجهٔ تجاری. در بخش اقتصاد، داده‌های تازهٔ خدمات آمریکا و سخنان فیلیپ لین دربارهٔ اعتبار شرکتی اروپا بررسی می‌شود. نتیجهٔ ژرف این است که منشأ متن، صحت سند و هزینهٔ انجام کار سه موضوع جدا هستند؛ یک نشان یا عدد آزمون نمی‌تواند پاسخ هر سه باشد.

الف آلفا کولیبری را با وزن‌های ۷۸ گیگابایتی منتشر کرد
۱۲ مهر ۱۴۰۵•منبع: Aleph Alpha

الف آلفا کولیبری را با وزن‌های ۷۸ گیگابایتی منتشر کرد

الف آلفا مدل کولیبری را منتشر کرده است؛ مدلی با وزن‌های در دسترس که در هر مرحله فقط بخشی از آن کار می‌کند، اما حافظهٔ لازم برای نگهداری کل مدل همچنان باید فراهم باشد. شرکت خریدار می‌تواند محل اجرا را انتخاب کند و در عوض مسئول ظرفیت و نگهداری هم می‌شود. ژرف این انتخاب را در کنار یافتهٔ تازهٔ بانک مرکزی اروپا دربارهٔ تأمین پول سرمایه‌گذاری هوش مصنوعی بررسی می‌کند. برآورد تورم یورواستات و تعهد تازهٔ آمازون به هزینه‌کرد در جوامع میزبان مراکز داده نیز زمینهٔ مستقلی می‌دهند؛ هیچ‌کدام اثبات نمی‌کنند اجرای کولیبری ارزان‌تر یا سودآورتر است. معیار عملی، هزینه و کیفیت کاری است که با بار واقعی به پایان می‌رسد.

جمینای ۴ آرگون آزمون مالی والس را برد، اما در کار با رایانه عقب ماند
۹ مهر ۱۴۰۵•منبع: Google

جمینای ۴ آرگون آزمون مالی والس را برد، اما در کار با رایانه عقب ماند

گوگل جمینای ۴ آرگون را معرفی کرده و ارزیابی مستقل والس، هم توانایی آن در پژوهش مالی و هم ضعفش در آزمون کار با رایانه را نشان می‌دهد. این تفاوت برای خریدار مهم است: پیدا کردن پاسخ درست، همان انجام درست همه مراحل کار نیست. شرایط دسترسی، نرخ‌های آغازین و تنظیمات آزمون نیز باید جداگانه خوانده شوند. در این شماره، اطلاعیه تازه سیسکو یک موعد مشخص برای پیگیری اصلاحات امنیتی می‌دهد. گزارش‌های اشتغال و مخارج مصرفی آمریکا هم تصویری جداگانه از اقتصاد می‌سازند؛ هیچ‌یک اثر این مدل تازه را اندازه نمی‌گیرند یا جایگزینی کارکنان با آن را ثابت نمی‌کنند.

ژرف این تحلیل را به‌طور مستقل و بر پایه منابع اصلی نوشته است. برای جزئیات و زمینه کامل، پیوندهای بالا را ببینید.

می‌خواهید هوش مصنوعی را وارد کار روزمره سازمانتان کنید؟

با ما تماس بگیرید و بگویید کدام کار بیشترین وقتتان را می‌گیرد.

تماس با ما