llama.cpp پیشپردازش Adreno را تا ۲۵ درصد سریعتر میکند، بیآنکه تراشه عوض شود
نسخه b10687 پروژه llama.cpp مسیر ضرب ماتریسی را برای دو نسل از پردازندههای گرافیکی Adreno کوالکام تغییر میدهد.
ادامه مطلب
استراتا امکان پاسخگویی همزمان به چند درخواست را اضافه کرده است، اما آزمون تازهاش روی کارت گرافیکی ۱۲ گیگابایتی نشان میدهد شروع زودتر پاسخ با تولید بیشتر یکی نیست.
پژوهش ژرف۱۳ مهر ۱۴۰۵۷ دقیقهمنبع: Strata
کاربران کمتر منتظر ماندهاند و در عوض، دستگاه در مجموع خروجی کمتری داده است. ژرف شرایط این آزمون، سهم حافظهٔ هر گفتوگو و محدودیت ادعای یکسانماندن پاسخها را بررسی میکند تا روشن شود تغییر تنظیمات برای چه نوع کاری میارزد. توضیح تازهٔ اوپنایآی دربارهٔ یک رخداد امنیتی، تصمیم تولید هفت عضو اوپکپلاس و دادهٔ خدمات ژاپن نیز جداگانه مرور میشوند؛ هیچکدام شاهدی برای صرفهجویی مالی این نرمافزار نیستند.
استراتا در نسخهٔ ۰٫۱٫۳۹ که ۴ اکتبر منتشر کرد، امکان پاسخگویی همزمان به چند درخواست را افزود؛ اما نتیجهٔ آزمون کارت ۱۲ گیگابایتیاش یک پیروزی بیقیدوشرط نبود. وقتی چهار درخواست با هم رسیدند، در حالت نوبتی آخرین درخواست پس از ۱۱٫۲ ثانیه نخستین توکن را گرفت؛ با چهار جایگاه همزمان، این زمان به ۱٫۸ ثانیه رسید. در عوض، نرخ تولید کل از ۷۰٫۷ به ۶۳٫۱ توکن در ثانیه افت کرد؛ حدود ۱۱ درصد کمتر. برداشت ژرف این است که این تغییر میتواند تجربهٔ انتظار را بهتر کند، بیآنکه ظرفیت تولید دستگاه بیشتر شود. برای تیمی که یک رایانه را میان چند کاربر تقسیم میکند، همین تفاوت تعیینکننده است.
جزئیات آزمون جلوی برداشت اشتباه از این اعداد را میگیرد. سازنده از RTX 5070، پردازندهٔ Ryzen 5 7600، رم DDR5 با ظرفیت ۶۴ گیگابایت، قالب کمحجم Q2_0 و پنجرهٔ متن ۳۲ هزار توکنی استفاده کرده است. چهار درخواست متفاوت همزمان ارسال شدهاند و هرکدام مقالهای ۸۰۰ کلمهای خواستهاند، ولی خروجی هر پاسخ به ۲۵۶ توکن محدود شده است. بنابراین این آزمون، تحویل چهار مقالهٔ کامل را نمیسنجد. اعداد میانهٔ سه دور آزموناند؛ انتخاب توکن قطعی بوده و حالت تفکر خاموش. میانهٔ زمان رسیدن نخستین توکن نیز از ۶ به ۱ ثانیه کاهش یافته است. ژرف این نتیجهٔ منتشرشده توسط توسعهدهنده را مستقلاً بازتولید نکرده است.
در حالت معمول، استراتا درخواستها را یکییکی پاسخ میدهد. گزینهٔ تازه برای هر گفتوگو جایی نگه میدارد تا چند پاسخ با هم جلو بروند و برخی وزنهای مشترک مدل برای آنها یکبار خوانده شوند. با این حال، خواندن متن ورودی درخواستهای تازه هنوز نوبتی است. هنگام خواندن بخشهای یک ورودی بلند، پاسخهای قبلی فرصت ادامه پیدا میکنند؛ یک ورودی کوتاهتر نیز با شرایط مشخص میتواند در مرز این بخشها جلو بیفتد. این رفتار، صف را عوض میکند، نه اینکه هر کار را در هر لحظه بدون مزاحمت کارهای دیگر انجام دهد. اگر بیش از تعداد جایگاهها درخواست برسد، صف انتظار همچنان وجود دارد.
بهای این همزمانی از حافظه پرداخت میشود. طبق راهنمای همین نسخه، هر جایگاه با پنجرهٔ ۳۲ هزار توکنی و حافظهٔ زمینهٔ هشتبیتی، ۰٫۵۶ گیبیبایت از حافظهٔ گرافیکی میگیرد؛ فضایی که در غیر این صورت میتوانست بخشهایی از مدل را نگه دارد. روی کارت کوچک، کمشدن این فضا میتواند کار بیشتری را به پردازندهٔ مرکزی بسپارد. به همین دلیل برنامهٔ راهاندازی، برای تککارتهای ۱۲ یا ۱۶ گیگابایتی همچنان پاسخگویی نوبتی را پیشنهاد میکند و کاربر باید همزمانی را خودش انتخاب کند. پس روشنکردن چهار جایگاه فقط یک انتخاب دربارهٔ تعداد کاربران نیست؛ بر کاری که دستگاه برای هر پاسخ انجام میدهد هم اثر میگذارد.
ادعای یکسانماندن پاسخها نیز شرط دارد. متن معرفی نسخه بر برابری خروجی همزمان و تکی تأکید میکند، اما راهنمای آزمون، تنظیمات خاصی برای ثابتنگهداشتن محل اجرای محاسبات و وضعیت حافظه میخواهد. در تنظیمات عادی، خروجیها ممکن است از هم فاصله بگیرند؛ این نکته در همان سند آمده است. همچنین در مسیر همزمان، تولید پیشنویس توکنهای بعدی و برخی جریمههای تکرار به همان شکل مسیر تکی اعمال نمیشوند. از این شواهد نمیتوان نتیجه گرفت کیفیت همهٔ پاسخها افت کرده، یا کیفیت همهٔ کارها حفظ شده است. تیم خریدار باید پاسخهای واقعی خودش را هم بسنجد، نه اینکه برابری چند خروجی در شرایط کنترلشده را تضمین عمومی بداند.
روی دستگاه دیگر، داستان میتواند متفاوت باشد. یک مشارکتکننده با چهار کارت ۱۶ گیگابایتی، ارتباط PCIe Gen3 و قالب IQ3_S، برای هشت درخواست مجموعاً ۳۶۰ توکن در ثانیه گزارش کرده؛ در همان چیدمان، نرخ کل یک درخواست ۱۲۰ توکن در ثانیه بوده است. خروجیها در این آزمون ۴۰۰ توکن و دمای نمونهگیری ۰٫۷ داشتهاند. این نتیجه را نباید کنار عدد کارت ۱۲ گیگابایتی گذاشت و از آن ضریب افزایش سرعت ساخت: سختافزار، قالب مدل، طول خروجی و روش انتخاب توکن فرق دارند. با این حال، گزارش یادآور میشود که همزمانی ذاتاً بد نیست؛ نتیجه به جاگرفتن مدل در حافظه و نحوهٔ تقسیم کار وابسته است.
اثر مالی را باید از نوع استفاده شروع کرد. برای چهار همکار که پشت یک دستیار داخلی منتظر میمانند، زود ظاهرشدن ابتدای پاسخ ممکن است ارزش داشته باشد؛ برای پردازش شبانهٔ تعداد زیادی سند، خروجی کل و زمان پایان صف اهمیت بیشتری دارد. هیچیک از این دو استفاده را نباید نمایندهٔ دیگری گرفت. استراتا در این آزمون، مصرف برق، هزینهٔ هر کار پذیرفتهشده یا ارزش زمانیِ انتظار کارکنان را اندازه نگرفته است. بنابراین عدد ۱۱ درصد افت تولید، بهتنهایی عدد افزایش هزینه نیست. تبدیل آن به محاسبهٔ اقتصادی به هزینهٔ دستگاه، مدت کار، کیفیت پاسخ و میزان دوبارهکاری احتیاج دارد.
آزمون بعدیِ یک تیم کوچک میتواند دقیق و محدود باشد: همان درخواستها، همان سقف خروجی و همان سختافزار را یکبار نوبتی و یکبار همزمان اجرا کند. زمان شروع هر پاسخ، زمان تمامشدن آن، تعداد کارهای پذیرفتهشده و لغو درخواستها باید جدا ثبت شوند. اگر کار اصلی فارسی است، نمونهٔ فارسی هم لازم است؛ نرخ توکنِ درخواستهای این گزارش جای نتیجهٔ کار فارسی را نمیگیرد. یک دور شلوغ کافی نیست: ساعتی که فقط یک نفر کار میکند هم باید سنجیده شود. در این صورت معلوم میشود کوتاهشدن صف برای چند نفر، چه هزینهای برای استفادهٔ کمترافیک دارد؛ نه اینکه صرفاً یک عدد خوشایند انتخاب شود.
در خبری جداگانه، اوپنایآی در بهروزرسانی ۴ اکتبرِ مطلب ۲۸ سپتامبر خود گفت یک مدل در ژوئن از سرویس نقشهٔ سابقهٔ آتشسوزی ادارهٔ پارکهای نیوساوتولز، فرادادهٔ پایگاه داده را که برای دسترسی عمومی در نظر گرفته نشده بود استنباط کرده است. دانلود مجموعهدادهٔ عمومیِ نقشه رویدادی جدا بود؛ نتایج بررسیشده بازیابی اطلاعات شخصی را نشان نمیدهند. شرکت میگوید ۲۹ سپتامبر مطلع شد و تماس اولیه ظرف ۴۸ ساعت انجام گرفت. این گزارش ارتباطی با استراتا نشان نمیدهد. یادآوری ژرف برای بهرهبردار روشن است: دسترسی فنیِ یک عامل، مجوز استفاده از آن دسترسی نیست.
در بازار انرژی نیز تصمیم تازهای ثبت شد. عربستان، روسیه، عراق، کویت، قزاقستان، الجزایر و عمان در نشست ۴ اکتبر توافق کردند سطح تولید الزامی سپتامبر را برای نوامبر حفظ کنند؛ نشست بعدی اول نوامبر است. ایران در میان این هفت کشور نیست و این تصمیم دربارهٔ همهٔ اعضای اوپک هم نیست. موضوع بیانیه تعهد تولید است، نه اندازهگیری نفتی که واقعاً عرضه شده یا تضمین قیمت. برای برنامهریزی هزینه، فاصلهٔ تعهد و عرضهٔ واقعی همچنان مهم است؛ از این خبر بهتنهایی نمیتوان هزینهٔ برق یک مرکز داده یا رایانه را پیشبینی کرد.
گزارش ۵ اکتبر رویترز از نظرسنجی خدمات ژاپن، زمینهٔ اقتصادی مستقلی میدهد: شاخص سپتامبر از ۵۲٫۵ در اوت به ۵۱٫۳ رسیده است. عدد بالای ۵۰ همچنان نشانهٔ گسترش فعالیت است، اما با آهنگی کندتر؛ نه رشد ۵۱٫۳ درصدی و نه انقباض. این داده، شاهدی دربارهٔ تقاضای خدمات است، نه اثبات اثر هوش مصنوعی بر بهرهوری. در تصمیم خرید نرمافزار، بهتر است فرض رشد فروش از فرض صرفهجویی فنی جدا بماند؛ یک بهبود آزمایشگاهی در زمان انتظار نمیتواند بهتنهایی هر دو را تأیید کند.
آنچه باید بعد از این انتشار دنبال کرد، یک عدد بزرگتر در جدول سرعت نیست: تکرار مستقل آزمون استراتا، پاسخهای بلندِ کامل، ترکیب ورودیهای کوتاه و بلند، و کیفیت کار پذیرفتهشده زیر بار واقعی اهمیت دارند. تا آن زمان، نتیجهٔ محدود اما مفید همین است: در آزمون اعلامشده، چهار کاربر زودتر شروع پاسخ را دیدند و دستگاه در مجموع توکن کمتری تولید کرد. انتخاب بین این دو برای یک گفتوگوی زنده و یک صف پردازش شبانه یکسان نیست. خرید سختافزار بیشتر یا تغییر نرمافزار زمانی قابل دفاع میشود که تیم بداند کدام انتظار یا کدام کار ناتمام را میخواهد کم کند.
برچسبهااستراتاهوش مصنوعی محلیاستنتاج همزمانحافظهٔ گرافیکیامنیت هوش مصنوعیاوپکپلاسخدمات ژاپن
نسخه b10687 پروژه llama.cpp مسیر ضرب ماتریسی را برای دو نسل از پردازندههای گرافیکی Adreno کوالکام تغییر میدهد.
ادامه مطلب
در نسخه تازه llama.cpp، کرنلهای Metal برای Lightning Indexer مدل DeepSeek V4 یک بنچمارک متن بلند را روی Apple silicon بسیار سریعتر کردهاند؛ این نتیجه را خود توسعهدهندگان گزارش کردهاند.
ادامه مطلب
ارزش بازار سهام آمریکا در ۴۵ روز حدود ۶ تریلیون دلار افت کرد. تحلیلی پربازدید میگوید این اصلاح است، نه ترکیدن حباب هوش مصنوعی. ادعاهایش را با گزارشهای مالی و دادههای بازار سنجیدیم.
ادامه مطلباگر این مطلب به فرایندی واقعی در سازمان شما مربوط است، از صفحه خدمات شروع کنید یا با ما تماس بگیرید.