
لاما سیپلاسپلاس با ادغام محاسبات، بعضی آزمونهای مک را سریعتر کرد
توسعهدهندگان لاما سیپلاسپلاس در ۱۹ سپتامبر مجموعهای از تغییرات اجرای مدل روی پردازندههای گرافیکی اپل را به کد اصلی افزودند.
ادامه مطلب
آنتروپیک سونت ۵٫۵ را عرضه کرد، اما قیمت هر توکن را نسبت به سونت ۵ پایین نیاورد. ادعای کاهش هزینه از مصرف کمتر توکن برای انجام کار میآید؛ تفاوتی که در بستن بودجه مهم است.
پژوهش ژرف۷ مهر ۱۴۰۵۷ دقیقهمنبع: Anthropic
آزمایش کدرَبیت نشانهای از این صرفهجویی نشان میدهد، ولی هم کوچک است و هم همه هزینههای سامانه را حساب نمیکند. عرضه مدل روی آمازون، برنامه تازه متا برای بازار سازمانی و جابهجایی مدیرعامل مونگودیبی نیز رقابت بر سر همین مشتریان را پررنگ میکنند. در بخش اقتصاد، گزارش دالاس از رشد فعالیت کارخانهها همراه با فشار قیمتها خبر میدهد. هیچکدام از این خبرها جای اندازهگیری هزینه یک کار درست و کامل را برای خریدار هوش مصنوعی نمیگیرد.
آنتروپیک در ۲۸ سپتامبر سونت ۵٫۵ را با همان نرخهای سونت ۵ عرضه کرد: هر یک میلیون توکن ورودی ۲ دلار، خروجی ۱۰ دلار و خواندن از حافظه نهان ۰٫۲۰ دلار. شرکت میگوید مصرف کمتر توکن میتواند هزینه هر کار را تا ۳۰ درصد پایین بیاورد و تولید خروجی بیش از ۳۰ درصد سریعتر شده است. اینها ادعاهای آنتروپیکاند، نه اندازهگیری ژرف. برای کسی که بودجه میبندد، تفاوت روشن است: تخفیف در تعرفه به همه مصرف مشمول آن میرسد، اما صرفهجویی ناشی از مصرف کمتر به نوع کار و نتیجه آن بستگی دارد.
توکن واحد پردازش متن است، نه معادل یک کار تمامشده. فرض کنیم یک برنامه باید اطلاعات یک فاکتور را استخراج کند. اگر پاسخ اول نام فروشنده را اشتباه بخواند، پاسخ کوتاهتر و ارزانتر هنوز کار را تمام نکرده است؛ تلاش دوباره و وقت کارمند به هزینه اضافه میشوند. در مقابل، اگر برنامه با مراجعه کمتر به همان سند، پاسخ درست بدهد، ثابت ماندن تعرفه مانع کاهش خرج نیست. برداشت ژرف این است که برای مقایسه دو مدل باید ابتدا نتیجه قابل قبول را تعریف کرد. کم شدن تعداد واژههای پاسخ، بهتنهایی نه نشانه دقت بیشتر است و نه رسید ارزانتر شدن کل فرایند.
کدرَبیت، شرکت سازنده ابزار بازبینی کد و یکی از آزمایشکنندگان اولیه این مدل، شواهد محدود اما مفیدی منتشر کرده است. در ۱۳ مورد دشوار، سونت ۵٫۵ شش خطای شناختهشده و سونت ۵ چهار خطا را با نظر قابل اقدام پیدا کردند؛ مدل جدید دو خطایی را از دست داد که قبلی یافته بود. در مجموعه ۴۴ درخواست تغییر کد، میانگین زمان بازبینی ۶ دقیقه و ۳۳ ثانیه، در برابر ۱۳ دقیقه و ۳۱ ثانیه بود. هزینه محاسبهشده فراخوانیهای کلود با نرخ فهرست نیز برای هر بازبینی ۰٫۴۶ دلار در برابر ۱٫۱۶ دلار شد. هزینه مدلهای دیگر کنار گذاشته شده و داوری کیفیت مجموعه بزرگتر هنوز تمام نشده است.
این نتیجه برای طرح یک آزمایش داخلی کافی است، نه برای کنار گذاشتن بازبین. تعداد کمتر نظرها میتواند وقت خواننده را آزاد کند؛ میتواند هم به معنی جا افتادن نکته مهم باشد. برای روشن شدن تفاوت، تیم نرمافزار باید نمونههایی از تغییرات خودش را با نتیجه معلوم انتخاب کند و بداند کدام خطا برایش گران تمام میشود. اصلاح رنگ یک دکمه و تغییر شیوه محاسبه مانده حساب، ریسک یکسانی ندارند. حتی اگر میانگین هزینه پایین بیاید، خطای کمتعداد در گروه دوم ممکن است تمام صرفهجویی گروه اول را از بین ببرد. ژرف این آزمایشهای کدرَبیت را مستقلاً تکرار نکرده است.
آنتروپیک همچنین تنظیم میزان تلاش مدل را بخشی از انتخاب هزینه و کیفیت میداند؛ پیشفرض در برنامههای کلود و کلود کد «متوسط» و در پلتفرم توسعهدهندگان «زیاد» است. پس مقایسه دو نام مدل، بدون ثبت تنظیمات اجرا، میتواند گمراهکننده باشد. در یک آزمون داخلی بهتر است نسخه مدل، دستور کار، ابزارهای در دسترس و سقف تلاش ثابت و ثبتشده باشند. بعد میتوان دید آیا تغییر مدل واقعاً تعداد مراجعه به فایل، تلاش دوباره یا انتظار کاربر را کم کرده است. اگر همزمان چند تنظیم عوض شوند، معلوم نمیشود سهم مدل در بهتر یا بدتر شدن نتیجه چقدر بوده است.
آمازون در همان روز دسترسی به سونت ۵٫۵ را روی Bedrock اعلام کرد. بخش دسترسی این اطلاعیه، پروفایل استنتاج جهانی را نام میبرد و عرضه Claude Platform on AWS را برای آمریکای شمالی ذکر میکند. این جزئیات از عبارت کلی «مدل روی ابر عرضه شد» مهمترند. خریدار باید محل مجاز پردازش داده، دسترسی حساب و مسیر صورتحساب خودش را بررسی کند؛ انتخاب یک منطقه در نمونه کد، بهخودیخود تضمین نمیکند که همه پردازش فقط همانجا انجام میشود. خبر عرضه، امکان بررسی یک گزینه تازه را میدهد، نه مجوز فرستادن هر نوع سند سازمانی به هر مسیر موجود.
برای یک تیم فارسیزبان، آزمون مفید میتواند از تغییرات واقعی نرمافزار حسابداری شروع شود: تاریخهای شمسی، مبلغهای ریالی و تومانی، و شرحهای کوتاه و مبهم. این مثال پیشنهادی ژرف است، نه کاربرد اثباتشده سونت. پاسخها را پیش از دیدن نام مدل ارزیابی کنید تا انتظار از محصول تازه در امتیاز دادن دخالت نکند. هزینه اجرا، زمان رسیدگی انسانی و موارد ردشده را جدا بنویسید. اگر نمونههای آسان تمام مجموعه را پر کنند، عدد میانگین درباره کارهای دشوار چیزی نمیگوید؛ اگر فقط سختترین موارد انتخاب شوند، هزینه استفاده روزمره هم درست نمایان نمیشود.
متا نیز ۲۸ سپتامبر از Meta Enterprise Platform خبر داد و سیجی دسای را برای هدایت آن معرفی کرد. برنامه اولیه، بردن مجموعهای شامل عامل Muse، عامل کسبوکار متا، Muse API و Muse Code به بازار سازمانی است. در این اطلاعیه، قیمت و زمان دسترسی عمومی یک بسته کامل مشخص نشده است. از نگاه ژرف، خریدار میتواند این رقیب احتمالی را زیر نظر بگیرد، اما نباید وعده عرضه را همردیف قراردادی بداند که امروز میشود شرایطش را سنجید. معیار مقایسه باید پشتیبانی، مسئولیت خطا و امکان خروج از خدمت را هم در بر بگیرد، نه فقط نام مدل یا شرکت.
مونگودیبی خروج فوری دسای و بازگشت دو ایتیچریا بهعنوان مدیرعامل موقت را تأیید کرد و پیشبینی قبلی خود برای فصل سوم و کل سال مالی ۲۰۲۷ را تغییر نداد. این تأیید دوباره، نتیجه مالی تازه یا تضمین تحقق سود نیست. جستوجوی مدیرعامل دائمی نیز آغاز شده است. نشست سرمایهگذاران برای ۲۹ سپتامبر ساعت ۱۱ صبح نیویورک برنامهریزی شده؛ در زمان گردآوری این گزارش هنوز برگزار نشده بود. این جابهجایی، اثر مستقیم برنامه متا بر مدیریت یک شرکت دیگر است، اما از آن بهتنهایی نمیتوان کاهش تقاضای پایگاه داده یا برنده شدن متا در فروش سازمانی را نتیجه گرفت.
در اقتصاد واقعی، گزارش ۲۸ سپتامبر بانک فدرال رزرو دالاس تصویر جداگانهای میدهد: شاخص تولید کارخانههای تگزاس به ۲۹٫۵ رسیده، اما شاخص چشمانداز شرکتها از ۱۹٫۲ به ۸٫۷ پایین آمده است. شاخص قیمت مواد اولیه نیز ۵۲٫۲ است. این اعداد تراز پاسخهای افزایش و کاهشاند، نه درصد رشد تولید یا تورم. دادهها در ۱۵ تا ۲۳ سپتامبر از ۶۳ پاسخدهنده جمع شدهاند. بنابراین بهبود فعالیت و نگرانی درباره هزینهها میتوانند همزمان وجود داشته باشند. این نظرسنجی منطقهای، مدرک اثر سونت یا سنجه تمام اقتصاد آمریکا نیست و نباید برای چنین نتیجهای به کار رود.
چیزهایی که باید بعداً دید مشخصاند: آیا ارزیابی کیفیت مجموعه بزرگتر کدرَبیت، سرعت بیشتر را با حفظ پوشش خطا همراه میداند؟ آیا مشتریان میتوانند در کار خودشان، با احتساب بازبینی و تلاش دوباره، خرج کمتری ثبت کنند؟ متا چه محصول قابل خریدی با چه تعهداتی عرضه خواهد کرد و مدیریت موقت مونگودیبی چه توضیحی درباره ادامه برنامه شرکت میدهد؟ جمعبندی ژرف این است که تعرفه ثابت با امکان صرفهجویی تناقض ندارد؛ اما صرفهجویی را باید پس از تحویل نتیجه قابل قبول حساب کرد. تعداد کمتر توکن، آغاز پرسش مالی است، نه پاسخ نهایی آن.
برچسبهاکلود سونتهزینه هوش مصنوعیبازبینی کداستقرار ابرینرمافزار سازمانیتولید صنعتی

توسعهدهندگان لاما سیپلاسپلاس در ۱۹ سپتامبر مجموعهای از تغییرات اجرای مدل روی پردازندههای گرافیکی اپل را به کد اصلی افزودند.
ادامه مطلبنسخه b10687 پروژه llama.cpp مسیر ضرب ماتریسی را برای دو نسل از پردازندههای گرافیکی Adreno کوالکام تغییر میدهد.
ادامه مطلب
نسخه ۱٫۲۸٫۱ ONNX Runtime میتواند مدلهای WebGPU را در نشست صرفاً کامپایل، بدون دسترسی به سختافزار GPU تبدیل و ذخیره کند.
ادامه مطلباگر این مطلب به فرایندی واقعی در سازمان شما مربوط است، از صفحه خدمات شروع کنید یا با ما تماس بگیرید.