جمینای ۴ آرگون آزمون مالی والس را برد، اما در کار با رایانه عقب ماند

گوگل در ۳۰ سپتامبر جمینای ۴ آرگون را معرفی کرد؛ مدلی که در آزمون پژوهش مالی والس به رتبه اول رسیده، اما در آزمون کار با رایانه همین ارزیاب، هفتم از هشت مدل است. این فاصله، خبر مهم‌تری از یک عنوان کلی مثل «باهوش‌ترین مدل» است. برای شرکتی که می‌خواهد تهیه گزارش را به هوش مصنوعی بسپارد، پیدا کردن عدد درست در اسناد و انجام درست مراحل کار در نرم‌افزار، دو توانایی جدا هستند. آرگون در اولی شاهد امیدوارکننده‌ای دارد؛ از آن نمی‌توان موفقیت در دومی را نتیجه گرفت.

والس در گزارش تازه خود، امتیاز آرگون در Finance Agent v2 را ۶۵٫۴۰ درصد و رتبه آن را اول میان ۷۳ مدل ثبت کرده است. در CUA-bench، امتیاز ۴٫۸۳ درصد و رتبه هفتم میان هشت مدل است. این درصدها از دو آزمون متفاوت آمده‌اند؛ نه مخرج مشترک دارند و نه می‌شود اختلافشان را درصد افت بهره‌وری کارکنان دانست. برداشت ژرف این است که انتخاب مدل باید از کاری که قرار است تحویل بگیریم شروع شود، نه از رتبه‌ای که روی صفحه معرفی آن دیده‌ایم. رتبه اول یک حوزه، گواه مهارت در همه مراحل شغل نیست.

فرض کنیم تحلیلگر یک شرکت باید از میان چند گزارش، تعهدات مالی یک تأمین‌کننده را پیدا کند و سپس نتیجه را در سامانه خرید وارد کند. مدل ممکن است در جست‌وجوی سند و جمع‌بندی استدلال خوب باشد، اما در انتخاب پرونده درست، جابه‌جایی میان پنجره‌ها یا ثبت تغییر در جای مناسب به خطا برود. این مثال فرضی، نتیجه آزمون مشخصی از آرگون نیست؛ تفاوت نوع کار را نشان می‌دهد. به همین دلیل، آزمایشی که فقط کیفیت متن نهایی را می‌سنجد، برای واگذاری کل این فرایند کافی نیست. خروجی خوب و اجرای درست باید جداگانه بررسی شوند.

یک نکته در شرایط آزمون هم اهمیت دارد. گوگل سقف خروجی آرگون را یک میلیون توکن اعلام کرده، درحالی‌که والس در تنظیمات ارزیابی خود سقف ۲۶۲٬۱۴۴ توکن و سطح استدلال «بالا» را نشان می‌دهد. پس نباید فرض کرد همه امتیازهای منتشرشده با حداکثر ظرفیت اعلام‌شده گوگل به دست آمده‌اند. والس نیز می‌گوید تنظیمات بعضی آزمون‌ها می‌تواند متفاوت باشد. این تفاوت، به‌خودی‌خود شاهد تناقض یا خطای هیچ‌یک نیست؛ ظرفیت محصول و تنظیم انتخاب‌شده برای آزمایش، دو چیزند. برای تکرار یک نتیجه باید شرایط همان آزمایش را شناخت.

قیمت اعلام‌شده گوگل برای هر یک میلیون توکن ورودی و خروجی، در دوره آغازین به‌ترتیب ۲ و ۱۰ دلار است؛ پس از آن ۴ و ۲۰ دلار می‌شود. زمان پایان این دوره در معرفی مشخص نشده است. دسترسی هم فعلاً از مدافعان سایبری منتخب در برنامه Fairwind آغاز می‌شود و عرضه گسترده‌تر بعداً خواهد آمد. بنابراین نرخ معرفی، قیمت دائمی نیست و معرفی مدل، به معنای دسترسی عمومی همین امروز نیست. این دو شرط برای خرید مهم‌اند، اما هیچ‌کدام به‌تنهایی نمی‌گوید هزینه انجام یک کار واقعی چقدر خواهد شد.

والس هزینه هر آزمون در شاخص کلی خود را ۱۵٫۶۸ دلار گزارش می‌کند و در همان صفحه نرخ‌های ۴ و ۲۰ دلاری را درج کرده است. این عدد را نباید به‌عنوان تعرفه ثابت یک گزارش مالی برای مشتری نقل کرد. نوع مسئله، طول اجرای آن، ابزارهای در دسترس و میزان بازبینی می‌توانند نتیجه را عوض کنند. از نظر ژرف، پرسش اقتصادی روشن‌تر این است: برای رسیدن به یک پاسخ قابل‌استفاده، چند بار باید کار را اجرا و اصلاح کرد؟ توکن ارزان‌تر الزاماً به معنای کار ارزان‌تر نیست؛ همان‌طور که سقف خروجی بزرگ‌تر الزاماً به معنای مصرف بیشتر در هر درخواست نیست.

برای آزمودن این تفاوت، می‌توان یک مجموعه کوچک از پرونده‌های واقعی و مجاز سازمان را به دو بخش تقسیم کرد: استخراج شواهد از سند، و ثبت نتیجه در نرم‌افزار. برای هر بخش، پاسخ قابل‌قبول را از پیش تعیین کرد و زمان بررسی انسان، تلاش‌های ناموفق و هزینه اجرا را کنار هم نوشت. این پیشنهاد ژرف برای آزمایش است، نه گزارش بازده یک مشتری. اگر مدل در بخش نخست بهتر بود، می‌توان همان بخش را به آن سپرد و بخش دوم را به مسیر مطمئن‌تری داد. لازم نیست برای استفاده از یک توانایی خوب، همه کار را یک‌جا واگذار کرد.

در امنیت نیز خبر تازه سیسکو، فاصله میان توان کشف مشکل و کار لازم برای رفع آن را یادآوری می‌کند. سیسکو در اطلاعیه ۳۰ سپتامبر، انتشار هشدارها و نسخه‌های اصلاح‌شده برای محصولاتی از جمله Finesse، Meraki و NX-OS را برای ۷ اکتبر برنامه‌ریزی کرده است. این برنامه موقت است و فهرست می‌تواند تغییر کند؛ اطلاعیه، به معنای نصب شدن اصلاحات نیست. هیچ شاهدی هم در آن نیست که آرگون این آسیب‌پذیری‌ها را یافته باشد. این خبر جداگانه برای تیم فنی یک کار مشخص می‌سازد: تطبیق موجودی نرم‌افزار با اطلاعیه نهایی و آماده کردن زمان آزمایش و ارتقا.

در بخش اقتصاد، گزارش ۳۰ سپتامبر اداره تحلیل اقتصادی آمریکا می‌گوید مخارج مصرفی اوت به قیمت جاری ۰٫۹ درصد و پس از حذف اثر قیمت‌ها ۰٫۶ درصد نسبت به ماه قبل افزایش یافته است. درآمد قابل‌تصرف واقعی تغییری نکرده و نرخ پس‌انداز ۴٫۱ درصد بوده است. این انتشار، بازنگری سالانه ارقام از ژانویه ۲۰۲۱ را هم دربر دارد. برداشت محدود از این ترکیب آن است که رشد خرید، لزوماً با افزایش هم‌اندازه قدرت خرید جاری همراه نبوده است. این داده‌ها برای اوت‌اند و واکنش خانوارها به مدل معرفی‌شده در پایان سپتامبر را اندازه نمی‌گیرند.

گزارش همان روز ADP برای سپتامبر، افزایش ۹۰ هزار شغل بخش خصوصی را ثبت می‌کند؛ رقم اوت نیز از ۳۸ هزار به ۳۶ هزار بازنگری شده است. با این حال، فعالیت‌های مالی ۱۶ هزار شغل و خدمات حرفه‌ای و کسب‌وکار ۱۱ هزار شغل از دست داده‌اند. این گزارش، آمار اشتغال دولتی را شامل نمی‌شود و علت کاهش شغل‌ها را به آرگون یا هوش مصنوعی نسبت نمی‌دهد. افزایش کل اشتغال و افت در چند بخش می‌توانند هم‌زمان رخ دهند. جمع کل به‌تنهایی نمی‌گوید وضعیت تقاضا یا ظرفیت نیروی انسانی در واحدی که خریدار نرم‌افزار است چگونه بوده است.

نباید این ارقام اقتصادی را به نتیجه آزمون والس دوخت و از آن داستان قطعی جایگزینی کارکنان ساخت. گزارش اشتغال، تغییر تعداد شغل‌ها را می‌سنجد؛ آزمون مدل، عملکرد در تکلیف‌های مشخص را. برای فهم اثر واقعی بر یک شرکت، اطلاعاتی درباره حجم سفارش، زمان انجام کار و کیفیت خروجی لازم است که این منابع ارائه نمی‌کنند. نتیجه کاربردی ژرف محدودتر است: بودجه آزمایش را روی کاری متمرکز کنید که ضعف یا تأخیر آن معلوم است، و نتیجه را با همان کار بسنجید. این نگاه، نه وعده سود می‌دهد و نه توصیه خرید یا فروش دارایی است.

در روزهای بعد، سه شاهد ارزش دنبال کردن دارد: شرایط دسترسی گسترده‌تر آرگون، نتیجه آزمایش‌های قابل‌تکرار با هزینه و تنظیمات روشن، و عملکرد آن در کارهای چندمرحله‌ای مشتریان. درباره سیسکو، سند بعدی اطلاعیه نهایی ۷ اکتبر است، نه فرض تکمیل شدن اصلاحات از امروز. این شماره برای اول اکتبر، برابر با ۹ مهر، با قطع خبر در ساعت ۰۹:۱۰ تهران تهیه شده؛ پنجره ۳۰ ساعته از ۰۳:۱۰ روز قبل آغاز می‌شود. پنج منبع منتخب مربوط به انتشارهای ۳۰ سپتامبرند. تاریخ والس ساعت انتشار ندارد و نیمه‌شب در داده آن فقط ثبت روز است. جمع‌بندی: آرگون دلیل تازه‌ای برای آزمودن پژوهش مالی می‌دهد، نه مجوزی برای اعتماد یکسان به همه کارهایش.