بودجه استنتاج: هوش مصنوعی چه زمانی باید بیشتر فکر کند؟

«بیشتر فکرکردن» نام کوتاهی برای صرف محاسبه بیشتر پس از رسیدن درخواست است. این کار ممکن است به‌معنای مسیر استدلال طولانی‌تر، تولید چند نامزد مستقل، جست‌وجوی درختی میان راه‌حل‌های میانی، بازیابی منبع، فراخوان ابزار، نقد پاسخ یا اجرای ارزیاب باشد. هزینه و نوع خطای این روش‌ها یکسان نیست. تولید توکن بیشتر به‌تنهایی راهبرد قابلیت اعتماد نیست.

مسئله محصول، تخصیص منابع است. اصلاح املایی، محاسبه مالیات، مقایسه قرارداد و توصیه بالینی نباید مدل، ابزار، هدف تأخیر و مسیر بازبینی یکسان داشته باشند. پرسش مفید این نیست که «محاسبه زمان آزمون مؤثر است؟»؛ بلکه این است که «برای این کار، کدام عملیات اضافه آن‌قدر ارزش مورد انتظار دارد که هزینه‌اش توجیه شود؟»

محاسبه زمان استنتاج چند شکل متفاوت دارد

تیم باید دقیقاً نام ببرد چه چیزی می‌خرد:

• استدلال ترتیبی طولانی‌تر به یک مسیر فرصت بیشتری برای تجزیه، بازنگری و خودبررسی می‌دهد.
• نمونه‌گیری موازی چند راه‌حل مستقل می‌سازد و رأی‌گیری یا ارزیاب یکی را انتخاب می‌کند.
• جست‌وجو حالت‌های میانی را گسترش و هرس می‌کند و لازم نیست هر مسیر کامل شود.
• بازیابی و ابزار بودجه را صرف شاهد بیرونی، محاسبه دقیق، اجرای کد یا وضعیت واقعی سامانه می‌کند.
• نقد و تعمیر پیش‌نویس را از خطایابی و اصلاح جدا می‌کند.
• راستی‌آزمایی محصول نهایی را با آزمون اجرایی، صوری یا انسانی می‌سنجد.

این روش‌ها جایگزین مستقیم یکدیگر نیستند. ده نمونه هم‌بسته ممکن است یک سوءبرداشت را ده بار تکرار کنند. مسیر طولانی می‌تواند خطای ابتدای کار را توجیه کند. ارزیاب ممکن است متقاعدکننده‌ترین پاسخ را به‌جای پاسخ درست برگزیند. بازیابی می‌تواند شاهد معتبر اضافه کند، به‌شرط آن‌که سامانه منبع جاری را انتخاب و درست به‌کار ببرد.

این انتخاب‌ها باید در تنظیمات و تله‌متری دیده شوند. عبارت مبهم «تلاش استدلالی زیاد» برای تحلیل عملیاتی کافی نیست، مگر تیم بتواند آن را به تعداد توکن، فراخوان ابزار، نامزدها، آزمون‌ها، تأخیر و هزینه وصل کند.

پژوهش چه چیزی را پشتیبانی می‌کند و چه چیزی را نه؟

OpenAI در معرفی مدل استدلالی ۲۰۲۴ گزارش کرد عملکرد o1 هم با یادگیری تقویتی بیشتر در آموزش و هم با زمان بیشتر برای فکرکردن در استنتاج بهتر می‌شود. این یک نشانه محصول مهم بود، اما جزئیات فنی منتشرشده برای بازتولید مستقل سامانه کافی نبود.

مطالعه شفاف‌تر مقیاس‌دهی بهینه محاسبه زمان آزمون، جست‌وجو با ارزیاب فرایندی و تغییر تطبیقی توزیع پیشنهاد را روی مسائل ریاضی مقایسه کرد. نویسندگان دریافتند راهبرد مؤثر به سختی مسئله وابستگی جدی دارد. در شرایط آزمایش آن‌ها، تخصیص بهینه بیش از چهار برابر کارآمدتر از خط پایه بهترینِ N گزارش شد و مدل کوچک‌تر در دسته‌ای از مسائل که از قبل احتمال موفقیت غیرناچیز داشت، از مدل ۱۴ برابر بزرگ‌تر جلو زد. این قید مهم است: نتیجه نمی‌گوید هر مدل کوچک با چند توکن بیشتر روی هر کاری از مدل بزرگ بهتر می‌شود.

پژوهش s1 «اجبار بودجه» را روی مدل ریزتنظیم‌شده ۳۲ میلیاردپارامتری نشان داد. نویسندگان با کوتاه یا بلندکردن مسیر استدلال، هنگام افزایش بودجه فراتر از حالت عادی مدل، رشد ۵۰ به ۵۷ درصد را روی AIME24 گزارش کردند. این نتیجه نیز به مدل، داده آموزشی، مداخله پرامپت و بنچمارک ریاضی رقابتی مشخص مربوط است.

تا پایان ۲۰۲۵، مقایسه‌های گسترده‌تر نیز شرطی‌بودن نتیجه را تقویت کردند. هنر مقیاس‌دهی محاسبه زمان آزمون چند راهبرد را روی هشت مدل باز و چهار مجموعه استدلال آزمود و گزارش کرد هیچ روش واحدی همیشه برنده نیست؛ نوع مدل و سختی پرسش انتخاب مناسب را تغییر می‌دهد. این پژوهش‌ها از تخصیص تطبیقی دفاع می‌کنند، نه از قراردادن تمام درخواست‌ها در حلقه نامحدود «تا اطمینان فکر کن».

بر اساس سختی و پیامد مسیریابی کنید، نه فقط اعتماد مدل

سختی و پیامد دو محور جدا هستند. جدول کلمات دشوار ممکن است محاسبه بیشتری بخواهد اما پیامد اندکی داشته باشد. فرمان ظاهراً ساده حذف رکورد، فهم آسان ولی پیامد سنگین دارد.

مسیریاب عملی می‌تواند سه مسیر داشته باشد:

مسیر سریع: تبدیل کم‌پیامد با قرارداد پذیرش روشن، مانند قالب‌بندی، استخراج از منبع داده‌شده یا طبقه‌بندی دارای گزینه امتناع. مدل کوچک یا کم‌تأخیر، سقف توکن سخت و اعتبارسنجی قطعی مناسب است.

مسیر استاندارد: کار دانشی معمول با ابهام متوسط، مانند خلاصه، پیش‌نویس، پژوهش داخلی و پشتیبانی عادی. در صورت نیاز بازیابی یا یک دور نقد افزوده می‌شود.

مسیر عمیق: کار پرپیامد یا چندمحدودیتی، مانند تطبیق مالی، تغییر امنیتی، تفسیر سیاست، کد پیچیده یا توصیه مؤثر بر حق و ایمنی. منبع معتبر، ابزار، بررسی مستقل و در صورت اقتضای اثر، تأیید انسان لازم است.

نشانه‌های سختی شامل محدودیت‌های وابسته، زبان تخصصی ناآشنا، منابع متناقض، برنامه‌ریزی بلند، شکست تلاش اول و نرخ موفقیت تاریخی پایین مدل پایه در آن خانواده کار است. نشانه‌های پیامد شامل عمل برگشت‌ناپذیر، داده حساس، جابه‌جایی پول، تعهد حقوقی، اثر ایمنی و شعاع آسیب وسیع است.

اعتماد اعلام‌شده مدل فقط یک ویژگی باشد. مدل می‌تواند با اطمینان اشتباه کند و سبک اعتماد را از پس‌آموزش یاد بگیرد. نشانه تجربی بهتر است: نرخ عبور تاریخی کار مشابه، اختلاف ارزیاب، پوشش منبع، خطای ابزار و نبود شاهد الزامی.

برای معماری گسترده‌تر که هم مدل و هم بودجه استدلال را انتخاب می‌کند، راهنمای مسیریابی مدل برای هزینه و کیفیت را ببینید.

بودجه اضافه را صرف پیشرفت قابل مشاهده کنید

محاسبه اضافه وقتی دفاع‌پذیر است که شاهد بسازد. بپرسید واحد بعدی بودجه چه می‌کند:

• منبع اصلی گمشده را می‌یابد؛
• محاسبه را اجرا می‌کند، نه این‌که فقط درباره آن بنویسد؛
• وصله کد را در محیط ایزوله می‌آزماید؛
• بند قرارداد را با سیاست مصوب مقایسه می‌کند؛
• گزینه‌ای واقعاً مستقل می‌سازد؛
• ارزیاب حفاظت‌شده را اجرا می‌کند؛
• فرض حل‌نشده را آشکار می‌کند؛
• یا تصمیم را به متخصص واجد صلاحیت می‌سپارد.

یک دستیار بررسی قرارداد را در نظر بگیرید. گذر سریع بندها و محل منبع را استخراج می‌کند. گذر عمیق کتابخانه بند مصوب را بازیابی، مسئولیت و نگهداری داده را مقایسه، هر یافته را با صفحه واقعی کنترل و عبارت تازه را به مشاور حقوقی ارجاع می‌دهد. درخواست «خیلی عمیق فکر کن» با چهار برابر توکن، اطمینان کمتری می‌سازد.

این اصل استنتاج را به پاداش قابل بررسی و کار راستی‌آزمایی‌پذیر پیوند می‌دهد. روش آموزش و استنتاج متفاوت است، اما هر دو زمانی قابل اعتمادتر می‌شوند که پیشرفت به مدرکی متصل باشد که فرایندی دیگر بتواند ببیند.

بودجه و سیاست توقف تعریف کنید

هر مسیر سقف و دلیل توقف نیاز دارد. محدودیت‌های مفید عبارت‌اند از:

• حداکثر توکن تولیدی؛
• حداکثر تعداد راه‌حل نامزد؛
• حداکثر فراخوان ابزار یا عمق جست‌وجو؛
• مهلت زمانی؛
• بودجه پول یا انرژی؛
• حداقل پوشش شواهد؛
• حداکثر تلاش مجدد پس از یک شکست یکسان؛
• و شرط اجباری ارجاع.

سیاست توقف باید موفقیت، بی‌فایدگی و خطر را تشخیص دهد. وقتی معیار سخت پذیرش پاس شد با موفقیت متوقف شود. وقتی شاهد لازم قابل دستیابی نیست با نتیجه «ناکافی» پایان یابد. وقتی بررسی‌ها درباره تصمیم پرپیامد اختلاف دارند، مجوز موجود نیست یا عمل برگشت‌ناپذیر است، توقف و ارجاع انجام شود.

اصرار را با استدلال اشتباه نگیرید. تکرار فراخوان شکست‌خورده بدون اطلاعات تازه پیشرفت نیست. تولید توضیح طولانی‌تر درحالی‌که پایگاه داده یا منبع ضروری در دسترس نیست نیز پیشرفت محسوب نمی‌شود.

سامانه باید رد رویداد کوتاهی نگه دارد: مسیر انتخاب‌شده، ویژگی‌های مؤثر، بودجه داده‌شده، شاهد گردآوری‌شده، بررسی‌های اجراشده، علت پایان و مداخله انسان. این سابقه بدون ذخیره استدلال پنهان و خصوصی، خطایابی و حاکمیت را پشتیبانی می‌کند.

مطلوبیت را بسنجید، نه فقط دقت را

هدف بهینه به محصول بستگی دارد. یک صورت‌بندی مفید چنین است:

مطلوبیت مورد انتظار = ارزش نتیجه − زیان خطا − هزینه تأخیر − هزینه محاسبه − هزینه بازبینی

این اجزا را برای هر خانواده کار برآورد کنید. دو درصد رشد کیفیت ممکن است چند ثانیه تأخیر را در بازبینی کد توجیه کند و در مکالمه صوتی زنده غیرقابل قبول باشد. یک خطای مالی کم‌تکرار می‌تواند ارزش هزاران درخواست ارزان و موفق را از بین ببرد.

کارت امتیاز مسیریاب باید این موارد را داشته باشد:

• موفقیت کار با معیار بیرونی؛
• نرخ خطای شدید و کیفیت امتناع؛
• میانه، صدک ۹۵ و صدک ۹۹ تأخیر؛
• هزینه ورودی، استدلال، خروجی، بازیابی و ابزار؛
• تعداد نتیجه معتبر در بودجه ثابت؛
• زمان بازبینی و اصلاح انسان؛
• توزیع مسیر برحسب کار و گروه کاربر؛
• مسیریابی بیش‌ازحد: مسیر گران بدون سود محسوس؛
• مسیریابی کم: مسیری ارزان که عمق بیشتر جلوی شکست را می‌گرفت؛
• و کالیبراسیون میان سختی پیش‌بینی‌شده و موفقیت واقعی.

ارزیابی را با بودجه ثابت انجام دهید تا سامانه صرفاً با خرج بیشتر برنده نشود. مدل سریع، مدل بزرگ تک‌پاس، استدلال ترتیبی، نمونه‌گیری موازی و راستی‌آزمایی ابزارمحور را روی یک مجموعه یکسان مقایسه کنید. حالت‌های آسان را نیز وارد کنید؛ بنچمارک سراسر معماهای سخت، هزینه خدمت اضافی به ترافیک عادی را نشان نمی‌دهد.

فکر بیشتر می‌تواند آسیب بزند

مسیر طولانی بازده نزولی و گاهی منفی دارد. پیش‌چاپ ۲۰۲۵ با عنوان آیا فکر بیشتر همیشه کمک می‌کند؟ روی مدل‌ها و بنچمارک‌های مورد آزمایش ابتدا رشد و سپس افت عملکرد گزارش کرد و نشان داد مسیر موازی همراه رأی‌گیری می‌تواند در بودجه برابر از اجبار به ادامه بهتر باشد. پیش‌چاپ ۲۰۲۶ وقتی فکر بیشتر آسیب می‌زند نیز مواردی گزارش کرد که ادامه استدلال، پاسخ درست قبلی را کنار گذاشت. این‌ها قانون عمومی نیستند، اما توقف زودهنگام و اعتبارسنجی مختص مسیر را توجیه می‌کنند.

خطاهای دیگر عبارت‌اند از:

• نامزد هم‌بسته: نمونه‌های موازی فرض غلط یکسان دارند.
• انتخاب‌گر ضعیف: ارزیاب به سبک، طول یا ساختار آشنا پاداش می‌دهد.
• تقویت ابزار: گام بیشتر فرصت عمل ناامن را زیاد می‌کند.
• رقیق‌شدن زمینه: دستور مهم زیر بازیابی و متن تولیدی دفن می‌شود.
• آبشار تأخیر: تلاش مجدد و ابزار ترتیبی انتهای توزیع تأخیر را غیرقابل پیش‌بینی می‌کند.
• سوگیری بودجه: کاربر یا زبانی که داده تاریخی دشوارتری دارد، دائماً تأخیر بدتر یا منابع کمتر می‌گیرد.
• هزینه نامرئی: ارائه‌دهنده رفتار استدلال را عوض می‌کند ولی فقط سطح مبهم محصول را نشان می‌دهد.

پیامد بالا نیز به‌معنای «همیشه بیشترین بودجه» نیست. گاهی پاسخ امن‌تر این است که نتیجه بدون مدرک صادر نشود، شاهد گمشده نشان داده شود و پرونده به انسان برسد.

چارچوب استقرار

با فهرست برچسب‌خورده کارها شروع کنید. برای هر خانواده، نتیجه مطلوب، خطای قابل قبول، پیامد، ارزیاب موجود، هدف تأخیر و مالک انسانی را بنویسید.

بعد چند سیاست روشن بسازید، نه یک امتیاز اسرارآمیز پیوسته. نسخه اول می‌تواند تبدیل قطعی را به سریع، تحلیل نیازمند شاهد را به استاندارد همراه بازیابی و عمل پراثر را به عمیق همراه تأیید بفرستد.

سیاست را آفلاین روی نمونه تاریخی، رخداد شناخته‌شده و کار عادی اجرا کنید. سپس درخواست زنده را در سایه مسیریابی کنید بی‌آن‌که پاسخ کاربر تغییر کند. بسنجید هر سیاست چند بار کیفیت، هزینه و تأخیر را عوض می‌کرد.

با سقف محافظه‌کارانه منتشر کنید. هر هفته تصمیم مسیریابی غلط را مرور کنید، نه فقط شکست مدل را. پاسخ درست با هزینه غیرضروری شکست مسیریاب است؛ پاسخ ارزان با اصلاح پایین‌دست گران نیز شکست دیگری است.

در نهایت با تغییر مدل پایه، پرامپت، ارزیاب، قیمت یا بار کاری، آستانه‌ها را تازه کنید. سیاست استنتاج یک سامانه تولیدی است، نه نتیجه یک‌باره بنچمارک.

پرسش‌های رایج

آیا پاسخ طولانی‌تر نشانه استدلال بیشتر است؟

نه. طول قابل مشاهده می‌تواند از تکرار، قالب یا توضیح بیاید. موفقیت بیرونی، شواهد ابزار و آزمون را بسنجید، نه صرفاً تعداد توکن.

آیا کار پرخطر همیشه باید چند مدل داشته باشد؟

نه لزوماً. چند مدل ممکن است داده و خطای مشترک داشته باشند. استقلال از کانال شاهد متفاوت می‌آید: محاسبه قطعی، آزمون خصوصی، منبع معتبر یا بازبین واجد صلاحیت؛ نه فقط تعداد مدل.

آیا مسیریاب می‌تواند درباره فوریت یا ریسک از کاربر بپرسد؟

بله. پیامد و ترجیح تأخیر که کاربر اعلام می‌کند مفید است، ولی سامانه باید سیاست سازمان را برای داده حساس و عمل برگشت‌ناپذیر همچنان اجرا کند.

ساده‌ترین قدم امن چیست؟

کار قطعی کم‌ریسک را از بقیه جدا کنید، سقف سخت بگذارید، هرجا ممکن است ارزیاب اضافه کنید و مسیر و علت توقف را ثبت کنید. پیچیدگی باید با الگوی شکست واقعی توجیه شود.

منابع — ۳۰ ژوئیه ۲۰۲۶

• Learning to Reason with LLMs، گزارش رسمی OpenAI درباره مقیاس آموزش و استنتاج o1؛ جزئیات پیاده‌سازی محدود است.
• Scaling LLM Test-Time Compute Optimally، مطالعه اصلی تخصیص وابسته به سختی، جست‌وجو و ارزیاب.
• s1: Simple Test-Time Scaling، مطالعه اصلی ریزتنظیم و اجبار بودجه.
• The Art of Scaling Test-Time Compute for Large Language Models، مقایسه اصلی چند مدل و چند روش زمان آزمون.
• Does Thinking More Always Help? و When More Thinking Hurts، پیش‌چاپ‌هایی درباره بیش‌فکری و بازده نزولی.

رشدهای گزارش‌شده به بنچمارک، مدل و روش وابسته‌اند. تیم باید نتیجه را روی توزیع کار خود بازتولید کند و هزینه کامل استنتاج، راستی‌آزمایی، تأخیر و اصلاح را در نظر بگیرد.