
معنی تازه برای ۱٫۶ میلیون بیت گنجور؛ این کار چطور انجام شد؟
گنجور حالا زیر تقریباً همه بیتهایش معنی تازهای به فارسی امروز دارد. ماجرای کار را از انتخاب مدل تا هزینه و نتیجه بخوانید، و اینکه کدام معنیها را هنوز باید با احتیاط خواند.
ادامه مطلب
طبق یک پیشبینی تازه، تا ۲۰۲۸ هوش مصنوعی در کار پژوهش هوش مصنوعی به پای بهترین پژوهشگران میرسد. این ادعا را با آمار METR، آنتروپیک و OpenAI سنجیدیم و نشان دادیم کجایش سست است.
پژوهش ژرف۲۶ آبان ۱۴۰۵۲۶ دقیقهمنبع: Dwarkesh Patel
آیا هوش مصنوعی بهزودی کار بهترین پژوهشگران هوش مصنوعی را انجام میدهد و بعد خودش را بهتر میکند؟ دوارکش پاتل، مجری پادکست و نویسنده حوزه فناوری، بهتازگی با جزئیات به این سؤال جواب مثبت داده است. مقاله او با عنوان «بهمنی که بر سر ریاضیات آمد، حالا به سراغ توسعه هوش مصنوعی میآید» ۱۳ نوامبر ۲۰۲۶ (۲۲ آبان ۱۴۰۵) منتشر شد. پیشبینی میکند که حدود سال ۲۰۲۸ هوش مصنوعی در کار پژوهش هوش مصنوعی به پای بهترین پژوهشگران برسد. بعد از آن، چون خود این پژوهش خودکار شده، پیشرفت چنان سرعت میگیرد که تا ۲۰۳۰ هوش مصنوعی تقریباً در هر رشتهای دستکم همسطح بهترین متخصصان میشود. خودش میگوید تا سه ماه پیش این اتفاق را خیلی دورتر میدید. دو چیز نظرش را عوض کرد: آمار تازهای که از داخل شرکتهای پیشرو هوش مصنوعی بیرون آمده، و اینکه هوش مصنوعی با چه سرعتی مسئلههای ریاضی را پشت سر هم حل کرد.
در این نوشته مقاله پاتل را بخشبهبخش مرور میکنیم، از جمله پیوست فنیاش را که اصل استدلال همانجاست. هر جا پاتل آمار سازمان دیگری را خلاصه کرده، سراغ متن خود آن سازمان رفتهایم و همان چیزی را آوردهایم که آنجا نوشته شده است. هر جا هم پیشبینی کرده، گفتهایم که این پیشبینی اوست. دو بخش آخر نظر تیم ژرف است: استدلال کجا محکم است و کجا سست، و تیمی که امروز با هوش مصنوعی محصول میسازد از این بحث چه نتیجهای بگیرد.
درباره شواهد: تاریخها و احتمالهایی که در ادامه میآید پیشبینی شخصی پاتل است، نه آمار. عددهای مربوط به سریعتر شدن پیشرفت را با گزارشهای METR، آنتروپیک و Epoch AI مقایسه کردهایم. هر ادعایی را که نتوانستیم در منبع اصلیاش ببینیم، به نقل از خود مقاله آوردهایم. نمودارها را تیم ژرف از روی دادههای منتشرشده کشیده است و نمودارهای خود پاتل در مقالهاش هست. تصویر بالای صفحه تابلوی «بهمن در آلپ» اثر فیلیپ جیمز دو لوتربورگ (۱۸۰۳، موزه تیت بریتن) است؛ اثری که حق نشرش آزاد است و خود مقاله هم از آن استفاده کرده است.
حرف اصلی مقاله درباره «پژوهشگر خودکار» است: سیستمی که کار بهترین پژوهشگران یک شرکت پیشرو هوش مصنوعی را با سرعت ماشین انجام میدهد و میشود همزمان هزاران نسخه از آن را به کار گرفت. به اینکه چنین سیستمهایی خودشان نسل بعدی بهتری بسازند «خودبهبودی بازگشتی» (recursive self-improvement یا RSI) میگویند. پیشبینیهای پاتل، و اینکه از هر کدام چقدر مطمئن است، اینهاست:
| مرحله | برآورد پاتل |
|---|---|
| رسیدن هوش مصنوعی به پای بهترین پژوهشگران هوش مصنوعی | میانه پیشبینی او سال ۲۰۲۸ است، یعنی احتمال زودتر و دیرتر شدنش را برابر میداند. ۲۰۲۷ را هم ممکن میداند و حدود ۲۵ درصد احتمال میدهد که به بعد از ۲۰۳۲ بکشد |
| سال اول بعد از آن | ۵۰ درصد «جرقه» (spark): حدود سه تا شش سال پیشرفت در یک سال فشرده میشود. ۵۰ درصد «تکینگی نرمافزاری» (software-only singularity): مدلها فقط با بهتر شدن نرمافزار، پشت سر هم جهش میکنند |
| همسطح شدن با بهترین متخصصان، تقریباً در هر رشته | به نظر پاتل به احتمال زیاد تا ۲۰۳۰؛ یعنی چند ماه بعد از اینکه این سیستمها در آن رشتهها مشغول کار شوند |
| فرضی که همه اینها به آن بسته است | شرکتها عمداً سرعت را کم نکنند |
دو نکته را هنگام خواندن ادامه مطلب در نظر داشته باشید. اول اینکه پاتل معیار «بهترین پژوهشگر» را عمداً سخت گرفته است و از کسانی در حد ایلیا ساتسکیور و نوام شازیر نام میبرد. دوم اینکه آن ۲۵ درصد را سرسری نگفته است: بیشتر پیوست مقاله درباره گلوگاههایی است که ممکن است کار را همینقدر عقب بیندازند.
پاتل اول سه آمار میآورد تا نشان دهد هوش مصنوعی تا همینجا هم ساخت هوش مصنوعی را سریعتر کرده است. هر سه یا از خود شرکتها آمده یا از مؤسسهای که برای ارزیابی به داخل یکی از آنها راه داشته است. برای همین جزئیات هر آمار مهم است.
| پاتل میگوید | منبع اصلی میگوید |
|---|---|
| به گفته METR، آنتروپیک در کارهایی با تعریف دقیق (به تعبیر پاتل well-scoped) با دو برابر سرعت پارسال پیش میرود و بیشتر این افزایش کار هوش مصنوعی است | ارزیابی METR (۵ نوامبر ۲۰۲۶) میگوید پیشرفت در کارهایی با تعریف دقیق (به تعبیر METR well-specified) حدود دو برابر سریعتر از دوره مارس ۲۰۲۴ تا اکتبر ۲۰۲۵ است. شاخصی که METR از نتایج بنچمارکها میسازد ۱٫۹ برابر سریعتر از قبل بالا رفته است (بازه اطمینان ۹۵ درصدی: ۱٫۵ تا ۲٫۸ برابر). نویسندگان بعید نمیدانند عدد واقعی نزدیک ۱٫۳ یا ۳ برابر باشد. حدس میزنند بیشتر این افزایش سرعت، «شاید حدود ۸۰ درصد» آن، کار هوش مصنوعی باشد. |
| پرمصرفترین ده درصد پژوهشگران OpenAI قبلاً روزی حدود ۱٬۰۰۰ دلار برای هوش مصنوعی خرج میکردند و حالا روزی بیش از ۷٬۰۰۰ دلار | OpenAI این دادهها را در نوشتهای در سپتامبر ۲۰۲۶ منتشر کرد و Epoch AI آنها را در جدول آورده است. پژوهشگری که از ۹۰ درصد همکارانش بیشتر خرج میکند (صدک نودم)، در هفته منتهی به ۳۱ مه روزی ۹۷۲ دلار خرج میکرد و در هفته منتهی به ۱۵ اوت روزی ۷٬۰۴۷ دلار. میانه خرج پژوهشگران هم از کمتر از یک دلار در ژانویه به ۶۰۱ دلار رسید. همه این رقمها با قیمت اعلامشده API حساب شده است، نه با هزینهای که واقعاً برای OpenAI تمام میشود. |
| در اوت، بیش از ۲۶ درصد کار تحقیق و توسعه آنتروپیک را Claude «پیش میبرد» (leads)؛ در فوریه این سهم کمتر از یک درصد بود | «پیش بردن» یعنی Claude با یک دستور کلی، بیشتر کار را از اول تا آخر خودش انجام میدهد و انسان فقط نظارت میکند. صفحه آمار آنتروپیک سهم این کارها را در اوت ۲۶ درصد نشان میدهد و از مارس تا ژوئیه بهترتیب ۱، ۳، ۱۲، ۱۴ و ۲۲ درصد. هیچ بخشی از کارهایی که بررسی شده کاملاً خودکار نیست. |
خرج روزانه هر پژوهشگر OpenAI برای عاملهای کدنویسی
هر نقطه میانگین خرج روزانه در یک هفته است، به دلار و با قیمت اعلامشده API؛ محور عمودی لگاریتمی؛ ژانویه تا ۱۵ اوت ۲۰۲۶
| هفته منتهی به | میانه | صدک نودم |
|---|---|---|
| 2026-01-04 | ۰ دلار | ۱٫۹۵ دلار |
| 2026-01-11 | ۰ دلار | ۱۰ دلار |
| 2026-01-18 | ۰٫۱۷ دلار | ۱۹ دلار |
| 2026-01-25 | ۰٫۵۱ دلار | ۲۹ دلار |
| 2026-02-01 | ۰٫۹۴ دلار | ۳۴ دلار |
| 2026-02-08 | ۲٫۲۴ دلار | ۴۳ دلار |
| 2026-02-15 | ۱٫۷۲ دلار | ۴۳ دلار |
| 2026-02-22 | ۱٫۰۹ دلار | ۴۴ دلار |
| 2026-03-01 | ۵٫۶۶ دلار | ۸۶ دلار |
| 2026-03-08 | ۱۰ دلار | ۱۱۲ دلار |
| 2026-03-15 | ۱۰ دلار | ۱۱۲ دلار |
| 2026-03-22 | ۱۳ دلار | ۱۵۶ دلار |
| 2026-03-29 | ۱۴ دلار | ۲۳۹ دلار |
| 2026-04-12 | ۲۹ دلار | ۳۴۵ دلار |
| 2026-04-19 | ۴۲ دلار | ۴۱۳ دلار |
| 2026-04-26 | ۴۵ دلار | ۴۶۰ دلار |
| 2026-05-03 | ۶۶ دلار | ۵۷۳ دلار |
| 2026-05-10 | ۸۲ دلار | ۶۴۵ دلار |
| 2026-05-17 | ۸۰ دلار | ۶۸۸ دلار |
| 2026-05-24 | ۱۰۱ دلار | ۷۹۵ دلار |
| 2026-05-31 | ۱۳۷ دلار | ۹۷۲ دلار |
| 2026-06-07 | ۱۴۸ دلار | ۹۷۱ دلار |
| 2026-06-14 | ۱۶۱ دلار | ۱٬۱۱۱ دلار |
| 2026-06-21 | ۱۵۶ دلار | ۱٬۰۲۰ دلار |
| 2026-06-28 | ۱۵۱ دلار | ۱٬۱۶۹ دلار |
| 2026-07-12 | ۱۶۳ دلار | ۱٬۶۴۲ دلار |
| 2026-07-19 | ۲۳۶ دلار | ۲٬۱۸۸ دلار |
| 2026-07-26 | ۳۰۴ دلار | ۴٬۴۱۳ دلار |
| 2026-08-02 | ۳۷۷ دلار | ۵٬۲۷۴ دلار |
| 2026-08-09 | ۴۳۴ دلار | ۶٬۱۰۰ دلار |
| 2026-08-15 | ۶۰۱ دلار | ۷٬۰۴۷ دلار |
منبع: نوشته سپتامبر ۲۰۲۶ OpenAI؛ دادهها را Epoch AI در جدول آورده است (مجوز CC BY). این رقمها را خود OpenAI گزارش کرده و مصرفی که از راه اسکریپت و API بوده در آنها حساب نشده است. نمودار: ژرف.
در این نمودار که محور عمودیاش لگاریتمی است، هر دو منحنی، یعنی میانه خرج و خرج صدک نودم، تقریباً خط راستاند. برآورد Epoch هم همین را میگوید: هر دو تقریباً هر ماه دو برابر شدهاند.
سهمی از کار تحقیق و توسعه آنتروپیک که Claude پیش میبرد
ماهبهماه در سال ۲۰۲۶؛ در فوریه کمتر از ۱ درصد بود. «پیش بردن» یعنی Claude با یک دستور کلی، بیشتر کار را از اول تا آخر خودش انجام میدهد و انسان فقط نظارت میکند.
منبع: صفحه آمار آنتروپیک، سطح AL4 در مقیاس خودکارسازی Epoch AI. سطح هر کار را داوری تعیین کرده که خودش مدلی از Claude است. بازههای عدم قطعیت ۹۰ درصدی آنتروپیک در این نمودار نیامده است. سهم کار کاملاً خودکار (AL5): صفر. نمودار: ژرف.
این عددها چند اما و اگر دارند. METR یازده هفته روی این ارزیابی کار کرده و میگوید آنتروپیک بیشتر شواهدی را که به نظر METR گویاتر بود از متن منتشرشده حذف کرده است. خود METR هم میگوید شاید بخشی از رشد شاخص به این دلیل باشد که مدلها بیشازحد با همین بنچمارکها جور شدهاند (بیشبرازش یا overfitting). در آمار آنتروپیک، یک مدل Claude در نقش داور تعیین میکند هر کار چقدر خودکار انجام شده است، آن هم فقط روی مجموعه ثابتی از حدود ۱۵ هزار کار. Epoch هم یادآوری میکند که عددهای OpenAI را خود شرکت گزارش کرده، مصرفی که از راه اسکریپت و API بوده (نه مستقیم به دست پژوهشگر) در این رقمها نیامده، و قیمت توکنها با نرخ اعلامشده حساب شده است. با همه اینها روند سر جایش است. فقط باید یادمان باشد که محکمترین مدرک این افزایش سرعت مربوط به کارهایی با تعریف دقیق است که با بنچمارک سنجیده میشوند، و بیشترش را هم خود شرکتها گزارش کردهاند.
به روایت پاتل، مدلها در ۲۰۲۳ هنوز در جمع عددهای چهاررقمی اشتباه میکردند و در ۲۰۲۵ مدال طلای المپیاد ریاضی گرفتند. اوایل ۲۰۲۶ چند مسئله باز اردوش را حل کردند و حدود یک ماه پیش از انتشار مقاله، به گفته OpenAI، یکی از مسائل جایزه هزاره را حل کردند. ما این ادعای آخر را بررسی نکردهایم؛ پاتل به اطلاعیه خود OpenAI لینک داده است.
او خودش سراغ جدیترین نقد میرود. توبی اورد میگوید هوش مصنوعی امروز اثباتنویسی را خودکار میکند، نه کار سختتر ریاضیدان را که پرسیدن سؤالهای عمیق و راه انداختن شاخههای تازه است. پاتل این را قبول دارد، ولی نتیجه دیگری میگیرد. در ریاضیات، یک نظریه تازه از فهرست بلندی از حدسهای اثباتشده باارزشتر است. در یادگیری ماشین برعکس است: شرکتها بیشتر دنبال روشهایی عملیاند که آموزش مدل را کارآمدتر کند، و پیشرفت پانزده سال اخیر یادگیری عمیق به نظریه تازه چندانی نیاز نداشته است. پس اینکه مدل بتواند مسئلههای مشخص را پشت سر هم حل کند، در پژوهش هوش مصنوعی بیشتر به کار میآید تا در ریاضیات.
مثالش ترنسفورمر است. مقاله سال ۲۰۱۷ قطعههایی را کنار هم گذاشت که از قبل وجود داشت. پاتل از نوشتهای نقل میکند که شولتو داگلاس، پژوهشگر هوش مصنوعی، هنوز منتشرش نکرده است: مکانیزم توجه (attention) فقط وقتی از شبکههای عصبی بازگشتی (RNN) جلو زد که چند چیز دیگر کنارش آمد. آن چند چیز اینها بود: اتصالهای میانبر (residual connections، ۲۰۱۵)، نرمالسازی لایه (layer normalization، ۲۰۱۶)، بهینهساز Adam (۲۰۱۴)، لایههای MLP که یکدرمیان با لایههای توجه میآیند، کدگذاری موقعیت (positional encoding)، و بالا بردن تدریجی نرخ یادگیری در آغاز آموزش (warmup). گلوگاه، پیدا کردن ترکیب درست بود. این کار دو چیز میخواست: تعداد زیادی آزمایش کوچک، و «شمّ پژوهشی» (research taste)، یعنی تشخیص اینکه کدام ایده ارزش دنبال کردن دارد. ترکیب صبورانه و منظم ایدههای موجود هم همان کاری است که مدلها در ریاضیات نشان دادهاند از پسش برمیآیند.
پاتل میگوید وقتی پژوهشگران خودکار به سطح بهترین پژوهشگران برسند، پیشرفت الگوریتمی به سه دلیل خیلی سریع میشود.
سرعت. به برآورد او، مدلهای امروزی حدود ده برابر سریعتر از انسان کار میکنند. دو نمونه میآورد: OpenAI میگوید GPT-5.2 کارهای بنچمارک GDPval را ۱۱ برابر سریعتر از متخصصان تمام کرده است، و مدلها حدود ۶۰ توکن در ثانیه تولید میکنند. اگر شبانهروزی کار کردنشان را هم حساب کنیم، هر پژوهشگر خودکار در یک هفته حدود ۵۰ برابر یک پژوهشگر انسانی کار میکند. البته خود آزمایشها سریعتر اجرا نمیشوند. به همین دلیل فکر میکند بخش بزرگی از این ۵۰ برابر از دست میرود، ولی باز هم سرعت چند برابر میشود.
هوش. به برداشت پاتل، در هر شرکت پیشرو حدود ۸۰ درصد پیشرفت الگوریتمی کار ۵۰ پژوهشگر برتر آن است. اگر همه پژوهشگران خودکار در همان سطح کار کنند، میانگین کیفیت کار پژوهشی خیلی بالا میرود.
تعداد. اجرای همزمان تعداد زیادی عامل هوش مصنوعی (agent) فقط وقتی فایده دارد که بشود کار را به تکههایی شکست و درستی هر تکه را جدا بررسی کرد. نمونهاش این است که تعداد زیادی عامل Claude با همکاری هم اثبات قضیه آخر فرما را صوریسازی کردند، یعنی آن را به زبانی نوشتند که کامپیوتر بتواند درستیاش را قدمبهقدم بررسی کند. در مرور کارت سیستم Fable 5.2 نوشتهایم که این نتیجه حاصل یک اجرا با ۱٬۰۰۰ عامل بود. به نظر پاتل، پژوهش هوش مصنوعی به این صوریسازی شبیهتر است تا به نوشتن رمان. شرکتها همین الان هم برای آمادهسازی داده، محیطهای یادگیری تقویتی، کرنلهای GPU و کارهایی از این دست تیمهای جدا دارند و هر تیم هدف قابل اندازهگیری خودش را دارد.
پاتل در یکی از پاورقیها با قانون آمدال توضیح میدهد خودکار شدن بخشی از کار چقدر اثر دارد و سقفش کجاست: سرعت کل را آخر سر همان بخشی تعیین میکند که سریعتر نمیشود. ما با همان فرض او کل منحنی را حساب کردیم: هوش مصنوعی سهم خودش را ۵۰ برابر سریعتر انجام میدهد و بقیه کار با سرعت انسان پیش میرود.
| سهم هوش مصنوعی از کار پژوهشگر | کل کار چند برابر سریعتر میشود |
|---|---|
| ۵۰ درصد | ۱٫۹۶ برابر |
| ۷۵ درصد | ۳٫۸ برابر |
| ۹۰ درصد | ۸٫۵ برابر |
| ۹۵ درصد | ۱۴٫۵ برابر |
| ۹۹ درصد | ۳۳٫۶ برابر |
وقتی بخشی از کار خودکار میشود، سرعت را سهم انسان تعیین میکند
کل کار پژوهشگر چند برابر سریعتر میشود، بسته به سهمی که هوش مصنوعی انجام میدهد؛ با این فرض که هوش مصنوعی سهم خودش را ۵۰ برابر سریعتر انجام دهد (قانون آمدال)
فرض ۵۰ برابر از مقاله دوارکش پاتل است. محاسبه تیم ژرف: سرعت کل = ۱ ÷ (سهم انسان + سهم هوش مصنوعی ÷ ۵۰).
این جدول نشان میدهد گره کار کجاست. اگر سهم هوش مصنوعی از ۹۰ به ۹۹ درصد برسد، سرعت کل تقریباً چهار برابر میشود. یعنی آن چند درصد آخر کار که فعلاً فقط از انسان برمیآید، از همه بخشهای قبلی مهمتر است. برای همین پیوست مقاله سراغ این سؤال میرود که آیا سختترین بخشهای پژوهش را هم میشود خودکار کرد.
پاتل اهمیت سرعت فکر کردن را هم با مثالی از مقاله «شرکتهای کند»، نوشته رایان گرینبلت و الی لیفلند، توضیح میدهد. شرکتی را تصور کنید که به اندازه OpenAI توان پردازشی دارد، ولی پژوهشگرانش هفتهای فقط یک ساعت کار میکنند. معلوم است که خیلی کندتر پیش میرود. پاتل میگوید شرکتهای امروز، در مقایسه با شرکتی که پژوهشگرانش خودکارند، حکم همان شرکت کند را دارند.
بعد از خودکار شدن پژوهش، سرعت پیشرفت به زورآزمایی دو روند بستگی دارد. از یک طرف، این چرخه خودبهبودی مدام پژوهشگران خودکار را سریعتر و باهوشتر و تعدادشان را بیشتر میکند. از طرف دیگر، پیدا کردن ایده تازه مدام سختتر میشود. پاتل برای این دومی دلیل میآورد که شرکتها همین الان هم هر سال توان پردازشی تحقیق و توسعه را حدود چهار برابر و تعداد نیروهایشان را حدود دو برابر میکنند، فقط برای اینکه سرعت پیشرفت ثابت بماند. آمار Epoch AI هم نشان میدهد توان پردازشیای که صرف آموزش مدلهای پیشرو میشود، از ۲۰۱۰ تا مه ۲۰۲۴ هر سال چهار تا پنج برابر شده است.
تکینگی یا جرقه: دو سناریوی پاتل برای بعد از خودکار شدن پژوهش
محور عمودی پیشرفت هوش مصنوعی را نشان میدهد، با واحد «یک سال پیشرفت با سرعت امروز». این نمودار فقط شکل دو سناریو را نشان میدهد و پیشبینی عددی نیست.
بر اساس عددهای مقاله دوارکش پاتل (نوامبر ۲۰۲۶): احتمال دو سناریو برابر است و جرقه در سال اول سه تا شش سال پیشرفت میآورد (خط وسط: حدود چهار سال). بعد از سال اول، جرقه را با همان سرعت پیش از خودکارسازی کشیدهایم. نمودار: ژرف.
اگر سرعت بهتر شدن هوش مصنوعی از سرعت کمیاب شدن ایدههای تازه بیشتر باشد، نتیجه تکینگی نرمافزاری است: بدون هیچ سختافزار تازهای، مدلها پشت سر هم بهتر میشوند تا ظرف چند ماه به سقف توان تراشههای موجود برسند. اگر برعکس شود، نتیجه جرقه است: سه تا شش سال پیشرفت در یک سال، و بعد کند شدن تا وقتی تراشه و مرکز داده بیشتری ساخته شود. پاتل احتمال هر کدام را ۵۰ درصد میداند. در پاورقی هم توضیح میدهد که در یک سال عادی بخشی از پیشرفت از توان پردازشی بیشتر میآید، ولی در آن سال توان پردازشی چندان زیاد نمیشود. پس الگوریتمها بهتنهایی باید به اندازه پیشرفت الگوریتمی چهار تا نه سال عادی جلو بروند تا روی هم همین سه تا شش سال پیشرفت به دست بیاید.
حتی جرقه هم اتفاق بزرگی است. پاتل آن را با جهشی به اندازه فاصله GPT-3.5 تا GPT-6 Astra مقایسه میکند که در دوازده ماه اتفاق بیفتد، آن هم با شروع از سطح مدلهای ۲۰۲۷ یا ۲۰۲۸. به نظر او بعد از جرقه، خود هوش مصنوعی رشد توان پردازشی را سریعتر میکند: با طراحی تراشه، طراحی چیدمان کارخانههای تراشهسازی و رباتهای ساختمانی که از راه دور هدایت میشوند. حتی بدون این کمک هم، به برآورد Epoch AI توان پردازشی هوش مصنوعی در جهان از ۲۰۲۲ هر سال حدود ۳٫۳ برابر شده است.
اولین ایرادی که به ذهن میرسد این است که بیشتر کارهای باارزش، مثل اداره یک شرکت یا بردن یک پرونده در دادگاه، چیزی نیست که بشود در مرکز داده درست و غلطش را سنجید. پاتل هم نمیگوید جواب همه اینها را میشود در وزنهای مدل جا داد. حرفش این است که یادگیری تقویتی در مقیاس بزرگ مدلهایی بار میآورد که هر کار تازهای را زود یاد میگیرند.
به نظر او آموزش مدلها در آینده سه تفاوت با امروز دارد:
برای اینکه نشان بدهد این یادگیری به کارهای تازه هم تعمیم پیدا میکند (generalization)، دو نمونه میآورد. اول، عاملهای کدنویسی امروز در مخزن کدی که هیچوقت ندیدهاند راهشان را پیدا میکنند. دوم، در ارزیابیای که خودش با بازیای شبیه مافیا ساخته، مدلهای تازه بهراحتی از مدلهای اوایل سال بردهاند. تشبیه اصلیاش تکامل است: از هدفی ساده، یعنی فقط رساندن ژنها به نسل بعد، ذهنهایی پدید آمد که زندگینامه مینویسند و نیمهرسانا میسازند. هدفهایی که هوش مصنوعی با آنها آموزش میبیند، در مقایسه با هدف تکامل، خیلی به کارهای امروز ما نزدیکترند. شرکتها هم عمداً مدل را با کارهایی تست میکنند که در داده آموزش نبوده است (held-out) تا ببینند مهارتش تعمیم پیدا میکند یا نه.
پاتل قبول دارد که بخشی از دانش فقط در برخورد با واقعیت به دست میآید، ولی میگوید میشود آن را سریع جمع کرد. چند نسخه از یک مدل میتوانند همزمان، در یک روز، همه سابقه یک شرکت را بخوانند و با همه کارمندانش حرف بزنند. فقط بازخوردهایی که ذاتاً زمان میبرند کند میمانند، مثل نتایج مالی فصلی. بر همین اساس پیشبینی میکند هوش مصنوعی در بیشتر رشتهها چند ماه بعد از اینکه مشغول کار شود به سطح بهترین متخصصان برسد؛ در محتملترین حالت از نظر او در ۲۰۲۸ یا ۲۰۲۹، یعنی پیش از همان سقف ۲۰۳۰.
پیوست مقاله میگوید تقریباً همه پیشرفت الگوریتمی در سه حوزه جا میگیرد: پیشآموزش (pre-training)؛ پسآموزش (post-training)، یعنی مرحلهای که مدل آموزشدیده را با تنظیم دقیق و یادگیری تقویتی کارآمدتر میکنند؛ و استنتاج (inference)، یعنی اجرای مدل. در هر سه، معیارهایی هست که کامپیوتر میتواند خودش اندازه بگیرد. این معیارها خود هدف نیستند، ولی نشان میدهند کار جلو رفته است یا نه؛ به آنها معیار غیرمستقیم (proxy) میگویند. اینکه نتیجه را میشود با عدد سنجید دو فایده دارد. شرکت میتواند مدل را هزاران بار روی همین هدفها تمرین بدهد. عاملها هم میتوانند همزمان کار کنند، چون هر کدام قبل از اینکه تغییرش را در شاخه اصلی مرج کند، میسنجد که از بهترین نتیجه موجود بهتر شده است یا نه. جدول زیر این سه حوزه را نشان میدهد، همراه دو مهارت کلیتر که پاتل برایشان معیار پیشنهاد کرده است.
| حوزه یا مهارت | معیاری که مقاله پیشنهاد میکند | چطور از آن استفاده میشود |
|---|---|---|
| پیشآموزش | توان پردازشی لازم برای رسیدن به یک loss مشخص (loss مقدار تابع زیان مدل است)؛ loss روی متنی که در آموزش نبوده است | هدفی برای یادگیری تقویتی، مثل «مدلی به اندازه GPT-2 را با کمترین توان پردازشی به این loss برسان»؛ رقابت سرعت nanoGPT نمونه عمومی آن است |
| شمّ پژوهشی | اینکه بهبودی که در مدلی با ۱۰۰ میلیون پارامتر دیده شده، در مدلی با ۱۰ میلیارد پارامتر هم برقرار بماند | محیطی گرانتر برای سنجیدن شمّ پژوهشی، که باز هم از بودجه یک شرکت پیشرو بیرون نمیزند |
| پسآموزش | توان پردازشی، داده یا زمانی که برای یاد گرفتن محیطی تازه لازم است؛ سرعت یادگیری در محیطهایی که مدل قبلاً ندیده است | به گفته پاتل، بنچمارک EdgeBench شرکت بایتدنس چنین کارهایی دارد |
| توانایی حل مسئلههای واقعی تحقیق و توسعه | بنچمارکی داخلی از مسئلههای پژوهشی واقعی | پاتل از CoBench آنتروپیک نام میبرد: حدود ۵۰۰ مسئله که کارکنان این شرکت امسال حل کردهاند. منبعش نسخه عمومی گزارش ریسک آنتروپیک است که بخشهایی از آن حذف شده |
| استنتاج | میزان استفاده از GPU، حجم KV cache برای هر توکن، تعداد عملیات (FLOP) در هر forward pass، و تأخیر پاسخ | برای هر تغییر میشود مستقیم اندازهاش گرفت |
این ایده به چیزی نزدیک است که در راهنمای یادگیری از کار قابل بررسی توضیح دادهایم: وقتی درستی نتیجه را بشود جداگانه بررسی کرد، میشود در آموزش به کاری پاداش داد که واقعاً درست انجام شده، نه به متنی که فقط ظاهرش قانعکننده است. ولی آنوقت داوری که درستی را میسنجد باید به همان دقتی ساخته شود که خود محصول، چون مدل ممکن است راه دور زدنش را پیدا کند.
پاتل درباره اندازه مدل هم حرفی دارد. پیشآموزش بهتر یعنی مدل کوچکتر به پای مدل بزرگتر میرسد. این هم آزمایش و یادگیری تقویتی را ارزانتر میکند، هم پژوهشگران خودکار بیشتری را روی همان سختافزار جا میدهد و هم خود چرخه بهبود را کوتاهتر میکند. به نظر او وقتی مدلها خودشان را بهتر میکنند، شرکتها آموزشهای خیلی بزرگ و طولانی را کنار میگذارند، چون مدلی بسیار کوچکتر که یک هفته دیرتر شروع شده از آنها جلو میزند. از شرکت Magic هم نقل میکند که با نصف توان پردازشیای که صرف آموزش GPT-3 اولیه شد، به بهترین مدلهای پایه (base model) متنباز رسیده است. ما این ادعا را بررسی نکردهایم.
یادگیری پیوسته (continual learning). پاتل بیش از یک سال به این پیشبینیها بدبین بود، چون مدلها حین کار چیزی یاد نمیگیرند و هر گفتوگو از صفر شروع میشود. حالا دو راه برای دور زدن این مشکل میبیند. شاید کافی باشد یادگیری درونمتنی (in-context learning) را آنقدر گسترش بدهند که یک گفتوگو عملاً ماهها طول بکشد. یا شاید همین مدلهایی که حین کار یاد نمیگیرند، خودشان مسئله یادگیری پیوسته را حل کنند، چون معیارهای غیرمستقیم روشنی دارد. با این همه، این احتمال را هم جدی میگیرد که هیچکدام جواب ندهد. آن ۲۵ درصد احتمال «بعد از ۲۰۳۲» بیشتر از همینجا میآید.
چه چیزی را بسنجیم؟ اگر رسیدن به ابرهوش به پارادایمهای تازه نیاز داشته باشد، شاید معیارهای امروزی ما را به راه اشتباهی ببرند. پاتل جواب میدهد که ترنسفورمر در بنچمارک ترجمهای که از قبل وجود داشت از رقیبانش جلو زد، و مدلهای استدلالی هم برتریشان را در بنچمارکهای موجود کدنویسی و ریاضی نشان دادند. پس معیارهای قدیمی جهشهای بزرگ را ثبت کردهاند. آزمونهایی هم هست که به هیچ پارادایمی وابسته نیست، مثل حل مسائل باز، یا رسیدن دوباره به نظریهای شناختهشده فقط از روی دادههایی که قبل از کشف آن جمع شده است.
داده. پاتل میگوید وقتی مدلها خودشان را بهتر میکنند، داده هم بیشتر میشود، چون تولید و پالایش آن را خود مدلها به عهده میگیرند. او در پژوهشی که با جری هان منتشر کرده نشان داده است که در شش سال اخیر، سهم داده بهتر در پیشرفت پیشآموزش بیش از سه برابر سهم تغییرات خود مدل بوده است. از دیپسیک هم نقل میکند که تقریباً همه پیشرفت اخیرش در پسآموزش از داده و محیطهای مصنوعی آمده که ساختنشان هم روزبهروز خودکارتر میشود.
توان پردازشی برای آزمایش. حساب این ایراد را از همه راحتتر میشود بررسی کرد، پس آن را از نو حساب کردیم. پاتل از ۱٫۷۴ میلیون تراشه معادل H100 شروع میکند که OpenAI در پایان ۲۰۲۵ در اختیار داشت. این رقم را از دادههای Epoch AI درباره تراشههای هر شرکت گرفته است:
| گام | مقدار |
|---|---|
| چهار برابر شدن در ۲۰۲۶ و دوباره در ۲۰۲۷ | ۱٫۷۴ میلیون × ۱۶ ≈ ۲۷٫۸ میلیون تراشه معادل H100 |
| توان پردازشی یک سال، با فرض ۱۰ به توان ۱۵ عملیات (FLOP) در ثانیه برای هر تراشه | ≈ ۸٫۸ × ۱۰ به توان ۲۹ عملیات در سال |
| آموزش نهایی GPT-3 | ≈ ۳٫۱۴ × ۱۰ به توان ۲۳ عملیات |
| تعداد اجراهای آموزش (training run) در ابعاد GPT-3 در یک سال | ≈ ۲٫۸ میلیون، یعنی حدود ۷٬۶۶۰ در روز |
| یکسوم همه تراشهها، تقسیم بین ۱۰ هزار عامل | هر عامل تقریباً هر چهار روز یک اجرای آموزش در ابعاد GPT-3 |
عددها درست درمیآید. ولی در این حساب فرض شده که هر تراشه همیشه با همه توان اسمیاش کار میکند، در حالی که آموزش واقعی فقط بخشی از این توان را به کار میگیرد. اگر مثلاً فرض کنیم ۴۰ درصدش به کار گرفته شود، فاصله اجراها به حدود ده روز میرسد. این موضوع حرف اصلی پاتل را عوض نمیکند. برای مقایسه، مدل بزرگ مقاله اصلی ترنسفورمر سهونیم روز روی هشت GPU مدل P100 آموزش دید.
پاتل این را هم میگوید که پژوهشگری که توان پردازشی محدودی دارد آن را جور دیگری خرج میکند. آزمایشهای ablation (برداشتن تکتک اجزا برای دیدن اثرشان) را کوچکتر و بیشتر انجام میدهد و تکتک rolloutها را دقیق میخواند؛ rollout مسیر کاملی است که مدل در هر بار اجرا در یادگیری تقویتی طی میکند. یاد هم میگیرد چطور از نتیجه مقیاس کوچک درباره مقیاس بزرگ حکم کند. نمونهاش گزارش فنی GPT-4 است که loss نهایی مدل را از روی آموزشهایی پیشبینی کرد که توان پردازشی مصرفیشان تا ده هزار برابر کمتر از خود GPT-4 بود. با روش μP هم میشود هایپرپارامترهایی را که روی مدل کوچک تنظیم شده به مدل بزرگ برد.
این بخش نظر تیم ژرف است، نه پاتل.
جاهایی که محکم است. سه گزارش جداگانه یک حرف میزنند، هرچند هر سه به داده خود شرکتها تکیه دارند. سازوکاری هم که پاتل توضیح میدهد مشخص و قابل فهم است. در پژوهش هوش مصنوعی، هدفهایی که میشود با عدد سنجید از بیشتر رشتهها فراوانتر است، و جدول آمدال نشان میدهد حتی خودکار شدن بخشی از کار هم سرعت کل را چند برابر میکند. پیوست مقاله هم بحث مبهم «هوش مصنوعی عمومی» (AGI) را به چند ادعای کوچکتر و مشخص تبدیل میکند که میشود محکشان زد.
جاهایی که سست است.
این ایرادها مقاله را رد نمیکند، ولی روی هم نشان میدهد چرا بازه پیشبینی خود پاتل اینقدر باز است، و چرا باید برای دو سر این بازه هم به اندازه وسطش برنامه داشت.
ارزش این مقاله به تاریخی که اعلام کرده نیست، بلکه به فهرست نشانههایی است که درست یا غلط بودنش را معلوم میکنند. در یک سال آینده اینها را دنبال کنید:
برای شرکتی که امروز با هوش مصنوعی محصول میسازد، سه توصیه زیر حتی اگر این اتفاق دیرتر از پیشبینی پاتل بیفتد هم به کار میآید، از جمله برای تیمهای ایرانی که به سختافزار و مدلهای روز دسترسی محدودی دارند:
پاتل قول داده در مقاله دیگری بنویسد چنین سیستمهایی چه شکلی خواهند بود و دنیا را چطور عوض میکنند. محک مقاله فعلی سادهتر است: آمارهایی که به آنها تکیه کرده، در همان جهتی که پیشبینی میکند پیش میروند یا نه.
مقاله پاتل را با پاورقیها و پیوستش در ۱۷ نوامبر ۲۰۲۶ کامل خواندیم. هر چهار نمودار کار تیم ژرف است: نمودار OpenAI از جدولی که Epoch AI منتشر کرده (با مجوز CC BY)، ستونهای آنتروپیک از شش عددی که خود آنتروپیک روی نمودارش نوشته، نمودار دو سناریو از عددهای مقاله، و منحنی سرعت از محاسبه خودمان. نمودارهای خود پاتل را اینجا نیاوردهایم؛ در مقالهاش هست. تصویر بالای صفحه برشی با نسبت ۱۶ به ۱۰ از تصویری با حق نشر آزاد (public domain) است که در ویکیمدیا کامنز آمده است.
ادعاهایی که در این فهرست لینک جداگانهای ندارند و به نقل از مقاله آوردهایم، مستقل بررسی نشدهاند؛ از جمله نتایج ریاضی OpenAI، سرعت در GDPval، نتیجه پیشآموزش Magic، بنچمارکهای EdgeBench و CoBench و آنچه دیپسیک درباره پسآموزش گفته است.
برچسبهاخودبهبودی بازگشتیخودکارسازی پژوهش هوش مصنوعیابرهوشدوارکش پاتلMETRپیشبینی آینده هوش مصنوعی

گنجور حالا زیر تقریباً همه بیتهایش معنی تازهای به فارسی امروز دارد. ماجرای کار را از انتخاب مدل تا هزینه و نتیجه بخوانید، و اینکه کدام معنیها را هنوز باید با احتیاط خواند.
ادامه مطلب
مدل چهاربیتی ممکن است در حافظه جا شود، اما انتخابش به کیفیت پاسخ، طول متن و سرعت زیر بار بستگی دارد. راهنمای آزمون و مقایسه پیش از استفاده واقعی.
ادامه مطلب
ارتقای ۱۸ آبان آنتروپیک قیمت توکن Fable را ۲۰ درصد کم میکند و در بیشتر معیارهای انتشار پیشتاز است، اما همه حسابها را به سابقه گفتوگوی فقطافزودنی ملزم میکند.
ادامه مطلباگر این مطلب به فرایندی واقعی در سازمان شما مربوط است، از صفحه خدمات شروع کنید یا با ما تماس بگیرید.