صرفه‌جویی هوش مصنوعی را تا پایان بازبینی حساب کنید

مدیر پشتیبانی برای تمدید اشتراک دستیار آماده می‌شود. کارکنان از سرعت نوشتن پاسخ راضی‌اند و گزارش خرید، صدها ساعت صرفه‌جویی نشان می‌دهد. آن‌طرف اتاق، کارشناس ارشد تا دیروقت استثناهای سیاست شرکت را بررسی می‌کند و چند درخواست بسته‌شده دوباره باز شده‌اند. تیم واقعاً کار کمتری دارد یا کار به جایی رفته که گزارش نمی‌بیند؟

این موقعیت فرضی است، نه نتیجه پروژه‌ای در ژرف. پرسش آن اما کاملاً عملی است: چه شواهدی گسترش یک ابزار را در یک فرایند مشخص توجیه می‌کند؟ برای پاسخ، باید کار پذیرفته‌شده را کنار تمام وقت انسانی و کیفیت آن گذاشت. تعداد متن‌های تولیدشده یا برآورد کارکنان از زمان ذخیره‌شده، به‌تنهایی کافی نیست.

اول معلوم کنید کار کجا تمام می‌شود

پاسخ پشتیبانی با نوشتن آخرین جمله تمام نمی‌شود. کسی اطلاعات مشتری را پیدا کرده، دستور نوشته، مدرک را سنجیده و متن را اصلاح کرده است. شاید پرونده به کارشناس دیگری برسد یا مشتری فردا دوباره تماس بگیرد. وقتی بار این مراحل روی دوش تیم دیگری می‌افتد، از هزینه کار حذف نمی‌شود.

پیش از شروع سنجش، تعریف پایان را بنویسید. برای درخواست پشتیبانی، بسته‌شدن مسئله و بازنشدن آن در یک بازه پیگیری مشخص ملاک مناسبی است. تغییر نرم‌افزار باید آزمون و بازبینی شود، ادغام شود و دوره‌ای معلوم را بدون ایراد مرتبط بگذراند. استخراج فاکتور هم با تطبیق داده با اصل سند پایان می‌گیرد. طول پیگیری را از الگوی خطای همان کار بگیرید؛ هفت روز، قاعده همگانی نیست.

سه چیز را با هم اشتباه نگیرید: مجموع وقت فعال افراد، زمان سپری‌شده از آغاز تا تحویل، و تعداد کار پذیرفته‌شده در یک دوره. دستیار ممکن است اولی را کم کند و با طولانی‌کردن صف بازبینی، دومی را بالا ببرد. همچنین ده تولید هم‌زمان، ده ساعت کار هم‌زمان انسان نیست. سرعت پاسخ مدل فقط یک جزء از این حساب است.

یک حساب ساده، تفاوت بزرگی را نشان می‌دهد

فرض کنید هر گروه صد پرونده قابل مقایسه گرفته است. پیگیری همه پرونده‌ها تمام شده و وقت صرف‌شده برای موارد ناموفق هم در ارقام آمده است. اعداد زیر ساختگی‌اند و فقط روش حساب را نشان می‌دهند؛ نتیجه یک آزمایش واقعی نیستند.

وقت نوشتن ۴۰ درصد کم شده، ولی کل وقت انسانی فقط ۵ درصد پایین آمده است. در عین حال، پرونده‌های کمتری پذیرفته شده‌اند. وقتی تمام وقت را بر تعداد نتایج پذیرفته‌شده تقسیم کنیم، کارایی تقریباً ثابت و اندکی بدتر است. کاهش چشمگیر وقت پیش‌نویس، به‌تنهایی گسترش ابزار را توجیه نمی‌کند.

برای این مثال تیمی، مجموع نتایج پذیرفته‌شده را بر مجموع وقت بشمارید یا معکوس آن را حساب کنید؛ روش را در دو گروه یکسان نگه دارید. میانگین ساده نسبت تک‌تک کارکنان الزاماً پاسخ همین پرسش نیست. اعداد پایه را نشان دهید تا خواننده مخرج را ببیند. این جدول به‌تنهایی نه معناداری آماری را ثابت می‌کند، نه اثر بر مشتری را و نه رابطه علّی را؛ آن‌ها به طراحی تخصیص، عدم‌قطعیت و ارزیابی کیفیت وابسته‌اند.

توزیع بار را هم ببینید. کم‌شدن وقت نویسنده تازه‌کار و بیشترشدن وقت متخصص کمیاب، حتی با کاهش کل ساعت‌ها ممکن است گلوگاه بسازد. نرخ ساعتی میانگین این مسئله را پنهان می‌کند. قبل از تبدیل زمان به پول، وقت هر نقش و انتظار برای بازبین را جدا گزارش کنید.

پژوهش‌ها درباره چه کاری حرف می‌زنند؟

نسخه نهایی مقاله «هوش مصنوعی مولد در محیط کار» در فوریه ۲۰۲۵، استقرار تدریجی ابزار برای ۵٬۱۷۲ کارشناس پشتیبانی را بررسی کرد. میانگین مسائل حل‌شده در هر ساعت ۱۵ درصد بیشتر شد؛ کارکنان کم‌تجربه‌تر بیشتر سود بردند و در ماهرترین گروه، افت کوچکی در کیفیت دیده شد. این نتیجه به همان شرکت و فرایند مربوط است، نه برآوردی تصادفی برای همه شغل‌ها و دستیارهای امروز. مقاله در فصلنامه اقتصاد.

در آزمایش ژوئیه ۲۰۲۵ مؤسسه METR، شانزده توسعه‌دهنده باتجربه متن‌باز، ۲۴۶ کار را با تخصیص تصادفی اجازه یا منع استفاده از ابزارهای اوایل ۲۰۲۵ انجام دادند. دسترسی به ابزار، زمان تکمیل را ۱۹ درصد افزایش داد؛ خود توسعه‌دهندگان احساس می‌کردند سریع‌تر شده‌اند. این یافته، برآورد ذهنی صرفه‌جویی را زیر سؤال می‌برد، نه اینکه ثابت کند دستیارهای فعلی همه برنامه‌نویسان را کند می‌کنند. آزمایش METR.

میانگین‌گرفتن از این دو درصد برای تصمیم خرید معنایی ندارد. محیط، تخصص افراد، ابزار و تعریف تکمیل متفاوت است. امتیاز مدل در آزمون جداگانه هم همان بهره‌وری تیم نیست. در راهنمای آلودگی بنچمارک و سابقه مواجهه با آزمون توضیح داده‌ایم چرا حتی تفسیر آن امتیاز به دانستن حدود آزمون وابسته است.

یک دسته کار انتخاب کنید، نه یک عنوان شغلی

«تحلیلگران با هوش مصنوعی» موضوع دقیقی برای آزمایش نیست. یک تحلیلگر در همان روز سندهای معمول را مقایسه می‌کند، درباره مسئله‌ای مبهم تحقیق می‌کند و نتیجه‌ای حساس را تأیید می‌کند. هزینه بررسی جواب در این سه کار یکسان نیست. گزارش سپتامبر ۲۰۲۳ مدرسه کسب‌وکار هاروارد از مطالعه ۷۵۸ مشاور، مرز ناهموار توانایی ابزار را شرح می‌دهد: سود استفاده به نوع کار بستگی دارد. درس آن، سنجش در سطح کار است، نه صدور یک حکم کلی برای کار دانشی. خلاصه پژوهش هاروارد.

برای آغاز، کاری تکرارشونده انتخاب کنید که نتیجه‌اش دیده شود و خطرش اجازه آزمایشی کنترل‌شده بدهد. مشخص کنید چه درخواست‌هایی وارد می‌شوند، کدام موارد حساس بیرون می‌مانند، چه منابعی لازم است و چه کسی اختیار پذیرش نتیجه را دارد. دشواری کار را با اطلاعات پیش از تخصیص گروه تعیین کنید؛ نتیجه نامطلوب دستیار را بعداً با برچسب «مورد استثنایی» کنار نگذارید.

یک معیار اصلی داشته باشید: مثلاً کار پذیرفته‌شده به ازای مجموع ساعت کار انسانی، همراه با سقف جداگانه برای خطای جدی و بازگشایی پرونده. ترکیب دشواری و کیفیت را هم گزارش کنید. اگر فقط نسبت نهایی دیده شود، تیم با انجام کارهای آسان و باقی‌گذاشتن کارهای سخت در صف، ظاهراً بهره‌ورتر خواهد شد.

دسترسی را منصفانه مقایسه کنید

طرح زیر پیشنهاد تحلیلی ژرف برای اداره آزمایش است؛ پژوهش‌های بالا این طرح مشخص را اعتبارسنجی نکرده‌اند. هر جا شدنی است، افراد یا واحدهای کار واجد شرایط را به‌صورت تصادفی به روش موجود یا روش مجهز به دستیار اختصاص دهید. سیاست کار، دسترسی به منابع و استاندارد پذیرش را قابل مقایسه نگه دارید. تخصیص باید پیش از شروع کار ثبت شود.

مرز گروه‌ها را از شیوه همکاری انتخاب کنید. اگر همکاران مدام پیش‌نویس ردوبدل می‌کنند یا یک بازبین مشترک رفتار خود را برای همه تغییر می‌دهد، تخصیص فردی دو وضعیت را مخلوط می‌کند. تخصیص در سطح تیم این اختلاط را کمتر می‌کند، ولی چند تیم، به اندازه هزاران درخواست شواهد مستقل نمی‌سازند. برای حجم نمونه و محاسبه عدم‌قطعیت از متخصص آمار کمک بگیرید؛ هر درخواست یک تیم را آزمایشی مستقل نشمارید.

مقایسه اصلی باید از تخصیص اولیه پیروی کند؛ حتی فردی که دسترسی گرفته ولی ابزار را کم باز کرده، در گروه خود می‌ماند. این روش که «تحلیل بر مبنای تخصیص اولیه» نامیده می‌شود، اثر دادن دسترسی در شرایط واقعی را می‌سنجد. بررسی جداگانه کاربران فعال برای فهم مشکل پذیرش مفید است، اما مقایسه علاقه‌مندان با غیرکاربران، اثر ابزار را از انگیزه و مهارت جدا نمی‌کند.

هدف آزمایش را به هر دو گروه روشن بگویید. مشارکت، سرعت یا ادعای صرفه‌جویی را به رتبه‌بندی عملکرد فردی گره نزنید. زمان‌سنجی باید در سطح کار، با هدف و مدت نگهداری روشن انجام شود؛ نه با نظارت پیوسته بر فعالیت خصوصی. افراد باید بتوانند بازبینی اضافه، استفاده ثبت‌نشده از ابزار و کارهای جاافتاده را گزارش کنند، بدون اینکه آزمایش به مسابقه تولید عدد مطلوب تبدیل شود.

سراغ کارهایی بروید که در گزارش نیستند

به‌روزرسانی فوریه ۲۰۲۶ METR توضیح می‌دهد چرا آزمایش بعدی، اندازه قابل اتکایی برای افزایش سرعت فعلی نداد. ترکیب مشارکت‌کنندگان و انتخاب کارها تغییر کرده بود و استفاده هم‌زمان از عامل‌ها، ثبت زمان را دشوار می‌کرد. این گزارش هشداری درباره نمونه و اندازه‌گیری است؛ تأیید نمی‌کند که کندی مطالعه قبلی درباره ابزارهای جدید هم برقرار مانده است. توضیح روش‌شناسی METR.

فهرست کارهای واجد شرایط را پیش از تخصیص بسازید. برای هر کار، شناسه پایدار، دسته و دشواری اولیه، گروه تخصیص، نسخه ابزار، وضعیت تکمیل، وقت بازبین، وقت اصلاح و دلیل خروج یا انصراف را نگه دارید. هر جا کافی است به پرونده حفاظت‌شده ارجاع بدهید؛ لازم نیست محتوای حساس را در مخزن تحلیلی دیگری کپی کنید.

تعداد واجد شرایط، تخصیص‌یافته، شروع‌شده، تمام‌شده، پذیرفته‌شده و پیگیری‌شده را با هم تطبیق دهید. کار ناتمام در تاریخ گزارش ناپدید نمی‌شود. اگر گروه دستیار کارهای سخت بیشتری را رها کرده باشد، تحلیل فقط کارهای تمام‌شده تصویری جذاب و گمراه‌کننده می‌سازد. حجم صف باقی‌مانده و سهم پیگیری ناقص را کنار نتیجه بهره‌وری بنویسید.

مایکروسافت ریسرچ، مغایرت نسبت نمونه با تخصیص برنامه‌ریزی‌شده را هشدار کیفیت آزمایش می‌داند؛ خطای تخصیص، اجرا، اتصال داده یا فیلترکردن ممکن است علت باشد. پیش از اعتماد به اثر، باید علت روشن شود. در آزمایش محیط کار نیز شمارش مشاهده‌شده را با طراحی تصادفی مقایسه کنید و ریزش غیرمنتظره را توضیح دهید. درست‌بودن این نسبت، به‌تنهایی کامل‌بودن همه پیامدها را ثابت نمی‌کند. راهنمای آزمایش مایکروسافت.

کیفیت را جداگانه شرط بگذارید

خطای جدی را با اصلاح عادی متن یکی نگیرید. تعهدی که سیاست شرکت پشت آن نیست، مبلغ پرداخت اشتباه یا دستور دسترسی نادرست، نمونه‌هایی برای فکرکردن‌اند؛ دسته‌بندی واقعی را خود فرایند تعیین می‌کند. پیش از آزمایش، شرایط ارجاع و توقف را بنویسید و کنترل‌های موجود را نگه دارید. آزمایش بهره‌وری مجوز فرستادن خروجی پرخطر برای مشتری نیست.

هر جا عملی است، بازبین نداند نمونه با کدام روش تهیه شده است. معیار ارزیابی یکسان باشد و بازبین‌ها با چند نمونه مشترک آن را تمرین کنند. میزان اختلاف نظر را ثبت کنید و اختلاف‌های مهم را حل کنید. وگرنه علاقه یا بدبینی افراد به دستیار، وارد نمره کیفیت می‌شود.

برای بهره‌وری و کیفیت، دامنه عدم‌قطعیت گزارش کنید. از پیش بگویید چه بهبودی ارزش تصمیم دارد و چه افتی پذیرفتنی نیست. ندیدن خطای جدی در یک آزمایش کوچک، احتمال پایین یک خطای نادر را ثابت نمی‌کند. وقتی حجم نمونه پاسخ سؤال ایمنی را نمی‌دهد، دامنه ادعا و استفاده را محدود کنید؛ «ندیدیم» را جای «وجود ندارد» ننشانید.

تاریخ تحلیل و بازه پیگیری را هم از پیش تعیین کنید. اگر تصمیم‌های میان‌دوره‌ای مکرر لازم است، برنامه آماری مناسب تحلیل ترتیبی داشته باشید. توقف با دیدن نخستین عدد دلخواه، تفسیر برآوردهای معمول عدم‌قطعیت را تغییر می‌دهد. پایش ایمنی همچنان پیوسته انجام می‌شود؛ جلوگیری از آسیب با اعلام پیروزی بهره‌وری یک تصمیم نیست.

وقت آزادشده هنوز صرفه‌جویی نقدی نیست

یک مقاله کاری با انتشار اولیه مه ۲۰۲۵ و بازنگری نوامبر همان سال، دسترسی تصادفی به ابزار را در ۶۶ شرکت و میان ۷٬۱۳۷ نیروی دانشی بررسی کرد. در نیمه دوم آزمایش، کاربران ابزار در گروه برخوردار از دسترسی، هفته‌ای دو ساعت کمتر صرف ایمیل کردند؛ اما تغییری در مقدار یا ترکیب کارها تشخیص داده نشد. پس کم‌شدن زمان یک فعالیت، خودبه‌خود افزایش خروجی سازمان را ثابت نمی‌کند. مقاله کاری NBER.

اثر معتبر محلی را در سه حساب جدا بنویسید: ظرفیت آزادشده، بهبود خدمت و تغییر واقعی مخارج. دقیقه‌های آزاد ممکن است اضافه‌کاری را کم کنند یا پاسخ‌گویی را بهتر کنند. شاید هم آن‌قدر پراکنده باشند که به کار دیگری اختصاص نیابند. کوتاه‌شدن نوشتن یک پاسخ، حقوق ماهانه را خودبه‌خود حذف نمی‌کند.

در مقایسه هزینه، اشتراک، مصرف، اداره ابزار، بررسی کیفیت و آموزش مستمر را منظور کنید. هزینه یک‌باره راه‌اندازی و یادگیری را جدا، همراه با دوره ارزیابی آن نشان دهید. برای ابزارهای مصرف‌محور، راهنمای دفتر رزرو هزینه عامل‌ها مسئله مکملی را حل می‌کند: پیش از مصرف هم‌زمان، خرج را مهار می‌کند. رعایت بودجه و بهره‌وری دو آزمون متفاوت‌اند؛ قبولی در یکی، دیگری را تضمین نمی‌کند.

نتیجه آزمایشی کوتاه را بدون بیان فرض‌های تقاضا، پذیرش ابزار، ترکیب کار و تداوم عملکرد به یک سال تعمیم ندهید. دامنه‌ای که با تغییر این فرض‌ها حساب شده، از عدد سالانه بسیار دقیقی که پایه‌اش ثابت و آزموده‌نشده است، صادقانه‌تر و کاربردی‌تر است.

تصمیم محدود بگیرید و نتیجه را دنبال کنید

برای گسترش، میانگین مثبت کافی نیست. تخصیص باید قابل اتکا باشد، پیامدها به اندازه لازم کامل باشند، اندازه بهبود ارزش اقدام داشته باشد، کیفیت پذیرفتنی بماند و سازمان برای ظرفیت آزادشده کاربردی واقعی پیدا کند. روشن بگویید نتیجه به تازه‌کارها، افراد باتجربه یا کدام دسته کار مربوط است. مقایسه‌های اصلی زیرگروه‌ها را از پیش تعیین کنید؛ الگوی غیرمنتظره، فرضیه آزمایش بعدی است.

اگر بازبینی سود را پس گرفته، شاید بازیابی منابع بهتر، پیشنهاد محدودتر یا تحویل متفاوت به بازبین ارزش آزمودن داشته باشد. افت کیفیت را با درصد سرعت بیشتر جبران نکنید. اگر دامنه عدم‌قطعیت هم بهبود مهم و هم زیان قابل توجه را در بر می‌گیرد، نتیجه را نامشخص اعلام کنید و ببینید شواهد بیشتر به هزینه‌اش می‌ارزد یا نه.

مدل، تنظیمات، آموزش و روش کاری آزموده‌شده را ثبت کنید. تغییر مهم در آن‌ها، انتقال نتیجه قدیمی را دشوار می‌کند. پس از گسترش نیز با پایش پس از استقرار، نتیجه پذیرفته‌شده، بار بازبین، بازگشایی و تغییر ترکیب کار را دنبال کنید. پایش افت را پیدا می‌کند؛ جای مقایسه اولیه را نمی‌گیرد و هر نوسان بعدی را به اثر علّی ابزار تبدیل نمی‌کند.

جلسه تمدید باید به جمله‌ای دقیق برسد: این روش، برای این گروه، در این دامنه از کار پذیرفته‌شده بهبود ایجاد کرد، با این حدود کیفیت و این هزینه‌ها. اگر شواهد فقط پیش‌نویس سریع‌تر را نشان می‌دهند، همان را بگویید. یافته مفیدی است، ولی هنوز با تیم بهره‌ورتر یکی نیست.

یادداشت منابع — بررسی‌شده در ۶ سپتامبر ۲۰۲۶

• هوش مصنوعی مولد در محیط کار، فصلنامه اقتصاد، انتشار ۴ فوریه ۲۰۲۵. نسخه نهایی مجله؛ استقرار تدریجی در یک محیط کار، نه اثر تصادفی و همگانی پذیرش ابزار.
• آزمایش توسعه‌دهندگان باتجربه METR، ۱۰ ژوئیه ۲۰۲۵. ابزارهای اوایل ۲۰۲۵ و نمونه‌ای محدود از توسعه‌دهندگان.
• هاروارد درباره مرز ناهموار فناوری، ۲۱ سپتامبر ۲۰۲۳. خلاصه نهادی پژوهش میدانی اصلی.
• به‌روزرسانی مطالعه بهره‌وری METR، ۲۴ فوریه ۲۰۲۶. محدودیت انتخاب نمونه و اندازه‌گیری؛ نه برآورد معتبر سرعت فعلی.
• مایکروسافت ریسرچ درباره مغایرت نسبت نمونه، ۱۴ سپتامبر ۲۰۲۰. راهنمای اعتبار آزمایش، نه آزمایش بهره‌وری هوش مصنوعی در محیط کار.
• تغییر الگوهای کار با هوش مصنوعی مولد، مقاله کاری ۳۳۷۹۵، مه ۲۰۲۵، بازنگری نوامبر ۲۰۲۵. مقاله کاری است و در افشای روابط نویسندگان، اشتغال در مایکروسافت آمده است. طرح آزمایش پیشنهادی و حساب نمونه این مطلب، تحلیل ژرف‌اند؛ ژرف این نتایج را در پروژه‌ای اعتبارسنجی نکرده است.