هشدارهای هوش مصنوعی را با نرخ رخداد واقعی بسنجید

مسئول کنترل کیفیت صبح با ۱۰۸۹ هشدار روبه‌رو می‌شود. بررسی بسته‌ها نشان می‌دهد فقط ۹۰ مورد واقعاً ایراد دارند. تیم فنی می‌گوید مدل ۹۰ درصد عیب‌ها را پیدا می‌کند و فقط یک درصد بسته‌های سالم را اشتباه علامت می‌زند. هر دو جمله ممکن است درست باشند. تعداد بسته‌های سالم آن‌قدر بیشتر است که همان یک درصد، بیشتر صف بررسی را پر می‌کند.

این مثال را برای توضیح مسئله ساخته‌ایم؛ گزارش مشتری یا نتیجه آزمون یک مدل ژرف نیست. مخاطب آن مدیر عملیات و تیم داده‌ای است که می‌خواهند هشدارهای تشخیص عیب ظاهری بسته‌بندی را فعال کنند. پرسش این است: آستانه انتخاب‌شده هم موارد کافی پیدا می‌کند و هم کاری در حد توان تیم بررسی می‌سازد؟

بحث درباره عیب ظاهری است، نه بازرسی ایمنی‌حیاتی. برای درمان، دسترسی مالی یا تجهیزات خطرناک، این محاسبات جای الزامات تخصصی آن حوزه را نمی‌گیرند.

یک درصد از کدام مجموعه؟

در گفت‌وگوی عملیاتی، عبارت «یک درصد هشدار اشتباه» دو معنای متفاوت پیدا می‌کند. گاهی منظور این است که یک درصد کالاهای سالم علامت خورده‌اند. گاهی شنونده تصور می‌کند فقط یک درصد هشدارهای صادرشده بی‌مورد بوده‌اند. مخرج این دو کسر یکی نیست.

سه سنجه را با پرسششان به خاطر بسپارید: نرخ کشف می‌پرسد چه سهمی از همه عیب‌های واقعی پیدا شده است؛ نرخ مثبت کاذب می‌پرسد چه سهمی از بسته‌های سالم اشتباه علامت خورده‌اند؛ و سهم هشدارهای درست می‌پرسد چند درصد صف هشدار واقعاً عیب داشته است. در اصطلاح فنی، اولی «یادآوری» و سومی «دقتِ مثبت» نام دارد. راهنمای سنجه‌های گوگل این تفاوت‌ها و محدودیت درستی کلی در داده نامتوازن را توضیح می‌دهد.

مکمل سهم هشدارهای درست، سهم هشدارهای اشتباه در خود صف است؛ آن را با نرخ مثبت کاذب جابه‌جا نکنید. در گزارش، کنار هر درصد صورت و مخرج را بنویسید. همین کار ساده جلوی بخش مهمی از سوءتفاهم میان تیم مدل و صاحب فرایند را می‌گیرد.

واحد شمارش هم باید روشن باشد. پنج عکس از یک بسته الزاماً پنج فرصت مستقل برای کشف عیب نیست. اگر کارشناس یک بسته را بررسی می‌کند، حجم کار را با تعداد بسته بسنجید. حذف هشدارهای تکراری بخشی از فرایند مورد ارزیابی است، نه اصلاحی که بعد از ارائه نتیجه نادیده بگیریم.

از صد هزار بسته، صف روزانه را حساب کنیم

فرض کنید روزانه صد هزار بسته مشمول بررسی‌اند و صد بسته عیب موردنظر را دارند. نرخ رخداد در این جمعیت یک‌دهم درصد است. مدل با نرخ کشف ۹۰ درصد، ۹۰ عیب را پیدا می‌کند و ۱۰ عیب را از دست می‌دهد. از ۹۹۹۰۰ بسته سالم نیز یک درصد، یعنی ۹۹۹ بسته، اشتباه علامت می‌خورند.

حاصل، ۱۰۸۹ هشدار است. فقط ۹۰ مورد درست‌اند: حدود ۸٫۳ درصد. در نتیجه، حدود ۹۱٫۷ درصد صف هشدار بی‌مورد است. بااین‌حال، درستی کلی مدل به ۹۸٫۹۹۱ درصد می‌رسد؛ چون ۹۸۹۰۱ بسته سالم را درست کنار گذاشته است. حتی مدلی که همیشه بگوید «سالم»، در این مثال ۹۹٫۹ درصد درستی کلی دارد و هیچ عیبی پیدا نمی‌کند.

برای محاسبه حساسیت نتیجه به نرخ رخداد، کافی است تعداد هشدار درست و اشتباه را جدا بسازیم. اگر «ن» نرخ رخداد، «ک» نرخ کشف و «خ» نرخ مثبت کاذب باشد:

سهم هشدارهای درست = (ن × ک) ÷ [(ن × ک) + ((۱ − ن) × خ)]
تعداد هشدار = اندازه جمعیت × [(ن × ک) + ((۱ − ن) × خ)]

حالا فقط نرخ رخداد فرضی را به یک درصد برسانید و دو نرخ عملکرد مدل را ثابت نگه دارید. ۹۰۰ هشدار درست و ۹۹۰ هشدار اشتباه خواهیم داشت. سهم هشدارهای درست به حدود ۴۷٫۶ درصد می‌رسد، ولی کل صف هم به ۱۸۹۰ مورد بزرگ می‌شود. مفیدترشدن صف لزوماً به معنای کوچک‌ترشدن آن نیست.

ثابت‌گرفتن عملکرد مدل، فرض این محاسبه است؛ پیش‌بینی رفتار واقعی در یک جمعیت تازه نیست. تغییر دوربین، تأمین‌کننده یا نوع عیب ممکن است نرخ کشف و مثبت کاذب را هم تغییر دهد. از این مثال برای دیدن حساسیت تصمیم استفاده کنید، نه وعده نتیجه استقرار.

آستانه خلوت‌تر همیشه انتخاب قابل قبول نیست

روی همان جمعیت صد هزار بسته، آستانه سخت‌گیرانه‌تری را در نظر بگیرید. فرض کنیم این بار ۷۰ عیب پیدا شود، ۳۰ عیب پنهان بماند و ۱۰۰ بسته سالم اشتباه علامت بخورد. این شمارش هم فرضی است؛ مدلی را آزمایش نکرده‌ایم که چنین گزینه‌ای ارائه دهد.

اگر ظرفیت روزانه تیم ۲۰۰ بسته باشد، فقط گزینه دوم در ظرفیت می‌گنجد. حالا شرط دیگری اضافه کنید: صاحب فرایند حداکثر ۲۰ عیب ازدست‌رفته را در این جمعیت می‌پذیرد. هیچ‌یک از دو گزینه هر دو شرط را رعایت نمی‌کند. انتخاب صف خلوت‌تر، بدون نشان‌دادن ۲۰ عیب اضافیِ ازدست‌رفته، تصمیم را ناقص گزارش می‌کند.

تیم باید عملکرد تشخیص یا خود فرایند بازرسی را بهتر کند، ظرفیت توجیه‌پذیر اضافه کند، یا دامنه‌ای محدودتر پیدا کند که شواهد کافی برای هر دو شرط دارد. در حالت آخر، موارد خارج از دامنه را صریح بنویسید. موفقیت روی یک زیرمجموعه، پوشش کل خط را ثابت نمی‌کند.

چهار دقیقه نیز فقط فرض محاسبه است. وقفه، ارجاع و موارد دشوار زمان می‌گیرند. پیش از تبدیل مجموع ساعت‌ها به تعهد نیروی انسانی، این زمان‌ها را اندازه بگیرید. راهنمای خودداری هوش مصنوعی از تصمیم توضیح می‌دهد چرا ارجاع به انسان، راه فرار بی‌هزینه از ضعف مدل نیست.

مجموعه آزمون متوازن، نرخ رخداد کارخانه را نشان نمی‌دهد

چون یافتن عیب دشوار است، تیم داده ممکن است عمداً نمونه‌های معیوب بیشتری جمع کند. این کار برای یادگیری شکل عیب یا آزمودن موارد دشوار مفید است. اما مجموعه‌ای با نیمی بسته معیوب، نماینده خطی نیست که از هر هزار بسته فقط یکی معیوب است.

راهنمای داده نامتوازن گوگل درباره کم‌کردن نمونه‌های گروه پرتعداد و وزن‌دهی در آموزش بحث می‌کند. انتخاب داده آموزش با انتخاب جمعیتی که نتیجه عملیاتی را از آن برآورد می‌کنیم فرق دارد. نقد ما متوجه نمونه‌برداری آموزشی نیست؛ متوجه جابه‌جایی ادعای آزمون و استقرار است.

در جمعیت مصنوعیِ نصف‌نصف، همان نرخ کشف ۹۰ درصد و مثبت کاذب یک درصد، سهم هشدار درست را به حدود ۹۸٫۹ درصد می‌رساند. محاسبه برای آن جمعیت درست است. اگر این عدد را بازده مورد انتظار هشدار در کارخانه معرفی کنیم، نرخ رخداد آزمون را به‌جای نرخ رخداد واقعی گذاشته‌ایم.

یا نمونه ارزیابی نماینده ترافیک واقعی نگه دارید، یا طرح نمونه‌برداری و وزن‌های بازگرداندن نتیجه به جمعیت اصلی را مستند کنید. مجموعه غنی‌شده از موارد دشوار را جدا نام‌گذاری کنید. آزمون دشوار توان آشکارکردن یک شکست را دارد؛ لزوماً فراوانی آن شکست را در کار روزمره برآورد نمی‌کند.

برای پیداکردن موارد ازدست‌رفته، بی‌هشدارها را هم بررسی کنید

اگر همه هشدارها بررسی شوند و نتیجه‌ها معتبر باشند، سهم هشدارهای درست را می‌شناسیم. نرخ کشف هنوز معلوم نیست: عیب‌های ازدست‌رفته میان بسته‌هایی قرار دارند که هشدار نگرفته‌اند. سالم شمردن همه موارد بررسی‌نشده، ساختن برچسب دلخواه است، نه ارزیابی.

پیشنهاد ژرف برای ثبت هر مورد شامل شناسه پایدار، دلیل ورود به دامنه، نسخه مدل و آستانه، امتیاز، تصمیم هشدار، نتیجه بررسی، تاریخ روشن‌شدن نتیجه و در صورت نمونه‌برداری، احتمال انتخاب است. وضعیت «نامعلوم» را تا رسیدن شاهد حفظ کنید. بررسی ناتمام را سالم ثبت نکنید.

از موارد بی‌هشدار هم با روشی مشخص نمونه بگیرید؛ بازه‌های امتیاز زیر آستانه و گروه‌های مهم تولید را پوشش دهید. انتخاب بیشتر از موارد مشکوک به کشف خطا کمک می‌کند، اما برآورد تعداد خطا در کل جمعیت باید احتمال نمونه‌گیری را لحاظ کند. وگرنه این بار خود بررسی انسانی نرخ رخداد را منحرف نشان می‌دهد.

تعریف عیب را پیش از برچسب‌گذاری روشن کنید. بخشی از نمونه‌ها را دو نفر مستقل بررسی کنند تا اختلاف نظر آشکار شود؛ موارد مبهم را به‌زور در یک گروه جا ندهید. نمایش امتیاز مدل ممکن است نظر کارشناس را جهت دهد. هرجا عملی است، برچسب اولیه را بدون نمایش آن بگیرید و محدودیت این کار را ثبت کنید. این‌ها پیشنهاد روش‌اند، نه ادعای اجرای مطالعه در ژرف.

صد نمونه معیوب، نرخ کشف را قطعی نمی‌کند

پیداکردن ۹۰ عیب از صد عیب شناخته‌شده، برآورد ۹۰ درصدی می‌دهد. با فرض نمونه‌گیری مستقل دوجمله‌ای، فاصله اطمینان ۹۵ درصد ویلسون تقریباً از ۸۲٫۶ تا ۹۴٫۵ درصد است. این بازه از یک عدد تنها اطلاعات بیشتری دارد. راهنمای آماری NIST روش ویلسون و روش‌های دقیق برای فاصله اطمینان نسبت را شرح می‌دهد.

بازه بالا مثال محاسباتی است، نه تضمین عملکرد در تولید. عکس‌های تکراری از یک عیب، بسته‌های وابسته به یک بچ و مجموعه دست‌چین‌شده دشوار، خودبه‌خود فرض استقلال و نمونه‌گیری مناسب را تأمین نمی‌کنند. تحلیل عدم قطعیت را با واحد واقعی نمونه‌گیری هماهنگ کنید؛ برای داده گروهی یا وزن‌دار، از روش آماری مناسب کمک بگیرید.

کنار هر بازه، تعداد مشاهده‌ها را هم گزارش کنید. ندیدن مثبت کاذب در نمونه کوچک، نرخ مثبت کاذب صفر را ثابت نمی‌کند. نتیجه کلی مناسب نیز ممکن است ضعف یک دوربین، تأمین‌کننده یا شیفت را پنهان کند. گروه‌های مهم را جدا ببینید، بدون آنکه از چند مشاهده محدود برای هر گروه نتیجه دقیق بسازید.

نمودار خوب را به تعداد هشدار ترجمه کنید

مقاله سال ۲۰۱۵ سایتو و رهمس‌مایر نشان می‌دهد چرا نمودار دقت–یادآوری برای فهم طبقه‌بندی نامتوازن، نسبت به اتکای صرف به نمودار ROC اطلاعات مفیدی دارد. این مقاله درباره روش ارزیابی است، نه مقایسه مدل‌های امروزی تشخیص بسته‌بندی. پژوهش اصلی در PLOS ONE.

نمودار ROC نرخ کشف را در برابر نرخ مثبت کاذب قرار می‌دهد. نمودار دقت–یادآوری، سهم موارد واقعی در خروجی مثبت را آشکارتر می‌کند و به ترکیب جمعیت وابسته است. اولی بی‌اعتبار نیست؛ مسئله این است که مساحت چشمگیر زیر یک منحنی، تعداد و فایده هشدارهای آستانه منتخب شما را مشخص نمی‌کند.

در ارزیابی خرید یا راه‌اندازی، شمارش درست و غلط در آستانه‌های پیشنهادی، جمعیت آزمون و توزیع امتیازها را بخواهید. مقایسه دو مدل باید روی موارد مشمول و تعریف نتیجه یکسان باشد. آزمودن مدل دوم روی جمعیتی آسان‌تر، بهترشدن تشخیص را ثابت نمی‌کند.

به سهم هشدارهای درست هم به‌تنهایی دل نبندید. با صدور هشدار برای تعداد بسیار کمی از موارد، این سهم ممکن است بالا برود و بیشتر عیب‌ها جا بمانند. آن را کنار نرخ کشف، تعداد موارد ازدست‌رفته و پوشش دامنه بخوانید. صف مرتب، به‌تنهایی نشانه انجام کار نیست.

امتیاز مدل نه احتمال تضمین‌شده است، نه دستور اقدام

کالیبراسیون می‌پرسد آیا احتمال‌های اعلام‌شده با فراوانی مشاهده‌شده در داده مرتبط سازگارند. این ویژگی با خوب مرتب‌کردن موارد فرق دارد. مستندات کالیبراسیون اسکی‌لرن نمودارهای سنجش این سازگاری و ملاحظات برازش را توضیح می‌دهد.

در این کاربرد، امتیاز ۰٫۸ را بدون شواهد کالیبراسیون برای جمعیت مشمول، احتمال ۸۰ درصدی عیب نخوانید. جمله اطمینان‌بخش یک مدل زبانی هم چنین شاهدی نیست. حتی احتمال کالیبره‌شده تعیین نمی‌کند که بررسی از نظر هزینه و فایده موجه است یا تیم برای آن جا دارد.

مستندات تنظیم آستانه اسکی‌لرن مسئله امتیازدهی را از انتخاب اقدام جدا می‌کند و درباره استفاده از داده یکسان برای آموزش مدل و تنظیم آستانه هشدار می‌دهد. تغییر آستانه، قاعده تصمیم را عوض می‌کند؛ رتبه‌بندی زیرین مدل را بهتر نمی‌کند.

آستانه‌های نامزد را با داده اعتبارسنجی مناسب و هدفی از پیش روشن انتخاب کنید. سپس قاعده منتخب را روی داده ارزیابی دست‌نخورده بسنجید. اگر هر بار نتیجه آزمون نهایی را دیدید و آستانه را عوض کردید، آن آزمون عملاً وارد تنظیم شده است. راهنمای آلودگی بنچمارک مسئله گسترده‌ترِ شواهدی را توضیح می‌دهد که تصمیم‌ها با دیدنشان تغییر کرده‌اند.

تصمیم راه‌اندازی باید هم کشف را پوشش دهد، هم کار بررسی را

گزارش تحویل را با شرط هدف، جمعیت مشمول، واحد شمارش، حجم روزانه، برآورد نرخ رخداد، آستانه‌های نامزد و روش تعیین نتیجه شروع کنید. شمارش خطاها، عدم قطعیت، زمان واقعی بررسی و حد پذیرفته‌شده موارد ازدست‌رفته را ضمیمه کنید. تکلیف سرریز صف و نتیجه‌های نامعلوم هم باید مشخص باشد.

از این شواهد یکی از چهار تصمیم روشن بیرون می‌آید: فعال‌کردن آستانه‌ای که هر دو شرط کشف و ظرفیت را دارد؛ محدودکردن دامنه به زیرمجموعه‌ای که شواهدش کافی است؛ ادامه ارزیابی وقتی برچسب‌ها، نرخ رخداد یا فرض نمونه‌گیری نامطمئن‌اند؛ یا فعال‌نکردن صفی که هیچ گزینه آن محدودیت‌ها را رعایت نمی‌کند. انتخاب را صاحب پاسخ‌گوی فرایند بپذیرد.

سیاست «فقط ۲۰۰ مورد با بالاترین امتیاز را بررسی کن» با آستانه امتیاز ثابت یکسان نیست. مرز مؤثر آن هر روز با توزیع امتیاز تغییر می‌کند. عیب‌های زیر این مرز روزانه همچنان موارد ازدست‌رفته‌اند. خود این سیاست را ارزیابی کنید؛ سرریز را طوری حذف نکنید که گویی مدل هرگز آن را تولید نکرده است.

با تغییر صف، اول علت را پیدا کنید

حجم مشمول، تعداد هشدار، بررسی‌های تکمیل‌شده، عمر صف عقب‌مانده و سهم هشدارهای درست پس از روشن‌شدن نتیجه را دنبال کنید. نرخ کشف را از برنامه نمونه‌گیری بی‌هشدارها برآورد کنید. فاصله زمانی هشدار تا نتیجه معتبر را حفظ کنید تا روزهای اخیر با نتیجه‌های ناقص، به‌اشتباه بهتر یا بدتر به نظر نرسند.

کاهش فایده هشدارها ممکن است از تغییر نرخ رخداد باشد؛ یا نرخ‌های خطای مدل، دامنه مشمول و شیوه برچسب‌گذاری عوض شده باشند. درمان این علت‌ها یکی نیست. راهنمای پایش پس از استقرار به تشخیص علت تغییر و واکنش مناسب می‌پردازد.

با تغییر تأمین‌کننده، دوربین، ترکیب محصول، سیاست بررسی یا نسخه مدل، تصمیم را بازبینی کنید. افزایش صف را خودکار با بالابردن آستانه پاسخ ندهید؛ شاید تعداد عیب‌ها واقعاً بیشتر شده باشد. صاحب فرایند باید ببیند در برابر کاهش کار بررسی، چه تعداد مورد بیشتر از دست می‌رود.

پرسش مفید این نیست که نرخ مثبت کاذب «کم» است یا نه. بپرسید در این جمعیت و با این آستانه، چند هشدار مفید، چند هشدار اشتباه و چند مورد ازدست‌رفته انتظار داریم و آیا توان اقدام داریم؟ مخرج درست، ارزیابی مدل را به کار واقعی آدم‌ها وصل می‌کند.

یادداشت منابع — بازبینی ۱۷ سپتامبر ۲۰۲۶

مثال‌های بسته‌بندی، محاسبات و پیشنهادهای عملیاتی، تحلیل ژرف‌اند. برای این مقاله هیچ آشکارساز، مجموعه‌داده مشتری یا تیم بررسی عملیاتی محک زده نشده است.

• گوگل؛ درستی، دقت و یادآوری، به‌روزرسانی ۱۲ ژانویه ۲۰۲۶؛ تعریف سنجه‌ها و محدودیت درستی کلی در داده نامتوازن.
• گوگل؛ داده‌های نامتوازن، به‌روزرسانی ۲۸ اوت ۲۰۲۵؛ نمونه‌برداری و وزن‌دهی آموزشی، نه جایگزین ارزیابی نماینده استقرار.
• اسکی‌لرن؛ تنظیم آستانه و کالیبراسیون احتمال؛ مستندات پیوسته با نسخه نمایشی ۱٫۹٫۱، مشاهده در ۱۷ سپتامبر ۲۰۲۶. رفتار پیاده‌سازی را با نسخه مورد استفاده تطبیق دهید.
• سایتو و رهمس‌مایر در PLOS ONE، انتشار ۴ مارس ۲۰۱۵؛ تحلیل دقت–یادآوری در طبقه‌بندی نامتوازن، نه مقایسه محصول امروزی.
• راهنمای NIST/SEMATECH برای فاصله اطمینان نسبت، صفحه بدون تاریخ، مشاهده در ۱۷ سپتامبر ۲۰۲۶؛ کاربرد روش‌ها به فرض‌های مناسب نمونه‌گیری وابسته است.