میانگین ۴ یا ۸؟ اول بپرسید چند مقدار را می‌دانیم

دستیار، میانگین انتظار مشتری برای تماس پشتیبانی را چهار دقیقه گزارش می‌کند. تحلیلگر همان فایل را باز می‌کند و به هشت دقیقه می‌رسد. هیچ‌کدام جمع را اشتباه نزده‌اند؛ دستیار خانه‌های خالی را صفر گرفته و تحلیلگر فقط زمان‌های ثبت‌شده را شمرده است. اختلاف از محاسبه نیست، از معنای داده‌ای است که نداریم.

در نمونه آموزشی این مقاله، حتی هشت دقیقه هم میانگین همه مشتریان نیست. برای سازنده دستیار گزارش‌ساز و مسئول عملیات، تصمیم اصلی پیش از محاسبه قرار دارد: کدام مقدار واقعاً صفر است، کدام را نمی‌دانیم و کدام اصلاً به این سنجه مربوط نیست؟ اگر این تفاوت‌ها از ورودی حذف شوند، نثر دقیق و جدول مرتبِ خروجی چیزی را اصلاح نمی‌کند.

شش پرونده را با هم حساب کنیم

فرض کنید شش پرونده بسته‌شده داریم. در پنج پرونده، تماس برگشتی لازم بوده و انجام شده است؛ یکی بدون تماس حل شده. سنجه موردنظر، فاصله ثبت درخواست تماس تا برقراری آن، بر حسب دقیقه است. دو زمان به علت نقص ثبت رویداد در دسترس نیستند؛ این دو مشتری هنوز منتظر تماس نیستند. جدول زیر داده ساختگی برای توضیح مسئله است، نه نتیجه پروژه یا آزمون مدل.

جمع سه مقدار معلوم، ۲۴ دقیقه است. میانگین آن‌ها برابر با ۲۴ تقسیم بر ۳، یعنی ۸ دقیقه می‌شود. اگر سه خانه غیرعددی را صفر کنیم، ۲۴ را بر ۶ تقسیم می‌کنیم و به ۴ می‌رسیم. اگر فقط پرونده ج را کنار بگذاریم ولی دو نامعلوم را صفر بگیریم، نتیجه ۴٫۸ دقیقه است. هر سه محاسبه ساده‌اند؛ هیچ‌کدام با تغییر نام ستون به «میانگین واقعی» معتبرتر نمی‌شود.

گزارش قابل‌دفاع این است: «برای سه تماس از پنج تماس مشمول، زمان داریم؛ میانگین زمان‌های ثبت‌شده هشت دقیقه است و زمان دو تماس معلوم نیست.» پوشش زمانی ۶۰ درصد است. پرونده ج در شمار کل پرونده‌ها می‌ماند، ولی به مخرج میانگین انتظار تماس وارد نمی‌شود. متوسط هر پرونده، اگر واقعاً هدف دیگری باشد، تعریف و نام جدا می‌خواهد.

علت خالی‌بودن را کنار مقدار نگه دارید

خانه خالی زبان مشترکی با معنای ثابت نیست. شاید اندازه‌گیری انجام نشده، مقدار از دامنه سؤال بیرون بوده، انتشارش مجاز نبوده یا برنامه در خواندنش شکست خورده است. «اطلاعات نداریم» توضیح کافی برای انتخاب عملیات بعدی نیست. خطای خواندن را باید بررسی کرد؛ داده محرمانه را نباید با حدس مدل بازسازی و منتشر کرد.

راهنمای علائم جدول اداره آمار کانادا میان در دسترس نبودن، موضوعیت نداشتن، حذف برای محرمانگی و مقدار گرد‌شده به صفر فرق می‌گذارد. این قرارداد همان منتشرکننده است، نه واژه‌نامه همه فایل‌ها. نکته کاربردی‌اش روشن است: علامت کنار عدد بخشی از داده است و نباید در «تمیزکاری» دور ریخته شود.

پیشنهاد ژرف، نگهداری مقدار عددیِ اختیاری در کنار وضعیت، دلیل و ارجاع به منبع است. برای مقدار مشاهده‌شده، عدد می‌تواند صفر باشد. برای وضعیت نامعلوم یا نامربوط، عدد خالی می‌ماند و دلیل جدا ثبت می‌شود. اگر منبع دلیلی نداده، سامانه هم «دلیل نامعلوم» می‌نویسد؛ مدل نباید از شکل خانه خالی، خرابی حسگر یا محرمانگی را نتیجه بگیرد.

رشته اولیه را نیز در محل مجاز نگه دارید. خط تیره، فاصله، صفر فارسی و عبارت «ثبت نشده» شاید در ظاهر نزدیک باشند، اما شواهد متفاوتی‌اند. در سند تصویری، عنوان ستون و یادداشت پایین جدول هم لازم‌اند؛ راهنمای استخراج جدول توضیح می‌دهد چرا بریدن فقط خود سلول، معنای آن را از بین می‌برد. برای گزارش معمولی، ارجاع کنترل‌شده به منبع کافی است؛ لازم نیست محتوای حساس در گزارش خطای عمومی کپی شود.

برنامه ممکن است پیش از مدل، تفاوت‌ها را پاک کند

خطر همیشه از پاسخ مدل شروع نمی‌شود. مستندات خواندن CSV در pandas می‌گوید برخی رشته‌ها، از جمله خانه خالی و نشانه‌های رایج داده گمشده، به‌طور پیش‌فرض مقدار گمشده شناخته می‌شوند. گزینه‌های keep_default_na و na_values این رفتار را کنترل می‌کنند؛ دومی حتی برای هر ستون جدا تنظیم می‌شود. پس موفقیت خواندن فایل، به معنی حفظ معنای اولیه نیست.

برای نمونه، اگر در ستون وضعیت، متن NULL یک برچسب واقعیِ تعریف‌شده باشد، تبدیل خودکارش اطلاعات را از بین می‌برد. خاموش‌کردن تشخیص پیش‌فرض هم راه‌حل همگانی نیست: آن‌وقت باید علامت‌های گمشده واقعی را خودتان بشناسید. قاعده ورود را برای هر ستون، با واژه‌نامه تولیدکننده و چند نمونه معلوم بنویسید. ورودی مبهم را پیش از تبدیل عددی کنار بگذارید و دلیلش را نگه دارید.

در این مرحله سه شمارش مفیدند: خانه‌هایی که در منبع خالی بوده‌اند، مقدارهایی که با قاعده معتبر گمشده شده‌اند و مقدارهایی که تبدیلشان شکست خورده است. اگر هر سه در یک شمارنده ادغام شوند، افزایش خرابی ورودی شبیه تغییر رفتار مشتری دیده می‌شود. تعداد ردیف‌ها را هم پیش و پس از ورود تطبیق دهید؛ حذف یک ردیف با خالی‌بودن یکی از فیلدهای آن فرق دارد.

از مدل می‌توان خواست ناسازگاری‌ها را توضیح دهد یا نمونه‌های مشکوک را برای بازبینی دسته‌بندی کند. اختیار تغییر معنای علامت‌ها باید با مسئول داده بماند. به‌ویژه قاعده «هر چیزی که به عدد تبدیل نشد، صفر است» را نباید به عنوان اصلاح بی‌خطر پذیرفت.

جمع و میانگین، سیاست مشترک همه ابزارها نیستند

طبق مرجع تجمیع در PostgreSQL 18، میانگین و جمع با ورودی‌های غیرتهی کار می‌کنند؛ شمارش ردیف‌ها با شمارش مقدارهای غیرتهی یکی نیست. جمعِ مجموعه بدون ردیف نیز تهی است، نه صفر. این رفتار، سؤال کسب‌وکار را تعیین نمی‌کند؛ فقط قرارداد همان عملیات را روشن می‌کند.

در مقابل، مرجع جمع سری در pandas برای سری خالی یا سراسر گمشده، خروجی پیش‌فرض صفر را نشان می‌دهد. با min_count=1 چنین خروجی‌ای گمشده می‌ماند. این گزینه کامل‌بودن داده را تضمین نمی‌کند: در مجموعه‌ای با یک عدد و صد مقدار نامعلوم، هنوز جمع همان یک عدد به دست می‌آید.

بنابراین جابه‌جایی محاسبه میان پایگاه داده، دفترچه تحلیل و ابزار دستیار، آزمون رفتاری می‌خواهد. آزمون فقط روی فایل پر از عدد کافی نیست. مجموعه بدون ردیف، مجموعه سراسر نامعلوم و ترکیب صفر با نامعلوم را هم مقایسه کنید. نتیجه و شمارش شواهد باید با تعریف محصول سازگار بمانند، حتی اگر پیش‌فرض کتابخانه عوض شود.

دو خطا را جدا بگیرید: جایگزینی عدد تهیِ نهایی برای نمایش، و جایگزینی مقدارهای نامعلوم پیش از میانگین‌گیری. دومی مخرج را عوض می‌کند؛ اولی هم ممکن است «نتیجه نداریم» را به ادعای «نتیجه صفر است» تبدیل کند. همچنین پیش از شمارش، یکتایی پرونده‌ها را بررسی کنید. تکثیر ردیف در اتصال جدول‌ها هم صورت و هم مخرج را خراب می‌کند و با سیاست درستِ داده گمشده حل نمی‌شود.

چه زمانی صفر گذاشتن مجاز است؟

وقتی شواهد، صفر را تأیید می‌کنند؛ نه فقط وقتی فایل چیزی نمی‌گوید. فرض کنید تعریف یک شمارنده چنین باشد: تعداد رویدادهای واجد شرایط در بازه مشخص، از منبعی که کامل‌بودنش احراز شده است. اگر هیچ رویدادی نباشد، صفر نتیجه معتبر آن شمارش است. اما نبودن فایل روزانه یا قطع اتصال به منبع، همان شاهد نیست. برای یک نرخ هم صفرِ مخرج را با نرخ صفر اشتباه نگیرید؛ سنجه ممکن است تعریف‌نشده باشد.

این جدول پیشنهاد اجرایی ژرف است، نه الزام یک استاندارد. صفرِ ناشی از گردکردن را نیز، اگر برای تصمیم مهم است، از نبود واقعی رویداد جدا کنید. محدودیت دقت اندازه‌گیری با عدم دریافت داده یکی نیست. مسئول سنجه باید معلوم کند کدام تفاوت‌ها در کاربرد فعلی اهمیت دارند.

برآورد، جای اندازه‌گیری را بی‌سر‌وصدا نگیرد

برای بعضی مدل‌های پیش‌بینی، ورودی کامل لازم است. راهنمای جای‌گذاری داده گمشده در scikit-learn روش‌های جای‌گذاری و نگهداری نشانگر گمشده‌بودن را توضیح می‌دهد. این قابلیت‌ها راهی برای ساخت ورودی مدل‌اند؛ اثبات نمی‌کنند که عدد جای‌گذاری‌شده در جهان واقعی مشاهده شده است.

در طراحی پیشنهادی ما، داده خام و وضعیت اصلی دست‌نخورده می‌مانند؛ مقدار برآوردی، روش و نسخه محاسبه در لایه جدا ثبت می‌شوند. گزارشی که از برآورد استفاده می‌کند نام متفاوت دارد و سهم مقدارهای برآوردی را اعلام می‌کند. میانگین مشاهده‌ها و میانگین تکمیل‌شده با مدل، دو محصول متفاوت‌اند، حتی اگر اتفاقاً یک عدد نشان دهند.

روش جای‌گذاری را فقط با داده آموزشی برازش دهید و هنگام ارزیابی، همان تبدیل را روی داده آزمون اجرا کنید. دسترسی به دوره آینده یا پاسخ‌های آزمون نباید در ساخت مقدارهای جایگزین دخالت کند. این توصیه طراحی ماست؛ انتخاب روش مناسب، به نوع داده و تصمیم بستگی دارد و این مقاله نسخه آماری واحدی تجویز نمی‌کند.

در مثال تماس‌ها، اگر زمان‌های طولانی بیشتر ثبت نشده باشند، میانگین سه مقدار معلوم نماینده پنج تماس نیست. اگر علت، خاموش‌شدن یک سامانه در شیفت خاص باشد، الگوی گمشدگی با تغییر شیفت عوض می‌شود. حتی پوشش بالا هم به‌تنهایی نبود چنین سوگیری‌ای را ثابت نمی‌کند. پیش از رتبه‌بندی شعبه یا کاهش نیرو، علت غیبت داده را بررسی کنید.

با حساسیت‌سنجی، محدوده نادانسته را نشان دهید

گاهی برای تصمیم فوری به چیزی بیش از «نمی‌دانیم» نیاز داریم. می‌توان پیامد فرض‌های مشخص را محاسبه کرد، بدون آنکه آن‌ها را مشاهده بنامیم. اگر صرفاً برای تمرین فرض کنیم هر یک از دو زمان نامعلوم بین صفر و ۳۰ دقیقه بوده، میانگین پنج تماس از ۴٫۸ تا ۱۶٫۸ دقیقه تغییر می‌کند: کمینه، ۲۴ تقسیم بر ۵؛ بیشینه، ۸۴ تقسیم بر ۵.

این بازه، فاصله اطمینان آماری نیست. سقف ۳۰ دقیقه هم در داده اولیه وجود ندارد و برای کار واقعی باید شاهد مستقل داشته باشد. اگر تنها یک وعده خدماتی باشد که ممکن است نقض شود، کران معتبر اندازه‌گیری محسوب نمی‌شود. بدون سقف قابل‌دفاع، حد بالای این محاسبه را نمی‌دانیم.

اگر همه حالت‌های پذیرفتنی به یک تصمیم عملی برسند، شاید بتوان آن تصمیم محدود را با ثبت فرض‌ها گرفت. اگر نتیجه با مقدارهای نامعلوم عوض می‌شود، جمع‌آوری شاهد ارزش بیشتری دارد. این روش، مجوز حدس‌زدن درباره یک مشتری یا بازسازی مقدار محرمانه نیست؛ ابزاری برای نشان‌دادن حساسیت تصمیم جمعی است.

خروجی ابزار، تعداد شاهد را هم برگرداند

ابزار محاسبه نباید فقط عدد هشت را به مدل بدهد. برای همین مثال، خروجی باید تعداد کل پرونده‌ها، تعداد مشمول، تعداد مشاهده معتبر، تعداد نامعلوم، تعداد نامربوط، جمع مشاهده‌ها و میانگین مشاهده‌ها را داشته باشد. واحد، بازه زمانی، زمان قطع داده و نسخه تعریف سنجه نیز لازم‌اند. مدل از این بسته جمله می‌سازد؛ خودش درباره حذف ردیف یا پرکردن سلول تصمیم نمی‌گیرد.

قواعد پذیرش را با چند نمونه کوچک اجرا کنید: صفر واقعی باقی بماند؛ افزودن یک مقدار نامعلوم، پوشش را تغییر دهد ولی میانگین مشاهده‌ها را نه؛ داده سراسر نامعلوم، میانگین صفر نسازد؛ ردیف نامربوط در شمار کل بماند ولی مخرج سنجه را بزرگ نکند؛ خطای خواندن زیر عنوان «ثبت نشده» پنهان نشود. رفت‌وبرگشت از فایل به پایگاه داده و سپس خروجی گزارش باید این تفاوت‌ها را حفظ کند.

در پایش روزانه، سهم گمشدگی را به تفکیک دلیل، منبع، شعبه و شیفت ببینید. افزایش صفرها هم ارزش بررسی دارد؛ شاید اصلاحی تازه، نامعلوم‌ها را صفر کرده باشد. علاوه بر نرخ داده گمشده، نرخ گزارش‌هایی را بسنجید که عدد درست ولی توضیح جمعیت غلط دارند. راهنمای کیفیت و مشاهده‌پذیری داده جای این کنترل‌ها را در مسیر داده مشخص می‌کند.

آستانه واحدی مثل «۹۵ درصد پوشش برای همه کارها کافی است» تعیین نکنید. مالک تصمیم باید پیامد نقص، تمرکز آن و امکان بازگشت را بسنجد. با تغییر تولیدکننده فایل، نسخه کتابخانه، تعریف سنجه یا علت گمشدگی، آزمون‌ها را تکرار کنید. گزارش خوب فقط عدد خوش‌خوان ندارد؛ صریح می‌گوید آن عدد درباره کدام مشاهده‌هاست و درباره کدام‌ها هنوز چیزی نمی‌دانیم.

یادداشت منابع — بازبینی ۲۹ سپتامبر ۲۰۲۶

مثال شش پرونده، محاسبات، جدول تصمیم و معماری پیشنهادی، تحلیل آموزشی ژرف‌اند. نتیجه آزمون یک دستیار یا داده مشتری نیستند. منابع زیر در تاریخ بازبینی خوانده شدند؛ مستندات زنده نرم‌افزار تاریخ انتشار واحدی برای صفحه ندارند و شماره نسخه، دامنه ارجاع را مشخص می‌کند.

• اداره آمار کانادا، علائم استاندارد جدول، آخرین تغییر درج‌شده ۷ آوریل ۲۰۲۵؛ معنای علائم همان منتشرکننده.
• pandas، مرجع read_csv، مستندات ارائه‌شده نسخه ۳٫۰٫۶؛ تشخیص داده گمشده هنگام ورود.
• PostgreSQL 18، توابع تجمیع، رفتار شمارش، میانگین و جمع.
• pandas، مرجع Series.sum، مستندات ارائه‌شده نسخه ۳٫۰٫۶؛ رفتار مجموعه خالی و حداقل تعداد مقدار معتبر.
• scikit-learn، جای‌گذاری داده گمشده، مستندات ارائه‌شده نسخه ۱٫۹٫۱؛ روش‌های جای‌گذاری و نشانگر گمشدگی.