کوپایلوت تکرارپذیری: هوش مصنوعی در علم بدون گم‌کردن روش

هوش مصنوعی می‌تواند ادبیات را جست‌وجو، فرضیه پیشنهاد، کد تحلیل تولید، تصویر طبقه‌بندی، اندازه‌گیری استخراج و پروتکل پیش‌نویس کند. این قابلیت‌ها اکتشاف را سریع می‌کنند، اما خودشان نتیجه را علمی نمی‌کنند. آزمون اصلی پابرجاست: پژوهشگر آگاه باید بتواند شواهد را ببیند، روش را بفهمد و به نتیجه‌ای از نظر مادی سازگار برسد.

شکست معمولاً یک hallucination عجیب نیست. ممکن است جدولی باورپذیر باشد که نسخه داده‌اش معلوم نیست، کدی که یک‌بار در محیط ثبت‌نشده اجرا شده، خلاصه ادبیاتی که اختلاف پژوهش‌ها را محو کرده یا پروتکل تولیدی که در آزمایشگاه تغییر کرده ولی انحرافش ثبت نشده است. خروجی کامل به نظر می‌رسد، در حالی که منشأ آن از بین رفته است.

آکادمی‌های ملی در گزارش تکرارپذیری و بازتولیدپذیری در علم میان دو مفهوم فرق می‌گذارند: reproducibility یعنی رسیدن به نتیجه محاسباتی سازگار با همان داده، کد، روش و شرایط؛ replicability یعنی پژوهش تازه‌ای درباره همان پرسش به نتیجه سازگار برسد. علم کمک‌گرفته از AI به هر دو نیاز دارد. اجرای دوباره می‌تواند artifact خراب را نشان دهد؛ آزمایش مستقل می‌تواند ادعای علمی شکننده را آشکار کند.

اکتشاف، تحلیل و شاهد را جدا کنید

هوش مصنوعی وقتی بیشترین فایده را دارد که فضای جست‌وجو را باز کند: سازوکار نامزد بدهد، مقاله مرتبط بیابد، ایده را به کد اولیه تبدیل کند یا کنترل آزمایشی پیشنهاد دهد. این خروجی‌ها را «نامزد» برچسب بزنید. فرضیه تولیدشده شاهد نیست. نمونه مصنوعی مشاهده نیست. شبیه‌سازی درباره مدل و فرض‌هایش شاهد می‌دهد، نه الزاماً درباره جهان واقعی.

چرخه را به مرحله‌های روشن تقسیم کنید:

1. اکتشاف: جست‌وجوی گسترده، ساخت فرضیه، نمودار آزمایشی و کد غیررسمی.
2. تعیین روش: پرسش، معیار ورود، estimand، پروتکل، تحلیل برنامه‌ریزی‌شده و قاعده توقف.
3. اجرا: جمع‌آوری یا دریافت داده، کنترل کیفیت، انحراف و تحلیل قفل‌شده.
4. راستی‌آزمایی: اجرای مستقل، حساسیت، robustness و بازبینی artifact.
5. ادعا: نتیجه‌ای محدود به طراحی، عدم قطعیت و شاهد مشاهده‌شده.

دستیار AI می‌تواند در همه مرحله‌ها حضور داشته باشد، ولی مرحله باید ثبت شود. اکتشاف انعطاف می‌پذیرد؛ شاهد تأییدی روش ازپیش‌تعریف‌شده یا دست‌کم توجیه‌شده می‌خواهد. اگر تحلیل پس از دیدن نتیجه انتخاب شده، آن را بگویید. نثر روان نباید نتیجه اکتشافی را به پژوهش preregisterشده تبدیل کند.

برای مشاهده مصنوعی یا تقویت‌شده دقیقاً مشخص کنید کجای pipeline وارد می‌شود و نتیجه را با و بدون آن مقایسه کنید. راهنمای حاکمیت داده مصنوعی درباره نشت، نمایندگی و ردیابی مستقیماً برای پژوهش کاربرد دارد.

پوشش تکرارپذیری بسازید

ذخیره پرامپت کافی نیست. «پوشش تکرارپذیری» کوچک‌ترین بسته‌ای است که پژوهشگر دیگر با آن گام کمک‌گرفته از AI را می‌فهمد و دوباره اجرا می‌کند. این بسته باید شامل موارد زیر باشد:

• شناسه پایدار و نسخه هر مجموعه داده ورودی؛
• کد تبدیل داده خام تا تحلیل و تصمیم‌های کیفیت؛
• commit کد، patch ثبت‌نشده در صورت وجود و lockfile وابستگی؛
• سیستم‌عامل، تنظیم سخت‌افزاری مرتبط، container یا تعریف محیط؛
• ارائه‌دهنده مدل، شناسه مدل و snapshot یا نسخه تاریخ‌دار در صورت وجود؛
• پرامپت سیستم و کاربر، تعریف ابزار، تنظیم بازیابی و پارامتر تولید مرتبط؛
• بذر تصادفی و توضیح اینکه چه چیزی را واقعاً کنترل می‌کند؛
• خروجی تولیدی استفاده‌شده، ویرایش انسانی و دلیل آن؛
• نسخه پروتکل، کالیبراسیون ابزار، exclusion و انحراف؛
• فرمان بازسازی هر شکل، جدول و آماره گزارش‌شده؛
• مجوز، شرط دسترسی، محدودیت رضایت و مسئول داده کنترل‌شده.

زنجیره فکر پنهان یا credential محرمانه را ثبت نکنید. ورودی و خروجی مشاهده‌پذیر، تصمیم و شاهد اعتبارسنجی را ثبت کنید. اگر سرویس میزبانی‌شده نسخه تغییرناپذیر ندارد، خروجی و timestamp را آرشیو، برچسب نسخه فروشنده را ثبت و صریح اعلام کنید replay دقیق ممکن نیست.

اصول FAIR فقط برای جدول داده نیست؛ مقاله، الگوریتم، ابزار و workflow را هم شیء پژوهشی می‌داند. قابل یافتن، دسترس‌پذیر، سازگار و بازاستفاده‌پذیر بودن به معنای «عمومی به هر قیمت» نیست. فراداده می‌تواند قابل یافتن بماند و دسترسی به داده انسانی یا مالکیتی کنترل‌شده باشد.

ترکیب ادبیات را قابل حسابرسی کنید

مدل زبانی می‌تواند ده‌ها مقاله را به نثر یکدست تبدیل کند و تفاوت جمعیت، endpoint یا طراحی را مخلوط سازد. یک جدول ادعا بسازید. برای هر گزاره پیامددار، متن دقیق ادعا، DOI یا نشانی پایدار، صفحه یا شکل، جمعیت و نمونه، نوع شاهد، جهت و عدم قطعیت و وضعیت بازبینی را ذخیره کنید.

پیش از درخواست تفسیر، متن منبع را بازیابی کنید. نقل‌قول و عدد را با مقاله اصلی تطبیق دهید. شاهد مخالف و retraction را جست‌وجو کنید. اگر منابع اختلاف دارند، اختلاف را حفظ کنید؛ از مدل اجماع مصنوعی نخواهید.

معیارهای مفید عبارت‌اند از precision ارجاع در نمونه ادعاها، نرخ ادعای بی‌پشتوانه، موفقیت بازیابی منبع، پوشش بررسی retraction و اختلاف بازبین. این‌ها از امتیاز «نثر دقیق به نظر می‌رسد» تشخیصی‌ترند.

با کد تولیدی مانند ابزار اندازه‌گیری رفتار کنید

کد AI ممکن است بی‌صدا default نامناسب انتخاب کند، داده آزمون را نشت دهد، missing value را بد مدیریت کند، برچسب را معکوس یا آماره دیگری از متن روش محاسبه کند. آن را ابزاری بدانید که شاهد را تبدیل می‌کند.

فرض کنید مدل pipeline مقایسه دو classifier تشخیصی می‌نویسد. کد پیش از جداکردن train و test، مقدار گمشده کل داده را impute می‌کند. برنامه اجرا و AUC چشمگیری تولید می‌کند، اما اطلاعات آزمون وارد آموزش شده است. بازبین باید ترتیب عملیات را ببیند، نه فقط اجرای notebook را.

برای تبدیل و معیار unit test، fixture کوچک با محاسبه دستی، assertion طرح‌واره، آزمون leakage و مقایسه با پیاده‌سازی معتبر بسازید. کد نهایی را پیش از اجرای تأییدی منجمد کنید. checksum مرحله میانی کمک می‌کند نخستین محل اختلاف پیدا شود.

Container مفید است ولی همه‌چیز را قطعی نمی‌کند. kernel سخت‌افزار، کتابخانه عددی، اجرای موازی، الگوریتم تصادفی و سرویس راه‌دور ممکن است ناپایدار بماند. وقتی bit-for-bit ممکن نیست، tolerance عددی و نتیجه کیفی مورد انتظار را پیشاپیش تعریف کنید.

راهنمای ارزیابی مدل مرزی الگوهای آزمون منجمد، بررسی آلودگی و گزارش برش را شرح می‌دهد؛ همین انضباط برای pipeline علمی لازم است.

lineage داده و واقعیت آزمایشگاه را حفظ کنید

منشأ محاسباتی از مشاهده خام آغاز می‌شود، نه CSV تحویل‌شده به تحلیلگر. دستگاه دریافت، کالیبراسیون، نمونه‌گیری، preprocessing، exclusion، ساخت برچسب و پیوند فایل اصلی و مشتق را ثبت کنید. برای نسخه منتشرشده checksum و شناسه تغییرناپذیر بدهید.

در آزمایشگاه wet، پروتکل مورد نظر و پروتکل اجراشده دو رکورد متفاوت‌اند. شماره lot، وضعیت دستگاه، زمان، شرایط محیطی، ناهنجاری گزارش‌شده اپراتور و انحراف را ثبت کنید. دستور تولیدی نباید آنچه واقعاً رخ داده بازنویسی کند. اصلاح باید با نویسنده و زمان append شود و رکورد اصلی بازیافتنی بماند.

داده انسان تکرارپذیری حریم‌محور می‌خواهد. وقتی انتشار خام ممکن نیست، data dictionary، fixture مصنوعی، کد تحلیل و فرآیند دسترسی مستند ارائه کنید. سیاست مدیریت و اشتراک داده NIH مدیریت خوب را به قابلیت اعتماد پیوند می‌دهد و در عین حال محدودیت حقوقی، اخلاقی و فنی را می‌پذیرد.

artifact را به بازتولیدکننده مستقل بدهید

بهترین کنترل کیفیت این است که بسته را به فردی بدهید که آن را نساخته است. مقاله و artifact اعلام‌شده را بدهید، ولی راهنمایی خصوصی نکنید. از او بخواهید محیط را بسازد، تحلیل را اجرا، نتیجه تعیین‌شده را بازتولید و هر ابهام را ثبت کند.

پیش از آزمون، موفقیت را تعریف کنید:

• محیط از دستور اعلام‌شده ساخته شود؛
• نسخه و checksum داده مطابق باشد؛
• شکل و جدول کلیدی در tolerance بازسازی شود؛
• exclusion و تعداد نمونه یکی باشد؛
• نتیجه اصلی در تحلیل حساسیت اعلام‌شده پابرجا بماند؛
• زمان راه‌اندازی و مداخله مستندنشده زیر حد باشد؛
• شکست diagnostic مفید بدهد و بی‌صدا رفتار را عوض نکند.

مدل بازبینی ACM میان در دسترس بودن، عملکرد بررسی‌شده، قابلیت استفاده دوباره، بازتولید نتیجه و replication فرق می‌گذارد. یک اجرای جاری این badgeها و معیارهای بازبینی artifact را شرح می‌دهد. مخزن عمومی الزاماً قابل استفاده نیست و کد اجراشونده الزاماً ادعای مقاله را ثابت نمی‌کند.

زمان تا نخستین اجرای موفق، نرخ ساخت محیط، درصد ادعای متصل به artifact اجرایی، مداخله بازبین و نتیجه روی سخت‌افزار یا مدل دیگر را دنبال کنید. اگر تلاش ناموفق محدودیت مهمی نشان می‌دهد، آن را منتشر کنید.

ناپایداری خاص مدل مولد را مدیریت کنید

سرویس مولد replay را دشوار می‌کند. sampling، تغییر پنهان سیستم، index بازیابی، لایه ایمنی و دسترس‌پذیری ابزار خروجی را تغییر می‌دهند. seed شاید همه را کنترل نکند و نام مدل ممکن است به deployment متحرک اشاره کند.

برای هر ادعای وابسته به AI سه سؤال بپرسید:

1. نتیجه در اجرای تکراری با تنظیم ثبت‌شده پایدار است؟
2. با پرامپت، مدل یا روش بازیابی جایگزین معقول باقی می‌ماند؟
3. یک روش مستقل غیرمولد اندازه‌گیری کلیدی را پشتیبانی می‌کند؟

توزیع نتیجه را گزارش کنید، نه اجرای دلخواه را. اگر بیست بار استخراج مقدار متفاوت داد، توافق را بسنجید و اختلاف را adjudicate کنید. اگر به‌روزرسانی یک ارائه‌دهنده نتیجه را عوض کرد، این وابستگی را محدودیت بنویسید.

برای اندازه‌گیری بحرانی، پس از پیشنهاد ساختار توسط مدل از نرم‌افزار قطعی استفاده کنید. مدل می‌تواند ناحیه‌های نامزد تصویر میکروسکوپی را بیابد؛ سپس الگوریتم segmentation نسخه‌دار با قاعده ثابت مساحت را حساب کند و نمونه‌ای با بازبینی blind انسانی بررسی شود. این تقسیم از مقیاس AI استفاده می‌کند، بدون اینکه تولید مبهم تنها ابزار اندازه‌گیری باشد.

برای هر گام چارچوب تصمیم داشته باشید

گام را با پیامد و قابلیت راستی‌آزمایی طبقه‌بندی کنید:

ربع خطرناک «پیامد زیاد و بررسی دشوار» است. AI می‌تواند triage کند، اما نباید تنها مسیر مشاهده تا ادعا باشد. یا روش بررسی معتبر اضافه کنید یا دامنه نتیجه را کاهش دهید.

پرسش‌های رایج

انتشار notebook کافی است؟

خیر. notebook بدون نسخه داده، محیط، ترتیب اجرا، وابستگی و دستور شاید اجرا نشود. حتی ممکن است اجرا شود ولی روش اشتباه را پیاده کند.

آیا همه داده پژوهش باید عمومی شود؟

خیر. اخلاق، قانون، قرارداد یا امنیت ممکن است دسترسی کنترل‌شده بخواهد. فراداده مفید، data dictionary، کد، fixture آزمون و شرط دسترسی را منتشر کنید تا مرز روشن باشد.

seed تکرارپذیری را تضمین می‌کند؟

همیشه نه. سخت‌افزار، کتابخانه، هم‌زمانی، API راه‌دور و تغییر پنهان مدل تنوع می‌آورند. seed، محیط و tolerance را ثبت و اجرای چندباره را آزمایش کنید.

متن تولیدی AI باید نویسنده باشد؟

سیاست نشریه متفاوت است، ولی ابزار مسئولیت نمی‌پذیرد. کمک مادی AI را طبق سیاست venue اعلام کنید و انسان پاسخ‌گو را مسئول بررسی و ادعا نگه دارید.

منابع — بازبینی‌شده در ۲۰۲۶-۰۷-۳۰

• آکادمی‌های ملی، Reproducibility and Replicability in Science: تعریف، شواهد و راه‌های بهبود.
• Wilkinson و همکاران، اصول FAIR: stewardship داده، الگوریتم، ابزار و workflow.
• NIH، سیاست نهایی مدیریت و اشتراک داده: برنامه‌ریزی، اشتراک و محدودیت داده علمی.
• NeurIPS، چک‌لیست مقاله و برنامه تکرارپذیری: گزارش کد، داده، دستور، محدودیت و جزئیات آزمایش.
• ACM SenSys، روش ارزیابی artifact: نمونه عملی در دسترس بودن، عملکرد، استفاده دوباره و بازتولید نتیجه.

اصطلاح replication و reproduction میان رشته و ناشر فرق دارد؛ تعریف مورد استفاده را بنویسید. وقتی ارائه‌دهنده نسخه تغییرناپذیر نمی‌دهد، replay دقیق مدل مولد شاید ناممکن باشد. این محدودیت را اعلام کنید، نه اینکه با یک seed پنهانش کنید.