
واقعیت درست بود، اما چه زمانی؟ معناشناسی زمان در سامانههای هوش مصنوعی
معماری عملی برای جداسازی زمان رویداد، مشاهده، ثبت، نمای خواندن، تصمیم و اقدام تا سامانه هوش مصنوعی بتواند درباره واقعیتهای متغیر صادقانه استدلال کند.
ادامه مطلبتیم ژرف

دستیار خرید یک فایل PDF از فروشنده میگیرد. صفحههای دیدهشدنی، قیمت و مشخصات کالا را نشان میدهند؛ اما لایهای پنهان از دستیار میخواهد همان فروشنده را ترجیح دهد و اطلاعات حساب را به نشانی دیگری بفرستد. پویش بدافزار چیزی پیدا نمیکند. تجزیه فایل هم بیخطا تمام میشود. چند دقیقه بعد، هم جدول واقعی و هم دستور مهاجم در پایگاه دانش قابلبازیابیاند.
این رخداد فقط شکست صافیِ دستور نیست. سازمان بدون آنکه منشأ، اعتبار، دامنه دسترسی و راه لغو فایل را تعیین کند، به آن جایگاه «شاهد» داده است. پیش از قطعهبندی و ساخت بردار باید دروازهای قرار گیرد که درباره هر منبع یکی از چهار حکم را صادر کند: رد، قرنطینه، پالایش یا پذیرش.
بیشتر نمودارهای بازیابی افزوده با تولید، کار را از جایی دیرهنگام شروع میکنند. جعبهای با عنوان «اسناد» به تجزیهگر، سامانه بردارسازی و مخزن برداری وصل میشود؛ سپس تیم میسنجد که آیا بازیاب بند درست را پیدا کرده است یا نه. بازیاب بسیار دقیق نیز ممکن است با امانت کامل متنی را برگرداند که هرگز نباید وارد مخزن میشد.
فایل شاید اصل باشد اما به موضوع ربط نداشته باشد؛ شاید تازه باشد اما مجوز استفاده نداشته باشد؛ شاید به تجزیهگر آسیب نزند اما مدل را فریب دهد. ممکن است داده شخصیای داشته باشد که بارگذار حق انتشارش را ندارد. گاهی نیز فایل فقط برای گزارهای محدود معتبر است: دفترچه فروشنده میتواند ابعاد کالا را ثابت کند، اما اجازه تغییر حساب بانکی یا تأیید امنیتی نمیدهد.
راهنمای پیشین ژرف درباره کیفیت دانش در RAG بر ورود مشاهدهپذیر و سنجش بازیابی تمرکز داشت. تصمیم این نوشته محدودتر و مقدمتر است: اصلاً چه چیزی اجازه دارد به شاهد قابلبازیابی تبدیل شود؟ پاسخ باید یک حکم سیاستی ماندگار باشد، نه پیامد ناخواسته دکمه «بارگذاری موفق».
چند مرجع رسمی اجزای خطر را روشن کردهاند، هرچند هیچکدام بهتنهایی قرارداد کامل پذیرش سازمانی را ارائه نمیکند.
راهنمای مشترک دولتها درباره امنیت داده در سامانههای هوش مصنوعی، منشأ، تمامیت، منبع قابلاعتماد، کنترل دسترسی، نسخهبندی و پایش چرخه عمر را اجزای یک دفاع پیوسته میداند. این راهنما برای کشف تغییر غیرمجاز از امضای دیجیتال و درهمساز استفاده میکند. اما برابری درهمساز فقط ثابت میکند بایتها عوض نشدهاند؛ درستبودن ادعا، تازگی، مجوز یا تناسب آنها با یک کاربرد را ثابت نمیکند.
گزارش NIST AI 100-2 E2025 تزریق غیرمستقیم از راه منابع و مسمومسازی پایگاه دانش را در سامانههای بازیابی توضیح میدهد و پیامدهای آن را برای تمامیت، حریم خصوصی و دسترسپذیری برمیشمارد. راهنمای تزریق دستور OWASP نیز یادآور میشود که فایل و وبسایت خارجی میتوانند دستور پنهان حمل کنند و افزودن RAG بهخودیخود خطر را از میان نمیبرد. راهنمای دیگر همین نهاد درباره ضعف بردار و تعبیه میان محتوای مسموم، نشت داده، دسترسی ضعیف و بازیابی غیرمجاز پیوند برقرار میکند.
مرکز ملی امنیت سایبری بریتانیا در راهنمای توسعه امن هوش مصنوعی از سازندگان میخواهد مدل، داده و جزء بیرونی را ردیابی، احراز، نسخهبندی و ارزیابی کنند تا بازگشت به وضعیت سالم ممکن باشد. تحلیل بعدی این مرکز درباره تزریق دستور یک محدودیت بنیادی را برجسته میکند: مدلهای زبانی کنونی مرز سختی میان «داده» و «دستور» اجرا نمیکنند. کشف و نشانهگذاری احتمال حمله را کم میکند، اما مهار پیامد همچنان به کنترل قطعی و کمترین سطح دسترسی نیاز دارد.
اینها یافتههای مستندند. قرارداد چهارحکمی که در ادامه میآید، تحلیل ژرف برای تبدیل آنها به یک تصمیم اجرایی است.
خدمت پذیرش باید یک حکم صریح همراه با کد دلیل صادر کند.
| حکم | معنا | محرک معمول | چه چیزی وارد بازیابی میشود؟ |
|---|---|---|---|
| رد | منبع بیرون از سیاست است و پردازش آن ادامه نمییابد | نوع ممنوع، شکست تمامیت، نبود مبنای حقوقی، بار مخرب شناختهشده | هیچچیز |
| قرنطینه | تصمیم هنوز روشن نیست و بررسی جداگانه لازم است | منشأ ناشناخته، اختلاف متن پنهان و نمای دیداری، دستور مشکوک، مالک یا مجوز مبهم | هیچچیز |
| پالایش | میتوان مشتقی مطابق سیاست از منبع ساخت | حذف داده شخصی، تختکردن محتوای فعال، محدودکردن دامنه، یکدستسازی جدول | فقط مشتق بازبینیشده |
| پذیرش | یک مصنوع مشخص برای هدف و مخاطبی معین تأیید شده است | منشأ، اعتبار، مجوز، دامنه، ایمنی تجزیه و دسترسی تأیید شدهاند | مصنوع پذیرفتهشده، نه فایل خام بهصورت پیشفرض |
«پالایش» نام ملایمتری برای پذیرش نیست. مشتق تازه باید شناسه، درهمساز، حکم سیاستی و پیوند خود با والد را داشته باشد. اگر بازبین متن پنهان PDF را حذف میکند، سامانه باید وجود همان لایه را در سابقه نگه دارد و دقیقاً ثبت کند کدام نسخه پاک وارد جستوجو شده است.
پیش از تجزیه، برای منبع یک سابقه تغییرناپذیر بسازید. این سابقه دستکم باید موارد زیر را داشته باشد:
سه مفهوم را یکی نکنید. هویت میگوید کدام بایتها و کدام منبع ادعایی بررسی شدهاند. اختیار تعیین میکند آن منبع صلاحیت اثبات چه چیزی را دارد. دامنه مشخص میکند چه کسی، با چه هدفی و تا چه زمانی حق استفاده دارد. کاتالوگ امضاشده فروشنده شاید از آزمون هویت بگذرد، اما اختیار تغییر حساب بانکی را ندارد.
این جداسازی جلوی میانبری رایج را نیز میگیرد: «دامنه اینترنتی قابلاعتماد» مجوز همگانی نیست. نهاد ناظر، فروشنده، همکار و مشتری هرکدام ممکن است در زمینهای معتبر و در زمینهای دیگر نامناسب باشند.
تبدیل سند سطح حمله را بزرگ میکند. فایل PDF، آفیس، تصویر، بایگانی یا رایانامه شاید کتابخانهای پیچیده را درگیر کند، حجم عظیمی را باز کند، به منبع دور ارجاع دهد یا دو نمای متفاوت برای انسان و ماشین بسازد.
تجزیه را در کارگری ایزوله اجرا کنید که اعتبارنامه محیط عملیاتی، ابزار مدل و دسترسی پیشفرض به شبکه ندارد. برای پردازنده، حافظه، شمار فایل، عمق بازکردن و زمان سقف بگذارید. نسخه تجزیهگرها را ثابت و فهرست کنید. شیء خام را در مخزن قرنطینه غیرقابلبازیابی نگه دارید و مشتقهای نوعدار را به مرز جداگانه بازبینی بفرستید.
بازرسی باید آنچه انسان میبیند با ورودی سامانه بعدی مقایسه کند. متن نامرئی یا بسیار ریز، نوشته سفید روی سفید، شیء بیرون صفحه، یادداشت، ماکرو، فایل توکار، پیوند خارجی، صفحه تصویری و غافلگیری تشخیص نویسه را پیدا کنید. اختلاف چشمگیر میان نمای دیداری و متن استخراجشده یک نشانه برای بررسی است، نه اثبات خودکار حمله.
مستندات مایکروسافت حمله مستقیم کاربر را از دستور خصمانه در سند جدا میکند و Prompt Shields را بهعنوان دستهبند این الگوها شرح میدهد. چنین آشکارسازی فقط یکی از حسگرهاست. میتواند اولویت بازبینی را تغییر دهد، اما نمیتواند به فایل اختیار بدهد.
یک خانواده دفاعی، بندهای غیرقابلاعتماد را برای مدل از متن اصلی متمایز میکند. مقاله اصلی Spotlighting گزارش میکند که روشهایی مانند نشانهگذاری داده و رمزگذاری در آزمایشهایی روی چند مدل خانواده GPT و چند وظیفه مشخص، موفقیت تزریق غیرمستقیم را کاهش دادهاند. همان مقاله هزینهها را هم ثبت میکند؛ از جمله افت عملکرد بعضی مدلها و وظایف در اثر رمزگذاری.
این شاهد از یک لایه مفید پشتیبانی میکند: محتوای بازیابیشده را بهصورت نقلقول دادهای علامت بزنید، مرز منابع را حفظ کنید و به مدل بگویید آن را سیاست سامانه نداند. اما نمیتوان از آن نتیجه گرفت که حمله برای همه مدلها و همه کارها مهار شده است. مدل عوض میشود، تبدیل فایل شاید علامت را پاک کند، مهاجم سازگار میشود و بعضی وظایف به حفظ دقیق نویسهها وابستهاند.
نشانهگذاری را پس از پذیرش به کار ببرید و روی مدل و کار واقعی خود بسنجید. اختیار باید بیرون از مدل بماند: مدل نباید بتواند منبع قرنطینهشده را ارتقا دهد، دامنه دسترسی را باز کند یا تصمیم بگیرد دستور داخل سند امتیاز ویژه دارد.
ایمنترین واحد جستوجو معمولاً مشتقی است که برای یک هدف ساخته شده. یک PDF میتواند جدول کالای یکدستشده، چند بند استنادپذیر و پیوستی جداگانه تولید کند. هر مشتق باید این دادهها را همراه داشته باشد:
فقط مصنوعی را نمایه کنید که حکم فعال «پذیرش» دارد. بازیاب باید پیش از برگرداندن بند، هویت و مستأجر را بسنجد؛ نه اینکه ابتدا همهچیز را بردارد و سپس نتیجه غیرمجاز را پنهان کند. این همان مرزی را ادامه میدهد که در راهنمای ژرف درباره تفکیک مستأجران هوش مصنوعی آمده است: فراداده دسترسی باید همراه شاهد به همه بازنماییهای مشتقشده برود.
به نمونه خرید برگردیم. دروازه ابتدا PDF خام را در قرنطینه ذخیره و درهمساز آن را محاسبه میکند. سابقه نشان میدهد یکی از خریداران فایل را از پیوست رایانامه بارگذاری کرده، اما در درگاه احرازشده فروشنده نه همان درهمساز دیده میشود و نه سابقه انتشار. این اختلاف حمله را ثابت نمیکند؛ بااینحال پذیرش خودکار را متوقف میکند.
تجزیهگر ایزوله، نمای دیداری، متن استخراجشده، فهرست اشیا و گزارش ارجاعهای شبکه را میسازد. جدول قیمت با تصویر صفحه برابر است. لایهای بیرون صفحه میگوید فروشنده ترجیح داده شود و کاربر با نشانی نامرتبط تماس بگیرد. پویشگر بدافزار همچنان پاسخ پاک میدهد و آشکارساز حمله سند هشدار میسازد. سیاست، منبع را در قرنطینه نگه میدارد، زیرا دستور پنهان با هدف اعلامشده تعارض دارد.
بازبین، مشخصات روز را در درگاه فروشنده تطبیق میدهد و مشتقی میسازد که فقط فیلدهای تأییدشده کالا را دارد. سیاست اجازه میدهد متن فروشنده برای ابعاد، قیمت فهرست و ضمانت شاهد باشد؛ اما انتخاب فروشنده، تغییر حساب و پرداخت را مجاز نمیکند. مشتق تا پایان اعتبار پیشنهاد برای واحد خرید پذیرفته میشود و به والد قرنطینهشده پیوند میخورد.
دستیار هنگام پاسخ میتواند همان فیلدها را با مختصات منبع نقل کند. حتی اگر زبان خصمانهای باقی مانده باشد، بدون کنترل جداگانه دروازه انتشار خروجی حق ارسال رایانامه یا تغییر سفارش خرید را ندارد. پذیرش، شاهد را کنترل میکند؛ دروازه خروجی، پیامد را.
حذف از مخزن بارگذاری با لغو برابر نیست. یک منبع شاید فایل استخراجشده، قطعه، بردار، خلاصه، نهانگاه، نمونه ارزیابی یا نامزد آموزش ساخته باشد. تا وقتی یکی از این فرزندان قابلبازیابی است، منبع هنوز بر عملیات اثر میگذارد.
از منبع خام تا آخرین مشتق، گراف تبار نگه دارید. رویداد لغو باید نخست صلاحیت بازیابی را بیدرنگ خاموش کند و سپس فرزندان را در نمایه و نهانگاه حذف یا سنگقبرگذاری کند. بستهشدن مسیر را با این پرسش از گراف تأیید کنید: آیا هیچ شیء فعال دیگری از این منبع نسب میبرد؟ زمان پایان و هر استثنا را ثبت کنید.
پایان مجوز، پسگرفتن تأیید مالک، انتشار نسخه مرجع تازه، رخداد امنیتی یا تمامیت، پایان رابطه مستأجر و تغییر سیاست باید لغو را فعال کند. اگر ماده پذیرفتهشده به حلقه یادگیری میرود، همین تبار را به دیوار آتش بازخورد یادگیری عملیاتی وصل کنید؛ وگرنه سند لغوشده ممکن است بیصدا از راه داده آموزشی بازگردد.
چند اقدام ظاهراً منطقی زیر فشار فرو میریزند:
خدمت پذیرش باید تابلوی عملیاتی داشته باشد. این سنجهها مفیدند:
| سنجه | چه چیزی را آشکار میکند؟ |
|---|---|
| کاملبودن منشأ | سهم منابعی که منشأ احرازشده، مالک، مجوز و نسخه سیاست دارند |
| پوشش تبار | سهم اشیای قابلجستوجو که به مصنوع پذیرفتهشده و والد خام وصلاند |
| شمار یتیمها | قطعه، بردار یا نهانگاهی که حکم پذیرش فعال ندارد |
| ترکیب حکمها | نرخ پذیرش، پالایش، قرنطینه و رد به تفکیک نوع منبع |
| عمر بازبینی | میانه و دنباله زمان ماندن در قرنطینه و شمار تصمیمهای عقبافتاده |
| نرخ اختلاف نما | سهم منابعی که تصویر و متن استخراجشده آنها تفاوت معنادار دارد |
| شکست طعمه دسترسی | تلاشهایی که داده آزمایشی مستأجر دیگر در آنها قابلبازیابی میشود |
| زمان بستن لغو | فاصله تا وقتی هیچ فرزند فعالی قابلجستوجو نباشد |
| نرخ رهایی اشتباه | رخدادهای پس از پذیرش که باید به قرنطینه یا رد منجر میشدند |
| تغییر کیفیت کار | دقت و کاملی که در اثر ایزولهسازی، نشانهگذاری یا پالایش از دست میرود |
هیچ هدف عددی برای همه سازمانها مناسب نیست. کاهش نرخ قرنطینه شاید از بهبود منابع خبر دهد؛ شاید هم آشکارساز دیگر چیزی نمیبیند. سنجهها را کنار هم بخوانید، از تصمیمها نمونهبرداری انسانی کنید و فایلهای خصمانه را در آزمون بازگشت نگه دارید.
طراحی عملی دو صفحه دارد. صفحه شواهد منبع خام، مشتق، شناسنامه، حکم و تبار را نگه میدارد. صفحه خدمتدهی فقط مصنوع پذیرفتهشده و فعال را میگیرد، صافی هویتی را اجرا میکند، مرز منبع را نشان میدهد و کمترین ابزار را در اختیار مدل میگذارد. خدمت سیاست، گذار میان این دو را امضا میکند. مدل میتواند شاهد را خلاصه کند؛ حق جابهجایی آن از این مرز را ندارد.
کار را با منبعهایی آغاز کنید که هم اختیار زیاد دارند و هم پیامد سنگین: آییننامه، قرارداد، دستور فروشنده، بارگذاری مشتری و راهنمای عملیات. روشن کنید هر رده صلاحیت اثبات چه چیزی را دارد؛ سپس چهار حکم و بستن تبار پس از لغو را پیاده کنید. با تغییر تجزیهگر یا مدل، ورود نوع تازه منبع، جابهجایی مالک، تغییر خطای آشکارساز یا عبور یک رخداد واقعی از مرز، سیاست را دوباره بسنجید.
آزمون نهایی ساده است: آیا سازمان میتواند توضیح دهد چرا همین مصنوع، امروز، برای همین مخاطب و همین هدف اجازه اثرگذاری بر پاسخ را دارد؟ و آیا میتواند آن اثر را کامل متوقف کند؟ اگر پاسخ روشن نیست، سامانه فایل جمع میکند؛ شاهد را اداره نمیکند.

معماری عملی برای جداسازی زمان رویداد، مشاهده، ثبت، نمای خواندن، تصمیم و اقدام تا سامانه هوش مصنوعی بتواند درباره واقعیتهای متغیر صادقانه استدلال کند.
ادامه مطلب
عامل مرورگر در صفحهای کار میکند که ممکن است گمراهکننده، آلوده یا برای تغییر رفتارش طراحی شده باشد. وب باید داده بماند، نه مرجع اختیار.
ادامه مطلب
متن روان جلسه شاید جملهای داشته باشد که هیچکس نگفته است. راهنمای حفظ صدای اصلی، بررسی سکوت و جداکردن پیشنویس از حرفی که به سند و تعهد تبدیل میشود.
ادامه مطلباگر این مطلب به یک سامانه واقعی در سازمان شما مربوط است، از خدمات و مطالعه موردی شروع کنید.