هر فایل سند نیست؛ پایگاه دانش هوش مصنوعی را پیش از بازیابی ایمن کنید

ت

تیم ژرف

۸ شهریور ۱۴۰۵۱۴ دقیقه مطالعه
هر فایل سند نیست؛ پایگاه دانش هوش مصنوعی را پیش از بازیابی ایمن کنید

دستیار خرید یک فایل PDF از فروشنده می‌گیرد. صفحه‌های دیده‌شدنی، قیمت و مشخصات کالا را نشان می‌دهند؛ اما لایه‌ای پنهان از دستیار می‌خواهد همان فروشنده را ترجیح دهد و اطلاعات حساب را به نشانی دیگری بفرستد. پویش بدافزار چیزی پیدا نمی‌کند. تجزیه فایل هم بی‌خطا تمام می‌شود. چند دقیقه بعد، هم جدول واقعی و هم دستور مهاجم در پایگاه دانش قابل‌بازیابی‌اند.

این رخداد فقط شکست صافیِ دستور نیست. سازمان بدون آنکه منشأ، اعتبار، دامنه دسترسی و راه لغو فایل را تعیین کند، به آن جایگاه «شاهد» داده است. پیش از قطعه‌بندی و ساخت بردار باید دروازه‌ای قرار گیرد که درباره هر منبع یکی از چهار حکم را صادر کند: رد، قرنطینه، پالایش یا پذیرش.

مسئله پیش از کیفیت بازیابی آغاز می‌شود

بیشتر نمودارهای بازیابی افزوده با تولید، کار را از جایی دیرهنگام شروع می‌کنند. جعبه‌ای با عنوان «اسناد» به تجزیه‌گر، سامانه بردارسازی و مخزن برداری وصل می‌شود؛ سپس تیم می‌سنجد که آیا بازیاب بند درست را پیدا کرده است یا نه. بازیاب بسیار دقیق نیز ممکن است با امانت کامل متنی را برگرداند که هرگز نباید وارد مخزن می‌شد.

فایل شاید اصل باشد اما به موضوع ربط نداشته باشد؛ شاید تازه باشد اما مجوز استفاده نداشته باشد؛ شاید به تجزیه‌گر آسیب نزند اما مدل را فریب دهد. ممکن است داده شخصی‌ای داشته باشد که بارگذار حق انتشارش را ندارد. گاهی نیز فایل فقط برای گزاره‌ای محدود معتبر است: دفترچه فروشنده می‌تواند ابعاد کالا را ثابت کند، اما اجازه تغییر حساب بانکی یا تأیید امنیتی نمی‌دهد.

راهنمای پیشین ژرف درباره کیفیت دانش در RAG بر ورود مشاهده‌پذیر و سنجش بازیابی تمرکز داشت. تصمیم این نوشته محدودتر و مقدم‌تر است: اصلاً چه چیزی اجازه دارد به شاهد قابل‌بازیابی تبدیل شود؟ پاسخ باید یک حکم سیاستی ماندگار باشد، نه پیامد ناخواسته دکمه «بارگذاری موفق».

شواهد معتبر چه می‌گویند؟

چند مرجع رسمی اجزای خطر را روشن کرده‌اند، هرچند هیچ‌کدام به‌تنهایی قرارداد کامل پذیرش سازمانی را ارائه نمی‌کند.

راهنمای مشترک دولت‌ها درباره امنیت داده در سامانه‌های هوش مصنوعی، منشأ، تمامیت، منبع قابل‌اعتماد، کنترل دسترسی، نسخه‌بندی و پایش چرخه عمر را اجزای یک دفاع پیوسته می‌داند. این راهنما برای کشف تغییر غیرمجاز از امضای دیجیتال و درهم‌ساز استفاده می‌کند. اما برابری درهم‌ساز فقط ثابت می‌کند بایت‌ها عوض نشده‌اند؛ درست‌بودن ادعا، تازگی، مجوز یا تناسب آنها با یک کاربرد را ثابت نمی‌کند.

گزارش NIST AI 100-2 E2025 تزریق غیرمستقیم از راه منابع و مسموم‌سازی پایگاه دانش را در سامانه‌های بازیابی توضیح می‌دهد و پیامدهای آن را برای تمامیت، حریم خصوصی و دسترس‌پذیری برمی‌شمارد. راهنمای تزریق دستور OWASP نیز یادآور می‌شود که فایل و وب‌سایت خارجی می‌توانند دستور پنهان حمل کنند و افزودن RAG به‌خودی‌خود خطر را از میان نمی‌برد. راهنمای دیگر همین نهاد درباره ضعف بردار و تعبیه میان محتوای مسموم، نشت داده، دسترسی ضعیف و بازیابی غیرمجاز پیوند برقرار می‌کند.

مرکز ملی امنیت سایبری بریتانیا در راهنمای توسعه امن هوش مصنوعی از سازندگان می‌خواهد مدل، داده و جزء بیرونی را ردیابی، احراز، نسخه‌بندی و ارزیابی کنند تا بازگشت به وضعیت سالم ممکن باشد. تحلیل بعدی این مرکز درباره تزریق دستور یک محدودیت بنیادی را برجسته می‌کند: مدل‌های زبانی کنونی مرز سختی میان «داده» و «دستور» اجرا نمی‌کنند. کشف و نشانه‌گذاری احتمال حمله را کم می‌کند، اما مهار پیامد همچنان به کنترل قطعی و کمترین سطح دسترسی نیاز دارد.

اینها یافته‌های مستندند. قرارداد چهارحکمی که در ادامه می‌آید، تحلیل ژرف برای تبدیل آنها به یک تصمیم اجرایی است.

هر منبع باید یک حکم روشن بگیرد

خدمت پذیرش باید یک حکم صریح همراه با کد دلیل صادر کند.

حکممعنامحرک معمولچه چیزی وارد بازیابی می‌شود؟
ردمنبع بیرون از سیاست است و پردازش آن ادامه نمی‌یابدنوع ممنوع، شکست تمامیت، نبود مبنای حقوقی، بار مخرب شناخته‌شدههیچ‌چیز
قرنطینهتصمیم هنوز روشن نیست و بررسی جداگانه لازم استمنشأ ناشناخته، اختلاف متن پنهان و نمای دیداری، دستور مشکوک، مالک یا مجوز مبهمهیچ‌چیز
پالایشمی‌توان مشتقی مطابق سیاست از منبع ساختحذف داده شخصی، تخت‌کردن محتوای فعال، محدودکردن دامنه، یکدست‌سازی جدولفقط مشتق بازبینی‌شده
پذیرشیک مصنوع مشخص برای هدف و مخاطبی معین تأیید شده استمنشأ، اعتبار، مجوز، دامنه، ایمنی تجزیه و دسترسی تأیید شده‌اندمصنوع پذیرفته‌شده، نه فایل خام به‌صورت پیش‌فرض

«پالایش» نام ملایم‌تری برای پذیرش نیست. مشتق تازه باید شناسه، درهم‌ساز، حکم سیاستی و پیوند خود با والد را داشته باشد. اگر بازبین متن پنهان PDF را حذف می‌کند، سامانه باید وجود همان لایه را در سابقه نگه دارد و دقیقاً ثبت کند کدام نسخه پاک وارد جست‌وجو شده است.

هویت، اختیار و دامنه را از هم جدا کنید

پیش از تجزیه، برای منبع یک سابقه تغییرناپذیر بسازید. این سابقه دست‌کم باید موارد زیر را داشته باشد:

  • شناسه منبع و بارگذاری، درهم‌ساز بایت خام، زمان دریافت، مسیر انتقال و هویت بارگذار؛
  • ناشر ادعایی، منشأ احرازشده، نتیجه بررسی امضا و روش دریافت؛
  • مالک، قاعده نگهداری، مبنای حقوقی یا مجوز، هدف مجاز و تاریخ بازبینی؛
  • مستأجر، رده داده، اشخاص مجاز، کشور یا محیط مجاز و محدودیت محرمانگی؛
  • نوع واقعی محتوا به‌جای پسوند فایل، اندازه، عمق بایگانی، وضعیت رمزگذاری و شمار اشیای جاسازی‌شده؛
  • نسخه تجزیه‌گر و استخراج، درهم‌ساز مشتق‌ها، نسخه سیاست، حکم، کد دلیل، تأییدکننده و شناسه همه فرزندان.

سه مفهوم را یکی نکنید. هویت می‌گوید کدام بایت‌ها و کدام منبع ادعایی بررسی شده‌اند. اختیار تعیین می‌کند آن منبع صلاحیت اثبات چه چیزی را دارد. دامنه مشخص می‌کند چه کسی، با چه هدفی و تا چه زمانی حق استفاده دارد. کاتالوگ امضاشده فروشنده شاید از آزمون هویت بگذرد، اما اختیار تغییر حساب بانکی را ندارد.

این جداسازی جلوی میان‌بری رایج را نیز می‌گیرد: «دامنه اینترنتی قابل‌اعتماد» مجوز همگانی نیست. نهاد ناظر، فروشنده، همکار و مشتری هرکدام ممکن است در زمینه‌ای معتبر و در زمینه‌ای دیگر نامناسب باشند.

تجزیه‌گر را در سلول ایزوله اجرا کنید

تبدیل سند سطح حمله را بزرگ می‌کند. فایل PDF، آفیس، تصویر، بایگانی یا رایانامه شاید کتابخانه‌ای پیچیده را درگیر کند، حجم عظیمی را باز کند، به منبع دور ارجاع دهد یا دو نمای متفاوت برای انسان و ماشین بسازد.

تجزیه را در کارگری ایزوله اجرا کنید که اعتبارنامه محیط عملیاتی، ابزار مدل و دسترسی پیش‌فرض به شبکه ندارد. برای پردازنده، حافظه، شمار فایل، عمق بازکردن و زمان سقف بگذارید. نسخه تجزیه‌گرها را ثابت و فهرست کنید. شیء خام را در مخزن قرنطینه غیرقابل‌بازیابی نگه دارید و مشتق‌های نوع‌دار را به مرز جداگانه بازبینی بفرستید.

بازرسی باید آنچه انسان می‌بیند با ورودی سامانه بعدی مقایسه کند. متن نامرئی یا بسیار ریز، نوشته سفید روی سفید، شیء بیرون صفحه، یادداشت، ماکرو، فایل توکار، پیوند خارجی، صفحه تصویری و غافلگیری تشخیص نویسه را پیدا کنید. اختلاف چشمگیر میان نمای دیداری و متن استخراج‌شده یک نشانه برای بررسی است، نه اثبات خودکار حمله.

مستندات مایکروسافت حمله مستقیم کاربر را از دستور خصمانه در سند جدا می‌کند و Prompt Shields را به‌عنوان دسته‌بند این الگوها شرح می‌دهد. چنین آشکارسازی فقط یکی از حسگرهاست. می‌تواند اولویت بازبینی را تغییر دهد، اما نمی‌تواند به فایل اختیار بدهد.

نشانه‌گذاری کمک می‌کند؛ مجوز صادر نمی‌کند

یک خانواده دفاعی، بندهای غیرقابل‌اعتماد را برای مدل از متن اصلی متمایز می‌کند. مقاله اصلی Spotlighting گزارش می‌کند که روش‌هایی مانند نشانه‌گذاری داده و رمزگذاری در آزمایش‌هایی روی چند مدل خانواده GPT و چند وظیفه مشخص، موفقیت تزریق غیرمستقیم را کاهش داده‌اند. همان مقاله هزینه‌ها را هم ثبت می‌کند؛ از جمله افت عملکرد بعضی مدل‌ها و وظایف در اثر رمزگذاری.

این شاهد از یک لایه مفید پشتیبانی می‌کند: محتوای بازیابی‌شده را به‌صورت نقل‌قول داده‌ای علامت بزنید، مرز منابع را حفظ کنید و به مدل بگویید آن را سیاست سامانه نداند. اما نمی‌توان از آن نتیجه گرفت که حمله برای همه مدل‌ها و همه کارها مهار شده است. مدل عوض می‌شود، تبدیل فایل شاید علامت را پاک کند، مهاجم سازگار می‌شود و بعضی وظایف به حفظ دقیق نویسه‌ها وابسته‌اند.

نشانه‌گذاری را پس از پذیرش به کار ببرید و روی مدل و کار واقعی خود بسنجید. اختیار باید بیرون از مدل بماند: مدل نباید بتواند منبع قرنطینه‌شده را ارتقا دهد، دامنه دسترسی را باز کند یا تصمیم بگیرد دستور داخل سند امتیاز ویژه دارد.

مصنوع هدفمند را بپذیرید، نه فایل مبهم را

ایمن‌ترین واحد جست‌وجو معمولاً مشتقی است که برای یک هدف ساخته شده. یک PDF می‌تواند جدول کالای یکدست‌شده، چند بند استنادپذیر و پیوستی جداگانه تولید کند. هر مشتق باید این داده‌ها را همراه داشته باشد:

  • شناسه پایدار مصنوع و شناسه منبع والد؛
  • درهم‌ساز دقیق فایل خام و متن استخراج‌شده؛
  • مختصات صفحه، ناحیه، برگه، اسلاید یا پیام؛
  • رده کاربرد یا گزاره‌هایی که اجازه اثباتشان را دارد؛
  • صافی مستأجر و شخص مجاز که از سیاست آمده، نه از حدس مدل؛
  • زمان آغاز اعتبار، انقضا و بازبینی بعدی؛
  • گزارش تبدیل و حکم بازبین یا سیاست خودکار؛
  • شناسه قطعه‌ها، بردارها، خلاصه‌ها، نهانگاه‌ها و نمایه‌های حاصل.

فقط مصنوعی را نمایه کنید که حکم فعال «پذیرش» دارد. بازیاب باید پیش از برگرداندن بند، هویت و مستأجر را بسنجد؛ نه اینکه ابتدا همه‌چیز را بردارد و سپس نتیجه غیرمجاز را پنهان کند. این همان مرزی را ادامه می‌دهد که در راهنمای ژرف درباره تفکیک مستأجران هوش مصنوعی آمده است: فراداده دسترسی باید همراه شاهد به همه بازنمایی‌های مشتق‌شده برود.

فایل فروشنده را از دروازه عبور دهید

به نمونه خرید برگردیم. دروازه ابتدا PDF خام را در قرنطینه ذخیره و درهم‌ساز آن را محاسبه می‌کند. سابقه نشان می‌دهد یکی از خریداران فایل را از پیوست رایانامه بارگذاری کرده، اما در درگاه احرازشده فروشنده نه همان درهم‌ساز دیده می‌شود و نه سابقه انتشار. این اختلاف حمله را ثابت نمی‌کند؛ بااین‌حال پذیرش خودکار را متوقف می‌کند.

تجزیه‌گر ایزوله، نمای دیداری، متن استخراج‌شده، فهرست اشیا و گزارش ارجاع‌های شبکه را می‌سازد. جدول قیمت با تصویر صفحه برابر است. لایه‌ای بیرون صفحه می‌گوید فروشنده ترجیح داده شود و کاربر با نشانی نامرتبط تماس بگیرد. پویشگر بدافزار همچنان پاسخ پاک می‌دهد و آشکارساز حمله سند هشدار می‌سازد. سیاست، منبع را در قرنطینه نگه می‌دارد، زیرا دستور پنهان با هدف اعلام‌شده تعارض دارد.

بازبین، مشخصات روز را در درگاه فروشنده تطبیق می‌دهد و مشتقی می‌سازد که فقط فیلدهای تأییدشده کالا را دارد. سیاست اجازه می‌دهد متن فروشنده برای ابعاد، قیمت فهرست و ضمانت شاهد باشد؛ اما انتخاب فروشنده، تغییر حساب و پرداخت را مجاز نمی‌کند. مشتق تا پایان اعتبار پیشنهاد برای واحد خرید پذیرفته می‌شود و به والد قرنطینه‌شده پیوند می‌خورد.

دستیار هنگام پاسخ می‌تواند همان فیلدها را با مختصات منبع نقل کند. حتی اگر زبان خصمانه‌ای باقی مانده باشد، بدون کنترل جداگانه دروازه انتشار خروجی حق ارسال رایانامه یا تغییر سفارش خرید را ندارد. پذیرش، شاهد را کنترل می‌کند؛ دروازه خروجی، پیامد را.

لغو باید همه شاخه‌های تبار را ببندد

حذف از مخزن بارگذاری با لغو برابر نیست. یک منبع شاید فایل استخراج‌شده، قطعه، بردار، خلاصه، نهانگاه، نمونه ارزیابی یا نامزد آموزش ساخته باشد. تا وقتی یکی از این فرزندان قابل‌بازیابی است، منبع هنوز بر عملیات اثر می‌گذارد.

از منبع خام تا آخرین مشتق، گراف تبار نگه دارید. رویداد لغو باید نخست صلاحیت بازیابی را بی‌درنگ خاموش کند و سپس فرزندان را در نمایه و نهانگاه حذف یا سنگ‌قبرگذاری کند. بسته‌شدن مسیر را با این پرسش از گراف تأیید کنید: آیا هیچ شیء فعال دیگری از این منبع نسب می‌برد؟ زمان پایان و هر استثنا را ثبت کنید.

پایان مجوز، پس‌گرفتن تأیید مالک، انتشار نسخه مرجع تازه، رخداد امنیتی یا تمامیت، پایان رابطه مستأجر و تغییر سیاست باید لغو را فعال کند. اگر ماده پذیرفته‌شده به حلقه یادگیری می‌رود، همین تبار را به دیوار آتش بازخورد یادگیری عملیاتی وصل کنید؛ وگرنه سند لغوشده ممکن است بی‌صدا از راه داده آموزشی بازگردد.

کنترل‌هایی که فقط شبیه کنترل‌اند

چند اقدام ظاهراً منطقی زیر فشار فرو می‌ریزند:

  • «ضدبدافزار آن را تأیید کرد.» پویش بدافزار یک لایه را می‌پوشاند؛ اختیار، دستور پنهان، حق حریم خصوصی و دامنه بازیابی را نمی‌سنجد.
  • «درهم‌ساز برابر است.» تمامیت با حقیقت یکی نیست. بایت یکسان می‌تواند کهنه، گمراه‌کننده یا بدون مجوز باشد.
  • «آشکارساز گفت امن است.» خروجی احتمالی شاهد تصمیم است، نه خود تصمیم.
  • «متن مشکوک را پاک کردیم.» بدون والد حفظ‌شده و گزارش تبدیل، بازتولید نتیجه و لغو فرزندان ممکن نیست.
  • «صافی دسترسی در رابط کاربر اعمال می‌شود.» پس از بازیابی، متن شاید پیش‌تر وارد دستور، گزارش، نهانگاه یا زمینه مدل شده باشد.
  • «انسان صفحه را دید.» بازبین تصویر را می‌بیند؛ تجزیه‌گر و مدل شاید لایه پنهان یا خروجی تشخیص نویسه را ببینند.
  • «فایل حذف شد.» قطعه، بردار، خلاصه و نهانگاه می‌توانند زنده بمانند.
  • «قرنطینه امن است.» صف بی‌انتها بدون مالک، مهلت، قاعده نگهداری و قطع مسیر بازیابی، خودش به پایگاه دانش سایه تبدیل می‌شود.

تصمیم‌ها را بسنجید، نه فقط سرعت ورود را

خدمت پذیرش باید تابلوی عملیاتی داشته باشد. این سنجه‌ها مفیدند:

سنجهچه چیزی را آشکار می‌کند؟
کامل‌بودن منشأسهم منابعی که منشأ احرازشده، مالک، مجوز و نسخه سیاست دارند
پوشش تبارسهم اشیای قابل‌جست‌وجو که به مصنوع پذیرفته‌شده و والد خام وصل‌اند
شمار یتیم‌هاقطعه، بردار یا نهانگاهی که حکم پذیرش فعال ندارد
ترکیب حکم‌هانرخ پذیرش، پالایش، قرنطینه و رد به تفکیک نوع منبع
عمر بازبینیمیانه و دنباله زمان ماندن در قرنطینه و شمار تصمیم‌های عقب‌افتاده
نرخ اختلاف نماسهم منابعی که تصویر و متن استخراج‌شده آنها تفاوت معنادار دارد
شکست طعمه دسترسیتلاش‌هایی که داده آزمایشی مستأجر دیگر در آنها قابل‌بازیابی می‌شود
زمان بستن لغوفاصله تا وقتی هیچ فرزند فعالی قابل‌جست‌وجو نباشد
نرخ رهایی اشتباهرخدادهای پس از پذیرش که باید به قرنطینه یا رد منجر می‌شدند
تغییر کیفیت کاردقت و کاملی که در اثر ایزوله‌سازی، نشانه‌گذاری یا پالایش از دست می‌رود

هیچ هدف عددی برای همه سازمان‌ها مناسب نیست. کاهش نرخ قرنطینه شاید از بهبود منابع خبر دهد؛ شاید هم آشکارساز دیگر چیزی نمی‌بیند. سنجه‌ها را کنار هم بخوانید، از تصمیم‌ها نمونه‌برداری انسانی کنید و فایل‌های خصمانه را در آزمون بازگشت نگه دارید.

معماری باید ساخت وضعیت ناامن را دشوار کند

طراحی عملی دو صفحه دارد. صفحه شواهد منبع خام، مشتق، شناسنامه، حکم و تبار را نگه می‌دارد. صفحه خدمت‌دهی فقط مصنوع پذیرفته‌شده و فعال را می‌گیرد، صافی هویتی را اجرا می‌کند، مرز منبع را نشان می‌دهد و کمترین ابزار را در اختیار مدل می‌گذارد. خدمت سیاست، گذار میان این دو را امضا می‌کند. مدل می‌تواند شاهد را خلاصه کند؛ حق جابه‌جایی آن از این مرز را ندارد.

کار را با منبع‌هایی آغاز کنید که هم اختیار زیاد دارند و هم پیامد سنگین: آیین‌نامه، قرارداد، دستور فروشنده، بارگذاری مشتری و راهنمای عملیات. روشن کنید هر رده صلاحیت اثبات چه چیزی را دارد؛ سپس چهار حکم و بستن تبار پس از لغو را پیاده کنید. با تغییر تجزیه‌گر یا مدل، ورود نوع تازه منبع، جابه‌جایی مالک، تغییر خطای آشکارساز یا عبور یک رخداد واقعی از مرز، سیاست را دوباره بسنجید.

آزمون نهایی ساده است: آیا سازمان می‌تواند توضیح دهد چرا همین مصنوع، امروز، برای همین مخاطب و همین هدف اجازه اثرگذاری بر پاسخ را دارد؟ و آیا می‌تواند آن اثر را کامل متوقف کند؟ اگر پاسخ روشن نیست، سامانه فایل جمع می‌کند؛ شاهد را اداره نمی‌کند.

یادداشت منابع — بازبینی ۲۰۲۶

#پایگاه دانش هوش مصنوعی#امنیت RAG#ورود سند#تزریق دستور#منشأ داده

مطالب مرتبط

یک فرایند را برای کشف نیاز مشخص کنید

اگر این مطلب به یک سامانه واقعی در سازمان شما مربوط است، از خدمات و مطالعه موردی شروع کنید.