اجازه خواندن، اجازه افشا نیست: دروازه خروجی هوش مصنوعی

ت

تیم ژرف

۴ شهریور ۱۴۰۵۱۳ دقیقه مطالعه
اجازه خواندن، اجازه افشا نیست: دروازه خروجی هوش مصنوعی

یک تحلیلگر مجاز است قیمت قراردادهای داخلی را ببیند؛ پس دستیار هوش مصنوعی او هم برای گزارش مذاکره آن قیمت‌ها را بازیابی می‌کند. سپس تحلیلگر می‌خواهد خلاصه برای یک تأمین‌کننده ایمیل شود. مجوز خواندن ثابت نمی‌کند آن تأمین‌کننده حق دریافت قیمت رقبا، رتبه‌بندی استنباط‌شده، پیوست پنهان یا فهرست گیرندگان را دارد. بااین‌حال بسیاری از سامانه‌ها تولید متن را آخرین گام امنیتی و تحویل را فقط لوله‌کشی فنی می‌دانند.

تصمیم خواننده این است: برای هر پیام، فایل، آرگومان ابزار یا خروجیِ ساخته‌شده با هوش مصنوعی، سامانه باید آن را دست‌نخورده آزاد کند، کمینه و تبدیل کند، به تصمیم انسانی بسپارد یا مسدود سازد؟ پاسخ باید محتوا را به منشأ، درخواست‌کننده، هدف، مقصد دقیق، مقدار، زمان و سیاست حاکم متصل کند.

قاعده مرکزی چنین است: اجازه استفاده از اطلاعات درون یک وظیفه، اجازه افشای نتیجه بیرون از مرز اعتماد همان وظیفه نیست. میان اجرای هوش مصنوعی و هر اتصال خروجی، یک دروازه قطعیِ انتشار بگذارید. مدل می‌تواند بار داده را پیشنهاد کند؛ اما حق ارسال آن را نباید خودش صادر کند.

اختیار خواندن با اختیار انتشار یکی نیست

کنترل دسترسی معمولی پاسخ می‌دهد آیا یک فاعل می‌تواند از منبعی استفاده کند. کنترل انتشار پرسش دیگری دارد: آیا یک شیء اطلاعاتی معین، در این شرایط، حق حرکت از این بافت مبدأ به آن مقصد را دارد؟

تولید، شیء اطلاعاتی را عوض می‌کند: پاسخ شاید رکورد را نقل کند، چند رکورد را تجمیع سازد، واقعیتی حساس را استنباط کند، دو فیلد بی‌ضرر را شناسایی‌کننده سازد یا محتوا را در فایل و آرگومان ابزار جا دهد. دیدن جداگانه ده پرونده، مجوز خروجی‌گرفتن از هر ده نیست؛ دیدن نشانی مشتری هم مجوز ارسال آن به هویت تأییدنشده نیست. حتی با بازیابی مجاز تک‌تک رکوردها، خلاصه میان‌مستأجری می‌تواند نشت کند.

به همین دلیل، طراحی مرز مستأجر باید برچسب مستأجر و مبدأ را تا درون مصنوع تولیدشده حمل کند. حذف منشأ در مرز مدل، مسئله سیاستیِ معلوم را به حدس‌زدن از روی نثر تبدیل می‌کند.

منابع معتبر چه چیزی را ثابت می‌کنند و طراحی از کجا آغاز می‌شود

الگوی کنترلی زیربنایی، رویه‌ای جاافتاده در امنیت است. کنترل AC-4 اجرای جریان اطلاعات در ویرایش پنجم NIST SP 800-53، جریان اطلاعات را از دسترسی بعدی جدا می‌کند. افزونه‌های این کنترل، تصمیم مبتنی بر ویژگی اطلاعات، مبدأ و مقصد؛ فیلترهایی برای مسدودکردن، حذف، تغییر یا قرنطینه؛ و بازبینی انسانی در نبود تصمیم تمام‌خودکار را توضیح می‌دهند.

مدل بلوغ اعتماد صفر CISA، نسخه دوم در آوریل ۲۰۲۳ از سازمان‌ها می‌خواهد داده را موجودی‌برداری، دسته‌بندی و برچسب‌گذاری کنند و سازوکارهای کشف و توقف خروج غیرمجاز داده داشته باشند. نمونه سطح بهینه آن، مسدودسازی پویای خروج مشکوک را مطرح می‌کند. راهنمای توسعه امن سامانه هوش مصنوعی که NCSC بریتانیا و شرکای بین‌المللی تهیه و در نوامبر ۲۰۲۳ بازبینی کرده‌اند، تعهدهای ویژه هوش مصنوعی را می‌افزاید: اندازه‌گیری خروجی و رفتار سامانه، ثبت ورودی متناسب با الزامات حریم خصوصی، حفاظت از رابط‌های در معرض دسترس و برنامه پاسخ به رخداد.

شواهد شکست هوش مصنوعی نیز روشن‌اند. راهنمای تزریق پرامپت OWASP می‌گوید RAG و تنظیم دقیق، خطر تزریق را به‌طور کامل از میان نمی‌برند و افشای اطلاعات حساس و اقدام بدون مجوز را از پیامدها می‌شمارد. راهنمای افشای اطلاعات حساس هم هشدار می‌دهد محدودیت نوشته‌شده در پرامپت سامانه همیشه رعایت نمی‌شود و ممکن است دور زده شود.

این منابع، دروازه دقیق، چندتایی تصمیم، رسید یا سنجه‌های زیر را تجویز نمی‌کنند. این بخش تحلیل ژرف است: یک الگوی عملیاتی مستقل از فروشنده که از کنترل جریان اطلاعات، شواهد تهدید هوش مصنوعی و شکست‌های تولیدی استخراج شده است.

پیش از انتخاب آشکارساز، خود تصمیم را تعریف کنید

درخواست انتشار فقط یک رشته نیست. آن را به‌صورت چندتایی نسخه‌دار نمایش دهید:

ورودی تصمیمپرسشی که دروازه باید پاسخ دهد
اطلاعاتکدام اشیای مبدأ در نتیجه سهم دارند؟ چه برچسب، مالک، مستأجر، حوزه قضایی، قاعده نگهداری و محدودیت رضایت برقرار است؟
درخواست‌کنندهکدام انسان یا بارکاریِ احرازشده انتشار را خواسته است؟ اختیار تفویض شده و نشست هنوز معتبر است؟
هدف وظیفهچه کار مصوبی انجام می‌شود؟ استفاده ثانویه یا تجمیع از آن فراتر می‌رود؟
مقصددقیقاً کدام گیرنده، حساب، میزبان، مخزن، کانال یا ابزار بایت‌ها را می‌گیرد؟ طبقه اعتماد آن چیست؟
تبدیلبار داده بدون تغییر، خلاصه، حذف‌شده، توکن‌سازی‌شده، تجمیع‌شده، ترجمه‌شده یا تبدیل‌شده به نوع فایل دیگر است؟
مقیاسچند شخص، رکورد، فیلد، بایت و انتشار دخیل‌اند، با احتساب فعالیت تجمعی اخیر؟
زمان و شاهدکدام نسخه سیاست معتبر است؟ برچسب‌ها تازه‌اند؟ تأیید منقضی شده؟ آیا می‌توان تصمیم را بدون ذخیره راز در لاگ بازتولید کرد؟

قاعده امن، مجوز صریح است نه نبودِ یافته آشکارساز. منشأ نامعلوم، گیرنده حل‌نشده، برچسب کهنه، فایل پشتیبانی‌نشده یا خطای سیاست نباید بی‌صدا مجوز شود.

{
  "release_id": "rel_7f2c",
  "requester": "workload:sourcing-assistant@tenant-42",
  "purpose": "supplier-negotiation-brief",
  "source_labels": ["tenant:42", "commercial-confidential", "rival-pricing"],
  "destination": "mailbox:supplier-a@example.org",
  "destination_class": "external-counterparty",
  "payload_hash": "sha256:...",
  "records": 18,
  "policy_version": "release-2026-08-4",
  "proposed_action": "send_email"
}

برچسب‌ها را در سراسر بازیابی، تولید و سریال‌سازی به قطعه‌های مبدأ متصل نگه دارید. بازرسی محتوا می‌تواند این شاهد را تقویت کند، اما برچسب مبدأِ دورریخته‌شده را بازسازی نمی‌کند.

دروازه را بیرون از مدل بگذارید

مدل نباید اعتبارنامه خروجی یا مسیر شبکه نامحدود داشته باشد. اتصال فقط پس از ارزیابی سیاست، قابلیتی کوتاه‌عمر و بسته به مقصد، هش بار، عمل، مستأجر و انقضا می‌گیرد.

یک مسیر عملی چنین است:

  1. بازیاب، محتوا را با شناسه تغییرناپذیر مبدأ و ویژگی سیاستی برمی‌گرداند.
  2. مدل خروجی ساخت‌یافته و مقصد را پیشنهاد می‌کند؛ خودش نمی‌فرستد.
  3. متعارف‌ساز، گیرندگان را حل می‌کند، قالب را گسترش می‌دهد، یونیکد را نرمال می‌کند، ظرف‌های پشتیبانی‌شده را می‌گشاید و دقیقاً همان بایت‌های زیر بازبینی را سریال می‌کند.
  4. دروازه انتشار، برچسب مبدأ، بافت درخواست‌کننده، هدف وظیفه، اعتماد مقصد، حجم تجمعی و سیاست را به هم می‌پیوندد.
  5. قواعد قطعی میان اجازه، تبدیل، بازبینی و رد انتخاب می‌کنند. آشکارساز و طبقه‌بند فقط سیگنال محدود می‌دهند، نه حکم نهایی.
  6. در صورت مجوز، اتصال از قابلیتی تک‌منظوره استفاده می‌کند. تغییر بایت، گیرنده، اتصال یا انقضا تصمیم را باطل می‌سازد.
  7. سامانه رسید دستکاری‌ناپذیر و نتیجه را ثبت می‌کند، بی‌آن‌که محتوای حساس را در لاگ عمومی کپی کند.

مهار شبکه همچنان ضروری است، اما در لایه دیگری کار می‌کند. مستندات Kubernetes، NetworkPolicy را کنترل در سطح IP و درگاه معرفی می‌کنند و صریح می‌گویند API آن نمی‌تواند ترافیک را وادار به عبور از دروازه مشترک کند، سیاست TLS را اجرا کند یا سرویس را با نام هدف بگیرد. فهرست مجاز شبکه نمی‌فهمد که یک بند را می‌توان برای تأمین‌کننده مصوب فرستاد، اما قیمت رقیب نباید خارج شود. سرویس انتشار به هویت برنامه و معنای پیام نیاز دارد؛ شبکه نیز تضمین می‌کند مدل نتواند آن را دور بزند.

اتصال مقصد، الگوی امنیت عامل مرورگر را گسترش می‌دهد: گیرنده نهایی و عملِ حل‌شده را مجاز کنید، نه نشانی نوشته‌شده به دست مدل را که پس از تأیید تغییر مسیر می‌دهد.

کمینه‌سازی را یک تبدیل کنترل‌شده بدانید

آشکارساز می‌تواند الگوی شناخته‌شده را بیابد و تبدیل می‌تواند میزان افشا را کاهش دهد. مستند حفاظت از داده حساس Google Cloud سازوکارهایی عملی مانند پوشاندن، جایگزینی با توکن، رمزنگاری، حذف، تبدیل فیلد و سرکوب رکورد را نشان می‌دهد. این مستند وابستگی مهمی را هم روشن می‌کند: تبدیلِ نوع اطلاعات فقط بر محتوایی اعمال می‌شود که معیار بازرسی پیکربندی‌شده آن را شناسایی کرده باشد.

این ابزار مفید است، نه اثبات انتشار امن. آشکارساز ممکن است نام رمز، متن آزاد فارسی، شناسه تازه، مقدار پخش‌شده میان چند سلول یا استنباطی مانند «تنها کارمند شعبه» را نبیند؛ شاید محتوای بی‌خطر را هم حذف کند. برچسب مبدأ و فیلد ساخت‌یافته باید بار اصلی سیاست را حمل کنند و کشف محتوا دفاع تکمیلی باشد.

هر تبدیل را مصنوعی تازه در نظر بگیرید:

  • مانیفست قطعی تبدیل بسازید؛
  • اصل را فقط در بافت محافظت‌شده وظیفه نگه دارید؛
  • بایت‌های تبدیل‌شده را دوباره بازرسی و ارزیابی کنید؛
  • در صورت لزوم، تجمیع را از نظر حداقل اندازه گروه و خطر تفاضل بسنجید؛
  • اگر انسان نتیجه را ویرایش، پیوست اضافه یا گیرنده را عوض کرد، تأیید را باطل کنید؛
  • شکست تجزیه‌گر، بایگانی رمزگذاری‌شده یا رسانه پشتیبانی‌نشده را «بدون یافته» تلقی نکنید.

برای برخی جریان‌ها کمینه‌سازی درست، حذف متن نیست؛ شاید عدد تجمیعی ثابت، پاسخ بله/خیر، پیوند پرتال داخلی یا اصلاً عدم انتشار باشد.

چهار نتیجه را از نظر عملیاتی جدا کنید

نتیجهزمان مناسبرفتار لازم
اجازهمنشأ کامل است؛ گیرنده و هدف مصوب‌اند؛ محتوا و حجم تجمعی با سیاست سازگارندقابلیت یک‌بارمصرف متصل به بایت و مقصد دقیق صادر شود
تبدیل و سپس اجازهکمینه‌سازی تعریف‌شده بدون تغییر معنای وظیفه، سیاست را برآورده می‌کندتبدیل نسخه‌دار، بازرسی و ارزیابی دوباره؛ فقط هش تازه آزاد شود
بازبینیسیاست اجازه داوری می‌دهد، عدم‌قطعیت خواناست و بازبین واجد صلاحیت می‌تواند تصمیم بگیردمنشأ، تفاوت، مقصد، دلیل، انقضا و گزینه جایگزین نمایش داده شود
ردجریان ممنوع است، منشأ معلوم نیست، کنترل شکست خورده، مقصد حل نشده یا خطر کم‌شدنی نیستبسته بماند، شاهد حفظ شود و در صورت امکان راه امن پیشنهاد گردد

بازبینی مسیر پیش‌فرض هر مورد دشوار نیست. راز میان‌مستأجری، اعتبارنامه یا داده کنترل صادرات برای مقصد فاقد صلاحیت باید ساختاری ناممکن بماند. فرستادن هر انتشار کم‌خطر به صف هم تأخیر و خستگی تأیید می‌سازد.

مثال عملی: ایمیل تأمین‌کننده که هنوز نباید ارسال شود

دستیار فرضی دوزبانه تدارکات، قرارداد، قیمت، سابقه تحویل و یادداشت مذاکره مستأجر ۴۲ را می‌خواند. خریدار مجاز می‌گوید: «موضع ما را فارسی خلاصه کن و برای تأمین‌کننده الف ایمیل بزن.» متن روان است، شماره حساب آشکاری ندارد و اسکن ساده DLP هم پاک است.

پوش منشأ روایت دیگری دارد. هجده رکورد در پاسخ سهم داشته‌اند، از جمله قیمت دو رقیب با برچسب commercial-confidential و یادداشت حقوقی محدود به مشاور داخلی. صندوق خارجی درخواستی شناخته‌شده است، اما سیاست هدف فقط اجازه می‌دهد تأمین‌کننده الف داده عملکرد خودش و آمار دسته‌بندی‌شده بالاتر از حداقل اندازه گروه را ببیند.

دروازه «تبدیل و سپس بازبینی» را برمی‌گزیند. قالبی قطعی قیمت در سطح رقیب را حذف می‌کند، از گروهی به‌اندازه کافی بزرگ بازه مجاز می‌سازد، یادداشت حقوقی را با پیگیری داخلی جایگزین می‌کند و مانیفست پیوند مبدأ به خروجی می‌سازد. پیام تبدیل‌شده دوباره اسکن می‌شود و هش تازه می‌گیرد. بازبین مقصد، دلیل سیاست، فیلدهای حذف‌شده، روش تجمیع و بایت نهایی را می‌بیند؛ نه نشان مبهم «هوش مصنوعی این را امن می‌داند».

تأیید، قابلیتی برای یک ایمیل، یک صندوق، یک هش بار داده و ده دقیقه صادر می‌کند. اگر خریدار پیوست اضافه کند، نشانی را عوض کند یا بدنه را ویرایش کند، اتصال آن را رد و تصمیم تازه‌ای آغاز می‌کند. عددها و سیاست صرفاً توضیحی‌اند؛ این مثال ادعای استقرار در ژرف نیست.

بازبینی را برای داوری طراحی کنید، نه تشریفات

بسته بازبینی مفید باید انسان را قادر کند همان پرسش سیاستیِ حل‌نشده را پاسخ دهد. این بسته بهتر است موارد زیر را نشان دهد:

  • درخواست‌کننده احرازشده، هدف وظیفه، مستأجر و اعتماد مقصد؛
  • اشیای مبدأ، مالک، طبقه‌بندی و قطعه یا فیلدی که بر خروجی اثر گذاشته است؛
  • تفاوت اصل و نسخه تبدیل‌شده، بدون گسترش بی‌دلیل دسترسی؛
  • یافته آشکارساز، قاعده منطبق، عدم‌قطعیت، حجم تجمعی و تلاش مرتبط پیشین؛
  • عمل دقیق، هش بایت، انقضا و پیامد تأیید؛
  • گزینه امن‌تر مانند اشتراک داخلی، تجمیع کوچک‌تر یا پیوند پرتال.

آزمون ظرفیت و استقلال راهنمای طراحی تأیید انسانی را اعمال کنید. بازبینی که بافت، زمان، اختیار یا نمای تفاوت خوانا ندارد، کنترل نیست. استثنای پرپیامد شاید به نقش دوم یا مالک داده نیاز داشته باشد؛ جریان عادی مصوب باید خودکار بماند.

شکست‌هایی با ظاهر سازگار

نشانه ظاهراً سالمشکست پنهانکنترل آشکارکننده
کاربر همه منابع را می‌خواندگیرنده، هدف، تجمیع یا عبور مستأجر مجاز نشدهسیاست مستقل انتشار بر ویژگی مبدأ و مقصد
DLP الگوی حساسی نیافتبرچسب مبدأ گم شده یا افشا وابسته به بافت استاتصال منشأ و سیاست ساخت‌یافته
دامنه ایمیل در فهرست مجاز استصندوق اشتباه، نشانی تغییریافته، کانال عمومی یا حساب تصرف‌شدهحل و اتصال مقصد دقیق
انسان روی تأیید زدبازبین تفاوت، تبار یا حجم تجمعی را ندیدبسته کامل برای تصمیم
بار داده پیش از ارسال قبول شداتصال، رمزگذاری یا قالب را گسترش داد و فراداده افزودابتدا متعارف‌سازی؛ اتصال مجوز به بایت نهایی
هر انتشار کوچک استدرخواست‌های تکراری مجموعه را بازسازی می‌کنندبودجه تجمعی برای شخص و مقصد
محتوای ردشده در لاگ برنامه نیستپرامپت یا بار کامل در تله‌متری و ابزار بازبینی نشت کردهطرح شاهد کمینه و سیاست دسترسی لاگ
موتور سیاست در دسترس نبودکارخواه از SDK مستقیم یا مسیر بازِ جایگزین استفاده کردجداسازی شبکه و اعتبارنامه بسته در شکست

راه دورزدن را بیازمایید: اتصال جایگزین، تغییر مسیر، پیوند مشترک، کلیپ‌بورد، تصویر صفحه، بایگانی رمزگذاری‌شده، بار چندرسانه‌ای، خروجی جریانی، تلاش دوباره، صف و استثنای مدیر.

شاهد را بدون ساختن نشت دوم ثبت کنید

هر تلاش به رسیدی نیاز دارد که بگوید چه کسی، چه نوع جریانی را، از کدام منابع، به کدام مقصد حل‌شده، زیر کدام سیاست و با چه تصمیمی درخواست کرده است. معمولاً نیازی به ذخیره خودِ بار محرمانه نیست.

release_id, task_id, requester_id, tenant_id
source_object_ids, source_label_digest, provenance_coverage
destination_id, destination_class, connector_id
original_hash, transformed_hash, transform_manifest_id
policy_version, matched_rule_ids, detector_versions
decision, reviewer_id, approval_expiry, capability_id
attempted_at, delivered_at, connector_receipt, incident_link

دفتر را محافظت و دسترسی بازبین را از مشاهده‌پذیری عمومی جدا کنید و دوره نگهداری تعریف کنید. آن را به معماری شاهد حسابرسی هوش مصنوعی متصل کنید تا بازرس بدون جست‌وجوی پراکنده میان رد مدل و لاگ ایمیل، تصمیم را بازتولید کند.

مرز را مانند یک سامانه کنترل بسنجید

پیش از اجرا، سیاست را در حالت سایه روی جریان‌های تاریخی و زنده نماینده اجرا کنید؛ نتیجه پیشنهادی را ثبت کنید، بدون آن‌که انتشار تازه‌ای انجام شود. آن را با رخداد شناخته‌شده، داوری مالک داده و فرایند موجود کسب‌وکار مقایسه کنید. سپس اجرای محدود را بر پایه اتصال، طبقه داده، مستأجر و طبقه مقصد انجام دهید، نه با یک کلید سراسری.

این موارد را پایش کنید:

  • پوشش منشأ و سهم تلاش‌های دارای برچسب نامعلوم یا کهنه؛
  • نرخ اجازه، تبدیل، بازبینی و رد به تفکیک سیاست، اتصال، مستأجر و طبقه مقصد؛
  • یافته باقی‌مانده پس از تبدیل و انتشار‌هایی که ویرایش بعدی باطل کرده است؛
  • سن صف بازبین، نرخ برگشت، نرخ استثنا و اختلاف نظر به تفکیک طبقه خطر؛
  • بایت، رکورد، شخص و گیرنده یکتا در پنجره‌های تجمعی؛
  • تلاش دورزدن شبکه، ظرف پشتیبانی‌نشده، شکست تجزیه‌گر و مهلت موتور سیاست؛
  • رسید تحویل، تغییر گیرنده، رخداد پس از انتشار و میانگین زمان لغو قابلیت اتصال.

با تغییر مالکیت داده، قرارداد مقصد، حوزه قضایی، رفتار مدل، اتصال یا تبدیل، سیاست را بازبینی کنید. توقف انتشار و لغو اتصال را پیش از رخداد تمرین کنید. از جریان مجاز برای منفی کاذب و از جریان ردشده برای اصطکاک بی‌دلیل نمونه بگیرید؛ بهینه‌سازی صرفِ نرخ رد یا نشت را پنهان می‌کند یا کار مفید را از حرکت می‌اندازد.

طراحی ماندگار در بیان ساده و در اجرا دشوار است: منشأ را تا انتها حمل کنید، اجازه را به بایت نهایی و مقصد دقیق ببندید، کمینه‌سازی را قطعی انجام دهید، فقط داوری واقعی را به انسان بسپارید و هر مسیر کنترل‌نشده را از اساس ناتوان از ارسال سازید.

یادداشت منابع — بازبینی‌شده در ۲۰۲۶-۰۸-۲۶

#امنیت هوش مصنوعی#حاکمیت داده#جریان اطلاعات#جلوگیری از نشت داده#عامل هوش مصنوعی

مطالب مرتبط

یک فرایند را برای کشف نیاز مشخص کنید

اگر این مطلب به یک سامانه واقعی در سازمان شما مربوط است، از خدمات و مطالعه موردی شروع کنید.