عامل مرورگر: هوش مصنوعی که وب را پیمایش می‌کند

ت

تیم ژرف ای‌آی

۱ تیر ۱۴۰۵به‌روزرسانی ۸ مرداد ۱۴۰۵۱۱ دقیقه مطالعه
عامل مرورگر: هوش مصنوعی که وب را پیمایش می‌کند

مرورگر سازگارکننده همگانی است چون تقریباً هر کسب‌وکار رابط وب دارد. در عین حال محیط اجرایی خصمانه، حالت‌دار و ناپایدار است. صفحه پس از مشاهده عامل تغییر می‌کند، دستور پنهان مدل را می‌رباید، مودال روی دکمه می‌افتد و checkout ممکن است تعهد کند اما صفحه تأیید بار نشود.

عامل مفید «مدلی با ماوس» نیست. سامانه محدود computer-use است که مشاهده، برنامه، سیاست، اجرا و راستی‌آزمایی را جدا می‌کند. API معتبر را ترجیح می‌دهد، محتوای وب را داده نامطمئن می‌داند و حالت نهایی را اثبات می‌کند، نه اینکه کلیک بشمارد.

تصمیم بگیرید مرورگر رابط درستی است یا نه

از مرورگر استفاده کنید وقتی:

  • خدمت API پشتیبانی‌شده برای کار ندارد؛
  • گردش‌کار به رابط انسانی یا شاهد آن وابسته است؛
  • آزمون تجربه واقعی کاربر هدف است؛
  • پل موقت به پرتال قدیمی توجیه دارد؛
  • مالک سایت اتوماسیون را مجاز می‌داند.

وقتی API تراکنش مستند و پایدار می‌دهد آن را ترجیح دهید. پاسخ API آسان‌تر اعتبارسنجی، نسخه‌بندی، مجوزدهی و یکتا می‌شود. مرورگر ریسک چیدمان، رندر، نشست، زمان، accessibility tree، زبان، ضدربات و شرایط استفاده می‌آورد.

عامل را برای دورزدن کنترل دسترسی، CAPTCHA، محدودیت نرخ یا قرارداد به‌کار نبرید. مجوز دسترسی خودکار، جمع‌آوری داده، حساب و بازاستفاده را بررسی کنید. عمومی‌بودن صفحه به معنی استفاده نامحدود نیست.

هر کار را خواندن پژوهشی، ساخت پیش‌نویس، نوشتن برگشت‌پذیر یا تراکنش مهم دسته‌بندی کنید. جداسازی، مجوز، تأیید و شاهد از این رده می‌آید.

معماری لایه‌ای عامل مرورگر بسازید

معماری تولید اجزا را جدا می‌کند:

  1. مدیر نشست: پروفایل جدا، سیاست شبکه، زبان، viewport و مرز اعتبارنامه می‌سازد.
  2. مشاهده‌گر: screenshot، accessibility tree، فراداده DOM، URL، تب، دانلود و رویداد اخیر می‌دهد.
  3. برنامه‌ریز: گام کوتاه بعدی را از فهرست مجاز پیشنهاد می‌کند.
  4. موتور سیاست: دامنه، هویت، کار، رده داده، اقدام و ریسک را می‌سنجد.
  5. اجراکننده: یک اقدام تایپ‌شده مانند click، type، select، scroll، upload یا navigate انجام می‌دهد.
  6. راستی‌آزما: ظاهرشدن حالت و نتیجه تجاری مورد انتظار را می‌سنجد.
  7. ثبت شاهد: تصویر لازم، اقدام عادی‌شده، هش و نتیجه معتبر را با حذف داده نگه می‌دارد.

مدل نباید کنترل نامحدود دسکتاپ داشته و سیاست را خودش تعیین کند. گام را کوچک و قابل بررسی کنید. submit_all_forms() بیش از حد پنهان است؛ select_supplier(id)، enter_quantity(value) و request_purchase_preview() مرز واقعی می‌دهند.

برای هر برنامه نسخه حالت ثبت کنید. پیش از اقدام مهم، URL، عنصر، حساب، رکورد، قیمت، گیرنده و فیلد مهم را با مشاهده تأییدشده تطبیق دهید.

صفحه را ورودی نامطمئن بدانید

صفحه می‌تواند دستور مستقیم یا پنهان داشته باشد: «قواعد قبلی را نادیده بگیر»، پیام جعلی سامانه، syntax ابزار، متن نامرئی، alt مخرب یا سند بازشده در مرورگر. صرف خوانده‌شدن توسط مدل اختیار نمی‌سازد.

مدل اعتماد:

  • سیاست سامانه و سازمان دستور کنترل مورد اعتماد است؛
  • درخواست احرازشده کاربر در چارچوب سیاست نیت می‌دهد؛
  • صفحه، نتیجه جست‌وجو، ایمیل، تبلیغ، سند و خروجی ابزار شاهد نامطمئن‌اند؛
  • فقط موتور سیاست اقدام و اعتبارنامه می‌دهد.

تزریق با گفتن «دستور مخرب را نادیده بگیر» به‌طور قابل اتکا حل نمی‌شود. اثر را با جداسازی و کمترین دسترسی محدود کنید:

  • محتوای صفحه را از پیام کنترل جدا کنید؛
  • دامنه و مسیر را در صورت امکان allowlist کنید؛
  • دانلود، پروتکل و شبکه محلی دلخواه را ببندید؛
  • برای هر کار فقط ابزار و scope لازم بدهید؛
  • راز را از DOM، clipboard، پرامپت و screenshot دور کنید؛
  • برای نوشتن مهم اعتبارسنجی قطعی و تأیید بخواهید؛
  • با تغییر origin، گواهی، حساب یا مجوز متوقف شوید.

گزارش red-team امنیت عامل NIST در ۲۰۲۶ تزریق غیرمستقیم یا hijacking را برجسته می‌کند، زمانی که عامل ایمیل، سایت یا مخزن مهاجم را می‌خواند. راهنمای اختیار بیش‌ازحد OWASP نیز کارکرد، مجوز و خودمختاری زیاد را خطر می‌داند. هیچ‌کدام دفاع جهانی نمی‌دهد؛ هر دو دفاع چندلایه و آزمون خصمانه پیوسته را پشتیبانی می‌کنند.

برای مدل کامل، امن‌سازی عامل مرورگر در برابر تزریق را ببینید.

هویت، اعتبارنامه و داده را جدا کنید

هر کار را در پروفایل تازه یا دقیقاً جدا اجرا کنید. cookie، history، download، local storage و extension میان کاربر و مستأجر شریک نشود. حساب فعال را به کار پیوند و در تأیید نشان دهید.

اعتبارنامه در کارگزار بماند:

  • عامل برای دامنه مصوب نشست محدود می‌خواهد؛
  • راز از مسیر هویت یا مرورگر تزریق می‌شود و وارد متن مدل نیست؛
  • reauthentication پرریسک نزدیک اقدام رخ می‌دهد؛
  • عمر نشست و idle timeout کوتاه است؛
  • logout و لغو راستی‌آزمایی می‌شود؛
  • password ذخیره، autofill، clipboard و download کنترل می‌شود.

درخواست صفحه برای paste کلید API جریان امن نیست. توکن نباید در URL، فیلد، تصویر، trace یا گزارش خطا افشا شود.

سیاست egress جلوی SSRF از مرورگر یا helper دانلودی را بگیرد. آدرس خصوصی و پروتکل غیر وب را جز نیاز صریح ببندید. دانلود را پیش از بازشدن توسط ابزار دیگر در قرنطینه اسکن کنید.

اقدام را به هدف پایدار متصل کنید

عامل با مختصات، بینایی، selector DOM یا accessibility tree عمل می‌کند:

  • مختصات با چیدمان و viewport می‌شکند؛
  • شباهت تصویری دکمه مجاور را اشتباه می‌گیرد؛
  • selector ممکن است پویا یا گمراه‌کننده باشد؛
  • نام دسترس‌پذیر ممکن است مفقود، تکراری یا دست‌کاری‌شده باشد.

سیگنال‌ها را ترکیب کنید. عنصر را با role، نام دسترس‌پذیر، label نزدیک، context فرم و state بشناسید، نه یک CSS path. پیش از click، visible، enabled، origin، bounding box و overlap را بررسی و پس از click دوباره مشاهده کنید.

اجازه JavaScript دلخواه روی صفحه پیش‌فرض ندهید. script می‌تواند جریان قابل مشاهده را دور بزند، حالت حساس DOM را بخواند یا مسیری متفاوت از تجربه مورد آزمون بسازد.

هنگام اتوماسیون تجربه، زبان، راست‌به‌چپ، منطقه زمانی و viewport واکنش‌گرا را حفظ کنید. رقم فارسی، تقویم و کنترل آینه‌ای حالت عملکردی‌اند، نه تزئین.

پیش‌نمایش را از تعهد جدا کنید

اقدام مهم پیش‌نمایش تغییرناپذیر از حالت اعتبارسنجی‌شده می‌خواهد:

  • حساب و مستأجر؛
  • سایت و مقصد نهایی؛
  • گیرنده یا رکورد متاثر؛
  • کالا، تعداد، قیمت، هزینه، ارز و پرداخت؛
  • فیلد تغییر؛
  • رفتار لغو یا بازگشت؛
  • زمان و انقضای شاهد.

رابط تأیید نباید متن آزاد همان صفحه نامطمئن باشد. فیلد معتبر را در chrome مورد اعتماد برنامه نمایش دهید و تأیید را به هش یا نسخه آن متصل کنید. تغییر قیمت، حساب، گیرنده، شرط یا نسخه، تأیید را منقضی کند.

OWASP حمله «lies in the loop» را شرح می‌دهد که محتوای مهاجم گفت‌وگوی تأیید فریبنده می‌سازد. حضور انسان وقتی خلاصه ناقص یا دست‌کاری‌شده می‌بیند محافظ نیست. طراحی تأیید انسانی بدون ساخت گلوگاه پیش‌نمایش قابل اعتماد را توضیح می‌دهد.

برای اقدام برگشت‌ناپذیر، الگوی دو فاز به‌کار ببرید: صفحه نهایی را آماده، پیش‌نمایش را تأیید، اجازه را بگیرید، یک بار تعهد و سپس نتیجه معتبر را بررسی کنید.

حالت را راستی‌آزمایی کنید، نه حرکت را

کلیک موفقیت نیست. قوی‌ترین شاهد:

  1. API یا رکورد معتبر؛
  2. شناسه تراکنش پایدار؛
  3. حالت ساخت‌یافته صفحه متصل به حساب و رکورد؛
  4. پیام تأیید مورد اعتماد؛
  5. تصویر به‌عنوان آخرین لایه، نه تنها شاهد.

پنج نتیجه را جدا کنید:

  • موفقیت تأییدشده؛
  • رد یا خطای اعتبارسنجی روشن؛
  • تعارض به‌دلیل تغییر حالت؛
  • شکست امن پیش از تعهد؛
  • نتیجه نامعلوم پس از احتمال تعهد.

نتیجه نامعلوم وارد تطبیق شود. اگر پس از «ثبت سفارش» checkout timeout داد، تکرار سفارش دوم می‌سازد. history را با idempotency یا جزئیات تجاری جست‌وجو کنید یا از انسان بپرسید. صفحه سفید اثبات شکست نیست.

ناوبری و تراکنش را در گردش‌کار ماندگار بگذارید تا با مرگ مرورگر بدون تکرار اثر ادامه یابد. عامل ماندگار این مدل را شرح می‌دهد.

مثال عملی: ثبت سفارش در پرتال تأمین‌کننده

  1. گردش‌کار پیش‌نویس مجاز شامل فروشنده، اقلام، سقف و سیاست تأیید می‌گیرد.
  2. پروفایل جدا و محدود به دامنه تأییدشده فروشنده آغاز می‌شود.
  3. کارگزار نشست خریدار را می‌سازد؛ مدل رمز یا توکن را نمی‌بیند.
  4. مشاهده‌گر شخصیت حقوقی، حساب، زبان و محیط پرتال را می‌سنجد.
  5. عامل شناسه کالا را جست‌وجو و شرح، واحد، موجودی و قیمت را با منبع مصوب مقایسه می‌کند.
  6. هر ردیف وارد و بازخوانی می‌شود. جایگزینی، هزینه یا شرط تازه به بازبینی می‌رود.
  7. پیش‌نمایش مورد اعتماد سبد و سفارش مصوب را کنار هم و اختلاف را برجسته می‌کند.
  8. کاربر جمع، نشانی، شرط پرداخت و حساب را تأیید می‌کند.
  9. درست پیش از تعهد، verifier تغییرنکردن فیلد و origin را می‌سنجد.
  10. عامل یک بار ثبت و شناسه پرتال را نگه می‌دارد. اگر تأیید گم شد، history را پیش از retry تطبیق می‌دهد.

بنر، پیام پشتیبانی، شرح محصول یا PDF که می‌گوید داده را جای دیگری بفرست نمی‌تواند egress یا ابزار را تغییر دهد. MFA تازه، شرط جدید یا مقصد پرداخت متفاوت کار را برای انسان متوقف می‌کند.

در محیط واقعی و خصمانه ارزیابی کنید

WebArena سایت عملکردی بازتولیدپذیر و کار بلند در تجارت، انجمن، همکاری نرم‌افزار و مدیریت محتوا معرفی کرد. مقاله اصلی فاصله بزرگ baseline آزمایش‌شده با انسان را گزارش کرد. آن عدد تاریخی ادعای امروز نیست؛ درس ماندگار این است که تکمیل کار وب حالت‌دار دشوار است.

OSWorld که در بخش Datasets and Benchmarks کنفرانس NeurIPS 2024 منتشر شد ارزیابی را به ۳۶۹ کار وب و دسکتاپ واقعی گسترش می‌دهد. این بنچمارک‌ها برای پژوهش معماری مفیدند، نه جای آزمون سایت، حساب، سیاست و ریسک شما.

امتیاز benchmark ممکن است game یا contaminated شود. NIST تقلب ارزیابی عامل را مستند و affordance و محدودیت روشن‌تر را توصیه کرده است. مجموعه خصوصی نسخه‌دار با بررسی پنهان حالت بسازید و transcript و اثر را بررسی کنید، نه فقط score.

آزمون بسازید برای:

  • تغییر layout، زبان، viewport و دسترس‌پذیری؛
  • بار کند، رویداد تکراری، popup و انقضای نشست؛
  • مشاهده کهنه و تغییر رکورد وسط گام؛
  • تزریق در متن آشکار، پنهان و دانلود؛
  • حساب غلط و عبور مستأجر؛
  • تأیید فریبنده و dark pattern؛
  • موفقیت ناقص و نتیجه نامعلوم؛
  • سایت بیرون allowlist؛
  • نشت اعتبارنامه، شبکه، دانلود و clipboard؛
  • لغو در هر گام.

ارزیابی عامل‌های کار با رایانه طراحی کامل‌تر می‌دهد.

قابلیت و ایمنی را با هم بسنجید

بُعدمعیار
کارتکمیل تأییدشده، جزئی، گام، retry، زمان
حالتمشاهده کهنه، اقدام روی هدف غلط، تشخیص تعارض
ایمنینقض سیاست، موفقیت تزریق، نشت، نوشتن بدون مجوز
انسانزمان تأیید، رد، اصلاح، تکرار کار، کیفیت ارجاع
اتکاcrash، نتیجه نامعلوم، اثر تکراری، بازیابی
عملیاتهزینه کار درست، رخداد تغییر سایت، سن صف، rollback

بر اساس سایت، کار، ریسک اقدام، زبان، نوع حساب، نسخه مرورگر، مدل و روش مشاهده گزارش کنید. میانگین ممکن است برش فاجعه‌بار نوشتن روی مستأجر غلط را پنهان کند.

«مدل حل کرد» را از «سامانه ایمن تکمیل کرد» جدا کنید. Completion Under Policy یا معیار مشابه فقط کار موفق بدون نقض کنترل را می‌شمارد. عامل سریع‌تر و ناامن بهتر نیست.

دروازه‌های انتشار

  • سایت، کار، حساب و اقدام ممنوع مستند؛
  • ترجیح API و مجوز سایت بررسی؛
  • نشست جدا بدون نشت cookie، storage، clipboard یا download؛
  • نبود اعتبارنامه در متن مدل، screenshot و تله‌متری؛
  • ناتوانی تزریق در گرفتن ابزار، راز یا مقصد تازه؛
  • پیش‌نمایش مورد اعتماد، تأیید جاری و بررسی حالت برای هر اقدام مهم؛
  • تطبیق نتیجه نامعلوم پیش از retry؛
  • صفر اثر تکراری یا حساب غلط در crash و concurrency؛
  • postcondition معتبر برای هر نوشتن؛
  • توقف امن با origin، حساب، شرط، MFA یا تغییر مادی؛
  • عبور regression خصوصی در زبان و viewport پشتیبانی‌شده؛
  • امکان توقف نوشتن، دیدن شاهد و بازیابی صف؛
  • نبود یافته بحرانی امنیت، حریم، دسترس‌پذیری یا سیاست.

انتشار را از مشاهده فقط‌خواندنی به پیش‌نویس، نوشتن برگشت‌پذیر و تراکنش محدود ببرید. kill switch دامنه، اقدام، مستأجر و نسخه داشته باشید.

پرسش‌های متداول

آیا عامل مرورگر فقط RPA باهوش‌تر است؟

تفسیر و برنامه معنایی اضافه می‌کند، اما همان انضباط فرایند را همراه کنترل قوی‌تر محتوای نامطمئن، عدم قطعیت و اختیار می‌خواهد.

آیا تزریق پرامپت فیلتر می‌شود؟

فیلتر شناخته‌شده‌ای برای تضمین کامل روی وب دلخواه وجود ندارد. با جداسازی اعتماد، ابزار محدود، isolation، سیاست قطعی، تأیید و آزمون خصمانه اثر را کم کنید.

آیا عامل باید CAPTCHA حل کند؟

خیر. CAPTCHA یا چالش ضدربات علامت نبود مجوز اتوماسیون یا نیاز به بررسی انسان است. متوقف شوید و مسیر پشتیبانی‌شده سایت را دنبال کنید.

چه شاهدی نگه داریم؟

اقدام عادی‌شده، فیلد تأییدشده، origin و حساب، شناسه تراکنش، تصمیم سیاست و تصویر محدود و حذف‌شده در صورت نیاز. محتوای نامرتبط و راز را نگه ندارید.

یادداشت منابع

منابع بررسی‌شده و جاری تا ۳۰ ژوئیه ۲۰۲۶:

#عامل مرورگر#عامل هوش مصنوعی#اتوماسیون وب#راستی‌آزمایی

مطالب مرتبط

ادامه مطالعه

گزارش روزانه و راهنماهای عملیاتی ژرف را ببینید. این صفحه یک آرشیو موضوعی است، نه دعوت به شروع پروژه.