نقشه‌ها را مخلوط نکنید: مهاجرت امن نمایه‌های برداری

یک تیم جست‌وجو مدل امبدینگ را عوض می‌کند، چون نامزد جدید ارزان‌تر است و در یک جدول امتیاز عمومی نتیجه بهتری دارد. هر دو مدل ۱۰۲۴ عدد خروجی می‌دهند؛ پس تیم در یک کار پس‌زمینه‌ای بردارهای نمایه موجود را بازنویسی می‌کند. هنگام اجرای کار، پرسشی که با مدل جدید برداری شده با آمیزه‌ای از بردارهای سندِ مدل قدیم و جدید مقایسه می‌شود. پاسخ پایگاه داده معتبر است، تأخیر عادی به نظر می‌رسد و هیچ هشداری فعال نمی‌شود؛ اما ارتباط نتایج بی‌صدا دل‌بخواهی شده است.

تصمیم خواننده این است: این تغییر باید بازسازی آفلاین باشد، نمایه موازی آبی‌ـ‌سبز، یا بردار نام‌دار دوم؛ و چه شواهدی اجازه تغییر مسیر می‌دهد؟ پاسخ به امکان بازسازی، نرخ تغییر زنده، پیامد خطا، ظرفیت ذخیره‌سازی و توان سکوی جست‌وجو برای مسیردهی اتمی به یک فضای کامل بستگی دارد.

قاعده محوری چنین است: امبدینگ فقط در دستگاه مختصاتی که آن را ساخته معنا دارد. هیچ پرسشی را در معرض فضای نیمه‌مهاجرت‌کرده قرار ندهید. پیکره مبدأ را حفظ کنید، به هر فضای کامل یک دوره تغییرناپذیر بدهید، کل سامانه بازیابی را بسنجید، مسیر پرسش را آگاهانه عوض کنید و راه بازگشت آزموده داشته باشید.

مرز مهاجرت فقط نام مدل نیست

سامانه امبدینگ محتوا را به مختصات تبدیل می‌کند، اما نگاشت واقعی فراتر از نام ارائه‌دهنده و مدل است:

مستند فعلی امبدینگ متن گوگل نشان می‌دهد چرا جزئیات نمایش مهم‌اند: بُعد خروجی یک مدل را مشخص می‌کند و می‌گوید خروجی آن نرمال است؛ بنابراین چند تابع فاصله برای همان خروجی رتبه یکسانی می‌سازند. این ویژگیِ خروجی مستندشده است، نه مجوزی برای فرض‌کردن همان رفتار در هر مدل، بُعد کاهش‌یافته یا تبدیل محلی.

برابر بودن ابعاد، سازگاری مختصات را ثابت نمی‌کند. پرسش برداری‌شده با مدل «ب» را نمی‌توان فقط چون طول آرایه‌ها یکسان است با سندهای مدل «الف» مقایسه معنادار کرد. تغییر صرفِ قطعه‌بندی نیز دوره تازه‌ای برای پیکره می‌سازد: شاید مدل همان باشد، اما بردار واحد شاهد دیگری با شناسه و مرز استناد متفاوت را نمایش می‌دهد.

منابع چه چیزی را ثابت می‌کنند و طراحی از کجا آغاز می‌شود

الگوهای تولیدی در این موضوع به‌طور غیرمعمول روشن‌اند. راهنمای مهاجرت مدل امبدینگ Qdrant دو مسیر شرح می‌دهد: مجموعه‌های موازی با نوشتن دوگانه و تغییر نام مستعار، یا افزودن یک بردار نام‌دار، پرکردن آن و سپس تغییر مسیر پرسش. این راهنما هشدار می‌دهد که حذف و به‌روزرسانی جزئی در جریان آبی‌ـ‌سبز به رسیدگی ویژه نیاز دارند. آموزش مهاجرت بردارساز Weaviate نیز با خط مبنای نماینده شروع می‌کند، نامزد را روی همان داده می‌سنجد و نام مستعار مجموعه را روش معمول و برگشت‌پذیر تولید معرفی می‌کند.

پژوهش از ارزیابی متناسب با کاربرد پشتیبانی می‌کند، نه یک برنده همگانی. مقاله MTEB در سال ۲۰۲۳ تعداد ۳۳ مدل را در هشت خانواده وظیفه سنجید و هیچ روش امبدینگی را برتر در همه وظایف نیافت. راهنمای اعتبار و قابلیت اطمینان NIST می‌گوید سنجه‌های دقت باید با مجموعه آزمون روشن و واقع‌گرایانه، نماینده شرایط استفاده مورد انتظار و روش مستند همراه باشند.

این منابع «رسید دوره»، دروازه تغییر مسیر یا دفتر تطبیق این راهنما را الزامی نمی‌کنند. این‌ها تحلیل ژرف‌اند: الگویی مستقل از فروشنده که از سازوکارهای مستند مهاجرت، رفتار بردار و اصول ارزیابی ساخته شده است.

پیش از پرکردن نمایه، شکل مهاجرت را انتخاب کنید

بازنویسی درجا باید استثنا باشد، نه انتخاب ارزان پیش‌فرض. اگر مسیریاب نمی‌تواند ثابت کند همه پرسش‌ها و همه سندها در یک دوره‌اند، مهاجرت زنده امن نیست.

این تصمیم راهنمای کیفیت دانش در RAG را کامل می‌کند: اعتبار منبع و کیفیت استناد همچنان ضروری‌اند، اما مهاجرت تعهد جداگانه‌ای برای حفظ هندسه بازیابی و هویت واحد شاهد می‌افزاید.

پیکره مبدأ را بازسازی‌پذیر نگه دارید

مخزن بردار نباید تنها نسخه باقی‌مانده از محتوای امبدشده باشد. رکورد مرجع یا شیء محتوای تغییرناپذیر را همراه با شواهد کافی برای بازتولید هر واحد قابل جست‌وجو نگه دارید:

{
  "source_id": "policy-184",
  "source_version": "sha256:...",
  "chunk_id": "policy-184/v7/section-12",
  "content_hash": "sha256:...",
  "parser_version": "pdf-pipeline-9",
  "chunker_version": "semantic-480-v3",
  "redaction_policy": "privacy-6",
  "tenant_id": "tenant-42",
  "acl_version": "acl-991",
  "source_sequence": 38104,
  "deleted": false
}

هویت پایدار منبع و هویت قطعه ویژه هر نسخه دو مسئله جدا را حل می‌کنند. source_id ویرایش‌های سند را به هم پیوند می‌دهد و chunk_id دقیقاً واحد شاهد تحویل‌شده به لایه پاسخ را نام می‌برد. هش محتوا انحراف تبدیل را آشکار می‌کند. شماره توالی افزایشی منبع یا کنترل نسخه هم‌ارز، مانع آن می‌شود که کارگر قدیمیِ پرکردن، به‌روزرسانی زنده جدیدتر را بازنویسی کند.

سنگ‌قبر حذف را تا وقتی هر دو فضا آن را دیده‌اند نگه دارید. زنده‌کردن سند حذف‌شده از یک دسته قدیمی، هم شکست حریم خصوصی است و هم شکست درستی؛ حتی اگر سنجه بازیابی بهتر شود.

برای هر فضای برداری یک رسید تغییرناپذیر بسازید

پیش از نوشتن نخستین بردار مقصد، رکورد دوره را بسازید:

embedding_epoch = emb-2026-08-b
encoder = provider/model@immutable-revision
mode = document | query
dimensions = 1024
normalization = l2
distance = cosine
numeric_type = float32
parser = pdf-pipeline-9
chunker = semantic-480-v3
index = hnsw(m=..., ef_construction=...)
filters = tenant-acl-time-v5
reranker = rerank-contract-v4

دوره را به بردار سند، رمزگذاری پرسش، پیکربندی نمایه، گزارش ارزیابی و رسید بازیابی متصل کنید. اگر دوره پرسش مسیریاب با مجموعه یا بردار نام‌دار انتخاب‌شده تفاوت دارد، پرسش را رد کنید. به «هر برداری که موجود است» بی‌صدا عقب‌نشینی نکنید.

مرجع بردار چگال Elasticsearch معناهای متفاوت شباهت و مصالحه دقت و سرعت در تنظیمات نمایه تقریبی را مستند می‌کند. پس رسید علاوه بر رمزگذار، هندسه جست‌وجو و پارامترهای نمایه را هم لازم دارد. این رسید باید به گذرنامه انتشار سامانه هوش مصنوعی متصل شود، اما در سطح پرسش نیز قابل مشاهده بماند تا عملیات بتواند ثابت کند کدام دوره پاسخ داده است.

تغییرات زنده را بدون گم‌کردن ترتیب جابه‌جا کنید

مهاجرت امن یک گذار حالت است، نه صرفاً «اجرای اسکریپت امبدینگ»:

1. دوره مقصد را تثبیت کنید و تغییر پیکربندی بدون بازبینی را ببندید.
2. نقطه اوج توالی منبع را ثبت کنید.
3. جریان تغییر پایدار یا نوشتن دوگانه را برای عملیات درج، به‌روزرسانی و حذف همراه توالی منبع آغاز کنید.
4. رکوردهای پیش از نقطه اوج را از محتوای مرجع پر کنید، نه فقط از بار داده بردار قدیم.
5. هر تغییر را مشروط اعمال کنید؛ توالی پایین‌تر حق جایگزینی توالی بالاتر ندارد.
6. شمار، هش، دسترسی، سنگ‌قبر حذف، پوشش بردار و تأخیر تازگی را تطبیق دهید.
7. مقصد را ارزیابی و در سایه اجرا کنید، بی‌آن‌که نتیجه آن به کاربر برسد.
8. رمزگذار پرسش و مسیر نمایه را در یک عملیات نسخه‌دار عوض کنید.
9. دروازه پیامد را زیر نظر بگیرید و دوره قدیم را در پنجره بازگشت تازه نگه دارید.

راهنمای Qdrant حذف امن شیء در روش بردار نام‌دار را از عملیاتی جدا می‌کند که در مجموعه موازی نیازمند توقف یا منطق اضافه‌اند. این هشدار را تعمیم دهید: همه فعل‌های تغییری سامانه واقعی را فهرست کنید. نوشتن دوگانه فقط برای upsert سازگاری نیست، اگر ویراستار می‌تواند جای دیگری بار داده را حذف، فهرست دسترسی را عوض، سندها را ادغام یا مالک مستأجر را تغییر دهد.

بازیابی را بسنجید، نه امبدینگ را در خلأ

یک مجموعه مهاجرت ثابت از ترافیک واقعی و مجاز بسازید. پرسش‌های پرتکرار و نادر، فارسی و انگلیسی، کوتاه و بلند، نام‌های خاص، محتوای زمان‌حساس، موارد دارای فیلتر دسترسی، انتظارِ بدون نتیجه و رخدادهای شناخته‌شده را بگنجانید. پرسش حساس را محافظت کنید و از داوری انسانی مسئولانه یا پیامد پایین‌دستی تأییدشده بهره بگیرید.

لایه‌ها را جدا بسنجید:

مستند پروژه pgvector می‌گوید نمایه تقریبی بخشی از یادآوری را با سرعت مبادله می‌کند و پایش یادآوری در برابر جست‌وجوی دقیق را پیشنهاد می‌دهد. این نکته هنگام مهاجرت حیاتی است: کوانتیزه‌سازی تهاجمی‌تر، بودجه نامزد کوچک‌تر یا رفتار فیلتر متفاوت می‌تواند سود مدل را خنثی کند. نخست جست‌وجوی دقیق قدیم و جدید را مقایسه کنید؛ سپس هر نمایه تولیدی را با همتای دقیق خودش بسنجید.

آستانه امتیاز را به دوره جدید منتقل نکنید. کسینوس 0.78 در یک فضا همان معنای فضای دیگر را به ارث نمی‌برد. آستانه پذیرش، بازرتبه‌بندی، درخواست شاهد بیشتر و امتناع را با توزیع و پیامد دوره مقصد دوباره تنظیم کنید.

پرسش سایه را بدون اثر جانبی اجرا کنید

برای نمونه مجاز از پرسش تولید، هر دو دوره را رمزگذاری و جست‌وجو کنید. فقط نتیجه جاری را برگردانید و رکورد مقایسه‌ای بازبینی‌شده از نظر حریم خصوصی ذخیره کنید: شناسه دوره، شناسه و رتبه نامزدها، تأخیر، فیلتر اعمال‌شده و وضعیت داوری. فراخوانی ابزار یا اثر قابل مشاهده برای کاربر را تکرار نکنید.

مقایسه را بخش‌بندی کنید. برد میانگین می‌تواند سقوط بازیابی فارسی، نام محصول یک مستأجر، سند تازه یا پرسش نادر حقوقی را پنهان کند. راهنمای Measure در AI RMF مجموعه آزمون و روش مستند، سنجش اعتبار بیرونی و بازنگری سنجه با تغییر شرایط عملیاتی یا مدل را می‌خواهد. گزارش مهاجرت باید روشن کند شواهد کجا قوی، ضعیف یا غایب‌اند.

اجرای سایه اختلاف عملیاتی را نیز آشکار می‌کند: محدودیت نرخ رمزگذار، نهانگاه سرد، دنباله تأخیر، فیلد دسترسی گمشده و عقب‌ماندگی تازگی مقصد. برد ارتباط که بودجه سرویس را رعایت نمی‌کند هنوز آماده انتشار نیست.

مثال عملی: دستیار دوزبانه سیاست‌ها

یک دستیار فرضی را در نظر بگیرید که میان پنج میلیون قطعه فارسی و انگلیسی سیاست‌نامه جست‌وجو می‌کند. تیم می‌خواهد رمزگذار چندزبانه و قطعه‌بند تازه‌ای به کار گیرد. چون هم نمایش و هم مرز شاهد تغییر می‌کنند، مجموعه‌های موازی را برمی‌گزیند.

جدول مبدأ به هر نسخه سند توالی می‌دهد و سنگ‌قبر حذف را نگه می‌دارد. مجموعه مقصد شناسه قطعه جدید، دوره مقصد، هش محتوا، زبان، مستأجر، نسخه دسترسی و زمان اثر را ذخیره می‌کند. جریان تغییر از توالی ۳۸۱۰۴ آغاز می‌شود؛ پرکردن وضعیت قدیمی‌تر را می‌سازد و نوشتن زنده مشروط بر دسته قدیمی پیروز می‌شود.

مجموعه ارزیابی ۱۲۰۰ پرسش داوری‌شده دارد: ۴۰۰ فارسی، ۴۰۰ انگلیسی، ۲۰۰ میان‌زبانی و ۲۰۰ مورد فیلتر دسترسی یا بدون پاسخ. تیم نخست بازیابی دقیق را مقایسه می‌کند، سپس نمایه تقریبی مقصد را تنظیم می‌کند و بعد یک هفته سایه اجرا می‌کند. نامزد جدید nDCG کلی را بالا می‌برد، اما یادآوری استناد حقوقی فارسی و سند تازه را کاهش می‌دهد. تغییر مسیر متوقف می‌شود. بررسی، نرمال‌سازی ناسازگار فارسی و تأخیر جریان دسترسی را نشان می‌دهد؛ هر دو اصلاح و کل ارزیابی تکرار می‌شود.

هنگام تغییر مسیر، یک پیکربندی مسیریاب query_epoch و collection_alias را هم‌زمان عوض می‌کند. رسید بازیابی هر دو را ثبت می‌کند. مجموعه قدیم هفت روز تغییر زنده می‌گیرد. بازگشت یعنی برگرداندن مسیر، نه آغاز اضطراری کار امبدینگ.

عددها توضیحی‌اند، نه تجربه استقرار ژرف یا آستانه عمومی. نکته، ترتیب اثبات است: کامل‌بودن، برابری دسترسی، بازیابی دقیق، بازیابی تقریبی، پیامد پایین‌دستی، عملیات و سپس تغییر مسیر.

شکست‌هایی که ظاهری سالم دارند

معیار عمومی امبدینگ برای یافتن نامزد مفید است؛ اما آزمون پذیرش پیکره، ترکیب زبان، سیاست دسترسی یا قرارداد پاسخ شما نیست.

فقط با دروازه کامل برای تصمیم مسیر را عوض کنید

پیش از تغییر، برای همه موارد زیر شاهد بخواهید:

• بازبینی دقیق رمزگذار، حالت‌ها، ابعاد، نرمال‌سازی، تبدیل‌ها، هندسه، فیلتر و تنظیمات نمایه در دوره مقصد منجمد است؛
• هر نسخه منبع واجد شرایط دقیقاً قطعه و بردار مورد انتظار را در مقصد دارد؛
• هر حذف، تغییر دسترسی و به‌روزرسانی زنده تا نقطه اوج یا پس از آن تطبیق شده است؛
• رمزگذاری پرسش و مسیر نمایه اتمی تغییر می‌کنند و نابرابری دوره را رد می‌کنند؛
• ارزیابی زبان، مستأجر، قصد، تازگی، فیلتر، حالت بدون پاسخ و رخداد گذشته را پوشش می‌دهد؛
• بازیابی دقیق و تقریبی جدا سنجیده و آستانه امتیاز دوباره تنظیم شده است؛
• کیفیت پاسخ، استناد، امتناع، تأخیر، ظرفیت و هزینه در حدود مصوب‌اند؛
• داشبورد دوره، پوشش، واگرایی، تأخیر تازگی، یادآوری فیلترشده و آمادگی بازگشت را نشان می‌دهد؛
• دوره قدیم تا پایان پنجره بازگشت محافظت‌شده، تازه و قابل مسیردهی است؛
• مالک مشخص می‌تواند تغییر را متوقف کند و روش تمرین‌شده آن را برگرداند.

این طراحی معماری برش بازیابی را هم گسترش می‌دهد: نسخه پشتیبان کافی نیست، اگر محتوای مبدأ، نسخه تبدیل، رمزگذار پرسش، نمایه، فیلتر و مسیریاب نتوانند به یک وضعیت سازگار برگردند.

پس از تغییر مسیر چه چیزی را پایش کنیم

هم سیگنال مقصد و هم اختلاف قدیم و جدید را ببینید: نرخ بی‌نتیجه، ترکیب زبان یافته‌شده، نرخ سند کهنه، حذف بر اثر فیلتر دسترسی، نمونه یادآوری دقیق در برابر ANN، پشتیبانی استناد، امتناع، اصلاح کاربر، دنباله تأخیر، خطای رمزگذار، اشباع نمایه و هزینه هر وظیفه موفق. مجموعه ارزیابی را با شکست‌های تازه داوری‌شده زنده نگه دارید؛ برچسب قدیمی را بی‌صدا برای زیباترکردن نتیجه انتشار تغییر ندهید.

پنجره بازگشت را با تصمیم ببندید، نه فشار فضای ذخیره‌سازی. ابتدا ثابت کنید مقصد بار عادی، پرسش نادر، تغییر محتوا، حذف، تغییر دسترسی و دست‌کم یک تمرین بازگشت را تاب آورده است. سپس نوشتن به دوره قدیم را متوقف کنید، اگر سیاست اجازه می‌دهد تصویر نهایی محافظت‌شده بگیرید، عدم‌قطعیت باقی‌مانده را مستند و نمایه قدیم را زیر کنترل تغییر حذف کنید.

اصل ماندگار ساده است: مبدأ را حفظ کنید، کل فضا را نام بدهید، همسان را با همسان بسنجید و مسیر را عوض کنید؛ نه مختصات منفرد را.

یادداشت منابع — بازبینی‌شده در ۲۰۲۶-۰۸-۲۵

• Qdrant — مهاجرت به مدل امبدینگ جدید
• Weaviate — تغییر بردارساز
• Google Cloud — دریافت امبدینگ متن
• Elastic — نوع فیلد بردار چگال
• ACL Anthology — معیار گسترده امبدینگ متن MTEB
• pgvector — جست‌وجوی متن‌باز شباهت برداری برای Postgres
• NIST AIRC — ریسک و اعتمادپذیری هوش مصنوعی
• NIST AIRC — راهنمای Measure در AI RMF