
پرونده فروشنده هوش مصنوعی: خرید شواهد، نه دمو
خرید هوش مصنوعی باید خدمت پشت رابط را بسنجد: داده، ارزیابی، امنیت، عملیات، هزینه، جابهجایی و خروج.
ادامه مطلبتیم ژرف ایآی

این راهنما برای مدیر محصول، مسئول پشتیبانی یا مدیر فناوری نوشته شده که عبارت «چت بات فارسی» را جستجو میکند و به جای دموی تبلیغاتی، یک مسیر قابل دفاع برای تصمیمگیری میخواهد. پرسش واقعی معمولاً این نیست که آیا ساخت چت بات ممکن است؛ ممکن است. پرسش این است که کدام گردشکار ارزش خودکارسازی دارد، کیفیت پاسخ فارسی چگونه پیش از استقرار سنجیده میشود و چه کنترلی جلوی پاسخ اشتباه به مشتری واقعی را میگیرد.
مدلهای زبانی جدید فارسی روان تولید میکنند و همین موضوع انتظار کاربر ایرانی را بالا برده است. در عمل سه خانواده کاربرد سازمانی بیشترین ارزش را دارند: پاسخ به پرسشهای تکراری مشتری بر پایه اسناد مصوب، کمک به کارشناس داخلی برای پیدا کردن رویه و بند درست، و پیشنویسسازی پاسخ برای بازبینی انسانی. کاربرد چهارم یعنی اقدام مستقیم روی سامانهها مانند ثبت سفارش یا تغییر رکورد مشتری به بلوغ عملیاتی و مرز اختیار بسیار دقیقتری نیاز دارد و نقطه شروع مناسبی نیست.
تفاوت مهم میان چت بات قاعدهمحور قدیمی و دستیار مبتنی بر مدل زبانی در نحوه شکست آنهاست. بات قاعدهمحور وقتی پاسخ را نمیداند سکوت میکند؛ مدل زبانی ممکن است با اطمینان کامل پاسخ نادرست بسازد. طراحی سازمانی درست باید این الگوی شکست را از روز اول مدیریت کند، نه اینکه بعد از اولین شکایت مشتری به فکر آن بیفتد.
برای پرسش و پاسخ سازمانی، معماری مرجع همان تولید تقویتشده با بازیابی است که مقاله پژوهشی RAG معرفی کرد: پاسخ مدل به جای اتکای صرف به حافظه آموزش، بر اسناد بازیابیشده از مخزن مصوب سازمان تکیه میکند. سه جزء این معماری در عمل تعیینکننده کیفیتاند: کیفیت قطعهبندی و نمایهسازی اسناد، دقت بازیابی برای پرسش فارسی، و دستور سیستمی که مدل را به استناد و اعلام «نمیدانم» مقید میکند.
قاعده طلایی ما در پروژهها این است: هر پاسخ باید به بند مشخصی از سند مصوب استناد کند و اگر بازیابی چیزی برنگرداند، بات باید صادقانه اعلام کند پاسخ ندارد و به کارشناس ارجاع دهد. استناد اجباری هم اعتماد کاربر را میسازد و هم بازبینی و حسابرسی را ممکن میکند.
پردازش فارسی جزئیاتی دارد که در دموی انگلیسی دیده نمیشود: نیمفاصله و اشکال مختلف نویسهها، رقم فارسی و لاتین، تاریخ شمسی، املای متفاوت وامواژهها و ترکیب فارسی و انگلیسی در متن فنی. پژوهشهایی مانند مدل زبانی ParsBERT نشان دادهاند که مدلسازی اختصاصی فارسی در فهم متن تفاوت قابلاندازهگیری ایجاد میکند؛ همان منطق درباره نرمالسازی متن، جستجو و ارزیابی هم برقرار است.
عملیترین توصیه این است که مجموعه آزمون را از زبان واقعی کاربران بسازید، نه از فارسی رسمی ویراسته. متن گفتوگویی، غلط تایپی، مخفف داخلی سازمان و پرسش چندبخشی باید در ارزیابی حضور داشته باشند، چون کاربر واقعی همینطور مینویسد.
چت بات خوب از مخزن دانش خوب ساخته میشود. پیش از هر قرارداد، این چهار مورد را آماده کنید: فهرست اسناد مصوب با مالک و تاریخ اعتبار، نمونه واقعی از پرسشهای پرتکرار کانالهای فعلی، تعریف روشن پرسشهای خارج از دامنه، و مسیر ارجاع به انسان با ساعت پاسخگویی. اگر پاسخ درست بین چند سند متناقض پخش است، مشکل شما ابتدا حاکمیت محتواست نه هوش مصنوعی؛ بات فقط تناقض موجود را سریعتر به مشتری نشان خواهد داد.
برآورد واقعبینانه این است که آمادهسازی و پاکسازی محتوا معمولاً بیش از اتصال مدل زمان میبرد. این هزینه پنهان را در برنامه پروژه ببینید.
پیش از استقرار، یک مجموعه پذیرش نسخهدار بسازید: پرسش واقعی، پاسخ مرجع، و سند پشتیبان هر پاسخ. سپس چهار سنجه را جدا اندازه بگیرید: نرخ پاسخ مستند، درستی استناد، نرخ اعلام صادقانه «نمیدانم»، و شدت پاسخ بیپشتوانه. میانگین رضایت کلی نمیتواند شکست خطرناک را نشان دهد؛ یک پاسخ نادرست درباره قیمت یا تعهد قراردادی از ده پاسخ متوسط پرهزینهتر است.
راهنمای انتخاب شرکت هوش مصنوعی در ایران توضیح میدهد که چرا همین مجموعه پذیرش باید مبنای مقایسه تأمینکنندگان هم باشد: بدون آزمون یکسان، مقایسه دموها فقط مقایسه مهارت ارائه است.
چت باتی که به اسناد داخلی وصل است یک سطح حمله جدید است. فهرست ده ریسک اصلی مدلهای زبانی OWASP نقطه شروع خوبی برای مدلسازی تهدید است: تزریق دستور از داخل اسناد یا پیام کاربر، افشای اطلاعات حساس در پاسخ یا لاگ، و اختیار بیش از حد ابزارها. برای هر تهدید مرتبط، کنترل پیشگیرانه و آزمون مشخص تعریف کنید: جداسازی دستور سیستمی از محتوای بازیابیشده، پالایش داده حساس پیش از نمایهسازی، محدودسازی دامنه پاسخ، و ثبت رخداد قابل بازرسی.
چارچوبهای مدیریتی مانند چارچوب مدیریت ریسک هوش مصنوعی NIST کمک میکنند این کنترلها به جای چکلیست پراکنده، صاحب و چرخه بازنگری داشته باشند.
استقرار یکباره برای همه کاربران تقریباً همیشه اشتباه است. مسیر کمریسک سه مرحله دارد: نخست حالت سایه که بات پاسخ تولید میکند اما فقط کارشناس آن را میبیند؛ سپس استفاده یاریشده که کارشناس پاسخ را ویرایش و ارسال میکند؛ و در پایان پاسخ مستقیم برای دامنه محدود پرسشهای کمریسک با ارجاع خودکار موارد مبهم. در هر مرحله معیار عبور روشن تعریف کنید و اجازه دهید داده تصمیم بگیرد، نه هیجان پروژه.
اگر کانال صوتی هم در برنامه است، ابتدا مسیر متنی را تثبیت کنید؛ مقاله فناوری گفتار فارسی توضیح میدهد چرا تشخیص و تولید گفتار فارسی لایه پیچیدگی جداگانهای اضافه میکند.
پس از استقرار، سنجه باید به نتیجه کسبوکار وصل شود: نرخ حل کامل بدون ارجاع، زمان تا اولین پاسخ مفید، نرخ ارجاع درست به انسان، رضایت کاربر به تفکیک موضوع، و هزینه هر مکالمه حلشده. کنار اینها، پایش کیفی هفتگی نمونه مکالمات را حفظ کنید؛ افت کیفیت معمولاً پیش از آنکه در عدد کلان دیده شود، در نمونهها آشکار میشود.
یک سنجه فراموششده اما مهم، پوشش مخزن دانش است: چند درصد پرسشها به سندی میرسند که پاسخ را دارد؟ رشد این عدد یعنی چرخه بهبود محتوا واقعاً کار میکند.
پنج الگوی شکست را بارها دیدهایم: شروع با دامنه نامحدود به جای یک گردشکار مشخص؛ اتکا به دمو با داده تمیز به جای ارزیابی با داده واقعی؛ نبود مسیر ارجاع انسانی و ساعت پاسخگویی؛ بیتوجهی به بهروزرسانی مخزن دانش پس از راهاندازی؛ و نبود مالک محصول که هفتگی مکالمات را ببیند. هیچکدام از اینها مشکل مدل نیستند؛ مشکل طراحی عملیاتاند و پیشگیری از آنها ارزانتر از درمان است.
اگر میخواهید رفتار یک دستیار متصل به دانش شرکت را ببینید، نسخه زنده دستیار ژرف روی صفحه گفتوگو در دسترس است و همان الگوی استناد و ارجاعی را نشان میدهد که در این راهنما توضیح دادیم.

خرید هوش مصنوعی باید خدمت پشت رابط را بسنجد: داده، ارزیابی، امنیت، عملیات، هزینه، جابهجایی و خروج.
ادامه مطلب
راهنمایی عملی برای انتخاب میان پاسخ، گردآوری شاهد، ارجاع یا امتناع؛ با تکیه بر نشانههای کالیبره، منحنی ریسک–پوشش و ظرفیت مسیر جایگزین.
ادامه مطلب
راهنمایی عملی برای پذیرش، قرنطینه یا رد سرورهای MCP، افزونهها و ابزارهای عامل بر پایه منشأ، آزمون قابلیت و محدودیت اجرایی الزامآور.
ادامه مطلباگر این مطلب به یک سامانه واقعی در سازمان شما مربوط است، از خدمات و مطالعه موردی شروع کنید.