هوش مصنوعی محلی و مدل زبانی روی سرور سازمان

مدل زبانی و گردش‌کارها را به‌جای سرویس خارجی، روی سرور سازمان یا یک مرکز داده داخلی راه می‌اندازیم. اسناد همان‌جا می‌مانند و اگر همه اجزای سامانه داخل شبکه باشند، قطعی اینترنت بین‌الملل کارتان را متوقف نمی‌کند.

کلاژ آبی و طلایی از چرخ‌دنده‌ها، نمادهای کد، طرح مدار و گره‌های به‌هم‌پیوسته در میان ابرها

هوش مصنوعی محلی یعنی چه

«محلی» یعنی مدل و برنامه روی سرورهای خود سازمان یا سروری در یک مرکز داده داخلی اجرا می‌شوند. از مدل‌های زبانی باز استفاده می‌کنیم؛ مدل‌هایی که وزن‌هایشان منتشر شده و می‌شود آن‌ها را روی سخت‌افزار خودتان اجرا کرد. اگر سامانه روی سرور سازمان باشد، داده از سازمان بیرون نمی‌رود و اگر در مرکز داده داخلی باشد، از کشور بیرون نمی‌رود. ما دسترسی به مدل‌های خارجی نمی‌فروشیم.

کاربردهای رایج

۰۱

دستیار دانش داخلی

پرسش و پاسخ فارسی روی آیین‌نامه، قرارداد و دستورالعمل با نمایش منبع، بی‌آنکه متن اسناد به سرویس خارجی برود.

۰۲

خلاصه و پیش‌نویس

خلاصه‌کردن نامه، گزارش و صورت‌جلسه و نوشتن پیش‌نویس پاسخ، تا کارشناس آن را بررسی و تأیید کند.

۰۳

استخراج از اسناد

بیرون کشیدن اطلاعات مهم از قرارداد، فاکتور و فرم، و فرستادن موارد مبهم به صف بررسی کارشناس.

۰۴

گردش‌کار با n8n

ایمیل، نرم‌افزار حسابداری، CRM و پیام‌رسان‌ها را با n8n روی سرور سازمان به مدل وصل می‌کنیم؛ مثلاً برای ارجاع نامه ورودی به واحد مسئول.

۰۵

جایگزین API خارجی

گردش‌کارهایی را که به API مدل خارجی یا درگاه واسط وابسته‌اند، یکی‌یکی به مدل محلی منتقل می‌کنیم تا در قطعی بعدی متوقف نشوند.

۰۶

واحدهایی با داده حساس

واحد حقوقی، مالی یا منابع انسانی که نمی‌تواند متن قرارداد، صورت مالی یا پرونده کارکنان را به سرویس بیرونی بفرستد.

روش کار

مدل را بعد از سنجیدن چند مدل باز روی کارهای فارسی خود سازمان انتخاب می‌کنیم و سخت‌افزار را وقتی برآورد می‌کنیم که حجم کار روشن شده باشد. پیش از این سنجش، مدل یا سخت‌افزار خاصی را وعده نمی‌دهیم.

  1. ۰۱

    کشف نیاز

    روشن می‌کنیم کدام کارها باید محلی اجرا شوند، چه داده‌ای دارند، چند نفر هم‌زمان با سامانه کار می‌کنند و پاسخ باید در چه مدتی برسد.

  2. ۰۲

    سنجش مدل‌های باز

    چند مدل باز را روی مجموعه‌ای نسخه‌دار از کارهای واقعی شما مقایسه می‌کنیم و مجوز هر مدل را برای استفاده تجاری بررسی می‌کنیم.

  3. ۰۳

    برآورد سخت‌افزار

    پردازنده گرافیکی (GPU) لازم را از اندازه مدل، شمار کاربران و زمان پاسخ برآورد می‌کنیم و پیش از خرید، مدل را روی سخت‌افزار موجود یا اجاره‌ای می‌آزماییم.

  4. ۰۴

    ساخت سامانه

    سرور مدل، بازیابی فارسی از اسناد داخلی (RAG)، رابط دستیار و اتصال‌های n8n را روی زیرساخت شما راه می‌اندازیم.

  5. ۰۵

    اجرای آزمایشی و تحویل

    سامانه را روی کار واقعی و یک بار هم با قطع عمدی اینترنت بین‌الملل می‌آزماییم؛ بعد آن را با مستندات تحویل می‌دهیم و تیم شما را آموزش می‌دهیم.

کنترل‌هایی که از روز اول لازم است

کنترل دسترسی
هر کاربر با حساب سازمانی وارد می‌شود و فقط از اسنادی پاسخ می‌گیرد که نقشش اجازه دیدنشان را دارد.
ثبت رویداد و ممیزی
پرسش، اسناد بازیابی‌شده، پاسخ و کارهایی را که گردش‌کار انجام داده است، با زمان و نام کاربر ثبت می‌کنیم.
جداسازی شبکه
سرور مدل به اینترنت راه ندارد و فقط سامانه‌های مجاز داخل شبکه به آن دسترسی دارند. اگر لازم باشد، کل سامانه بدون هیچ اتصالی به اینترنت کار می‌کند.
به‌روزرسانی و وصله
نسخه مدل و نرم‌افزارها را ثابت نگه می‌داریم و مکتوب می‌کنیم. هر به‌روزرسانی را از مسیری داخلی وارد می‌کنیم و پیش از استفاده با مجموعه ارزیابی می‌آزماییم.
پشتیبان‌گیری
از نمایه اسناد، تنظیمات، پایگاه داده n8n و کلیدهای رمزنگاری نسخه پشتیبان می‌گیریم و بازگرداندن آن را هم امتحان می‌کنیم.
مجموعه ارزیابی
نمونه‌های آزمون را بعد از راه‌اندازی هم نگه می‌داریم تا اگر تغییری کیفیت را پایین آورد، زود معلوم شود.
ژرف

دستیار هوش مصنوعی ژرف را همین حالا امتحان کنید

درباره دستیار فارسی، اتوماسیون اسناد یا اینکه از کجا شروع کنید، بپرسید.

پرسش‌های متداول درباره هوش مصنوعی محلی

آیا در قطعی اینترنت بین‌الملل هم کار می‌کند؟

بله، اگر مدل، نمایه اسناد، برنامه دستیار، n8n، ورود کاربران و ابزار پایش همه داخل شبکه باشند و کاربران از شبکه داخلی به سامانه برسند. هر جزئی که به سرویس خارجی وابسته باشد، در قطعی از کار می‌افتد؛ برای همین در اجرای آزمایشی، اینترنت بین‌الملل را عمداً قطع می‌کنیم و سامانه را می‌آزماییم.

چه سخت‌افزاری لازم است؟

به اندازه مدل، شمار کاربران هم‌زمان و زمان پاسخ بستگی دارد و بعد از جلسه کشف نیاز برآوردش می‌کنیم. پردازنده گرافیکی گران است و تأمینش در ایران دشوارتر است؛ پس اول روی سخت‌افزار موجود یا سرور اجاره‌ای در مرکز داده داخلی آزمایش می‌کنیم. برای کارهای ساده، گاهی مدل کوچک بدون پردازنده گرافیکی هم کافی است.

آیا کیفیتش به اندازه چت جی پی تی (ChatGPT) یا Claude است؟

نه همیشه. مدل‌های باز روی سرور سازمان معمولاً کوچک‌ترند و ممکن است در برخی کارها از بزرگ‌ترین مدل‌های خارجی ضعیف‌تر باشند، هرچند برای کارهای محدودی مثل پاسخ از اسناد شاید کافی باشند. این را در اجرای آزمایشی روی کارهای واقعی شما می‌سنجیم.

آیا به سامانه‌های فعلی ما وصل می‌شود؟

بله. یا با n8n که روی سرور سازمان نصبش می‌کنیم، یا مستقیم از راه API یا پایگاه داده. ایمیل، نرم‌افزار حسابداری، CRM و پیام‌رسان‌ها نمونه‌های رایج‌اند. راه اتصال هر سامانه را بعد از بررسی‌اش انتخاب می‌کنیم و معمولاً با دسترسی فقط‌خواندنی شروع می‌کنیم.

هزینه راه‌اندازی هوش مصنوعی محلی چقدر است؟

به شمار کارها، حجم اسناد، اندازه مدل، سخت‌افزار و اتصال‌ها بستگی دارد. بعد از کشف نیاز برآوردی مرحله‌ای می‌دهیم: اول برای اجرای آزمایشی روی یک کار، بعد برای گسترش آن. سخت‌افزار را جدا برآورد می‌کنیم، چون ممکن است بزرگ‌ترین بخش هزینه باشد.

از کاری شروع کنید که نباید متوقف شود

در جلسه اول مرور می‌کنیم کدام کار باید بدون اینترنت بین‌الملل ادامه پیدا کند، چه اسنادی دارد، چند نفر با آن کار می‌کنند و چه سخت‌افزاری دارید. اگر مدل محلی کافی نباشد، همین را صریح می‌گوییم.

درخواست جلسه کشف نیاز