داده‌ی تنظیم‌شده

امنیت و حاکمیت هوش مصنوعی

اگر سازمانتان همین حالا از ابزارهای هوش مصنوعی استفاده می‌کند — و تقریباً همیشه می‌کند، حتی اگر رسماً تأیید نشده باشد — این نقطه‌ی شروع شماست، نه یک کاربرد جدید.

سطح داده‌ی غالب در این حوزه

عمومی
داخلی
محرمانه
سطح فعال: تنظیم‌شده

تنظیم‌شده: قانون یا مقررات تعیین می‌کند کجا و چطور نگهداری شود. استقرار متناسب: درون‌سازمانی ایزوله یا آفلاین.

مسئله در این حوزه چه شکلی است

  • ابزارهایی در سازمان استفاده می‌شوند که هیچ‌کس فهرست کاملشان را ندارد.
  • مشخص نیست چه داده‌ای وارد کدام ابزار می‌شود.
  • سیاست مکتوبی وجود ندارد، یا هست و اجرا نمی‌شود.
  • وقتی حسابرس یا مشتری بزرگ سؤال می‌کند، جوابی برای گفتن نیست.

سه کار قابل خودکارسازی

  1. ۰۱

    فهرست‌برداری از وضعیت موجود

    چه ابزارهایی امروز استفاده می‌شوند — شامل مواردی که رسماً تأیید نشده‌اند. این فهرست معمولاً برای مدیران غافلگیرکننده است و خودش نیمی از کار است.

  2. ۰۲

    طبقه‌بندی داده و سیاست‌نامه

    چهار سطح داده تعریف و برچسب‌گذاری می‌شوند، و یک سیاست‌نامه‌ی یک‌صفحه‌ای نوشته می‌شود که سه چیز را روشن بگوید: چه کسی تأیید می‌کند، چه داده‌ای ممنوع است، و کدام تصمیم‌ها تأیید انسانی می‌خواهند.

  3. ۰۳

    کنترل‌ها و نگاشت به استاندارد

    کنترل‌های OWASP LLM Top 10 پیاده و به بندهای ISO/IEC 42001 و NIST AI RMF نگاشت می‌شوند. استاندارد به‌عنوان چک‌لیست پایانی استفاده می‌شود، نه نقطه‌ی شروع.

داده‌ای که هرگز نباید بیرون برود

  • هر داده‌ای که در طبقه‌بندی، محرمانه یا تنظیم‌شده علامت خورده
  • اعتبارنامه‌ها و کلیدهای دسترسی
  • گزارش‌های ارزیابی امنیتی و آسیب‌پذیری‌های باز
  • لاگ‌های حاوی داده‌ی هویتی

معماری استقرار متناسب

این خودش لایه‌ی حاکمیتی است و روی همه‌ی جریان‌های دیگر اعمال می‌شود. خروجی‌اش تعیین می‌کند بقیه‌ی راهکارها در چه معماری‌ای مستقر شوند.

ریسک‌های OWASP LLM مرتبط

LLM06

اختیار بیش از حد

مهم‌ترین کنترل، و کمترین ارتباط را با خود هوش مصنوعی دارد: حداقل اختیار لازم، نه بیشترین اختیار ممکن.

LLM01

تزریق دستور

ریسک شماره یک فهرست OWASP. کاملاً حذف‌شدنی نیست؛ فقط می‌شود سطح حمله و اثرش را کوچک کرد.

LLM02

افشای اطلاعات حساس

پرتکرارترین رخداد واقعی در سازمان‌ها.

LLM05

مدیریت نادرست خروجی

بیشتر از خود تزریق دستور نادیده گرفته می‌شود.

نمونه‌ی معیار پذیرش

سیاست‌نامه‌ی امضاشده به‌علاوه‌ی گزارش تست تزریق دستور روی سناریوهای تعریف‌شده، بدون مورد باز با شدت بالا؛ و فهرست کامل ابزارهای در حال استفاده با سطح داده و مالک هرکدام.

عدد دقیق در گفت‌وگو با شما و بر اساس وضعیت فعلی کارتان تعیین می‌شود. عددی که بدون شناخت کار شما نوشته شود، تبلیغ است نه معیار.

محدودیت‌ها

  • من مشاور حقوقی نیستم. نگاشت نهایی کنترل‌ها به الزامات قانونی باید با واحد حقوقی و انطباق خودتان تأیید شود.
  • گرفتن گواهی ISO/IEC 42001 خدمت من نیست؛ آماده‌سازی برای آن هست. صدور گواهی کار نهاد گواهی‌دهنده است.
  • هیچ کنترلی تزریق دستور را کاملاً حذف نمی‌کند. هر کسی که خلاف این را ادعا کند، یا نمی‌داند یا دارد چیزی می‌فروشد.

پرسش و پاسخ

از کجا شروع کنیم؟

از فهرست‌برداری. تا ندانید چه ابزارهایی امروز در سازمان استفاده می‌شوند و چه داده‌ای واردشان می‌شود، هر سیاستی که بنویسید روی کاغذ می‌ماند.

آیا باید ISO 42001 بگیریم؟

بستگی دارد به اینکه مشتریان و ناظرانتان چه می‌خواهند. ولی حتی بدون گرفتن گواهی، ساختار این استاندارد چارچوب مفیدی است. توصیه‌ام این است که از هفت مورد عملی شروع کنید و استاندارد را به‌عنوان چک‌لیست پایانی استفاده کنید.

چقدر طول می‌کشد؟

بسته ۱ در بازه‌ی دو تا چهار هفته انجام می‌شود و معیار پذیرشش فهرست اولویت‌بندی‌شده‌ی حداقل سه فرآیند است، هرکدام با برآورد زمان و ریسک، امضاشده توسط کارفرما.

تزریق دستور را کامل حل می‌کنید؟

نه، و کسی نمی‌تواند. چون در مدل زبانی، دستور و داده در یک مسیر حرکت می‌کنند و جدایی ذاتی وجود ندارد. کاری که می‌شود کرد این است: سطح حمله را کوچک کنیم، اختیار را محدود کنیم، و اثر یک حمله‌ی موفق را مهار کنیم.

خروجی این کار برای ممیزی ISO/IEC 42001 کافی است؟

ورودیِ ممیزی است، نه جایگزینش. کارت سیستم، سیاست‌نامه و شواهد ارزیابی چیزهایی‌اند که ممیز می‌خواهد ببیند؛ ولی حکم انطباق را ممیز می‌دهد، نه من.

پیاده‌سازی امنیت و انطباق از کجا شروع می‌شود؟

همین‌جا پاسخ دهید و پتانسیل اتوماسیون کسب‌وکارتان را بسنجید.

یک جلسه‌ی نیم‌ساعته کافی است تا بفهمیم کدام از این سه کار برای شما اولویت دارد و اولین گام مشخصتان چیست.

اگر این خدمات مناسب شما نباشد، صریحاً به شما می‌گویم.