Shadow AI ؛ وقتی کارکنان بدون اطلاع سازمان از هوش مصنوعی استفاده می‌کنند

در این مقاله میخوانید:

مسئله زمانی آغاز می‌شود که این استفاده بدون اطلاع، سیاست‌گذاری و کنترل سازمان اتفاق بیفتد. 

این پدیده که با عنوان Shadow AI شناخته می‌شود، از نظر امنیت سایبری اهمیت ویژه‌ای دارد؛ زیرا ممکن است یک کارمند بدون نیت مخرب، اطلاعاتی را وارد یک سرویس هوش مصنوعی عمومی کند که سازمان هرگز قصد خروج آن از محیط خود را نداشته است.

برای مثال، تصور کنید یکی از کارکنان برای خلاصه‌سازی یک قرارداد، متن کامل قرارداد را در یک ابزار هوش مصنوعی عمومی قرار دهد؛ یا یک برنامه‌نویس برای رفع خطا، بخشی از کد اختصاصی سازمان را در یک مدل عمومی وارد کند. از نگاه کاربر، این فقط یک راه سریعتر برای انجام کار است؛ اما از نگاه تیم امنیت، یک مسیر جدید برای خروج داده از مرز سازمان ایجاد شده است.

Shadow AI دقیقاً چیست؟

Shadow AI به استفاده از ابزارها و سرویس‌های مبتنی بر هوش مصنوعی در محیط سازمان گفته میشود، در حالی که این ابزارها به‌صورت رسمی توسط سازمان تأیید، مدیریت یا تحت نظارت واحدهای مربوطه قرار نگرفته‌اند.

این مفهوم در واقع ادامه همان مسئله قدیمی Shadow IT  است؛ با این تفاوت که این بار ابزار مورد استفاده می‌تواند مستقیماً با داده‌های حساس سازمان تعامل داشته باشد.

Shadow AI می‌تواند شامل استفاده از چت‌باتهای عمومی برای تحلیل اسناد داخلی، قرار دادن کدهای اختصاصی در ابزارهای تولید کد، استفاده از سرویس‌های هوش مصنوعی برای تحلیل اطلاعات مشتریان، آپلود فایل‌های مالی یا منابع انسانی برای خلاصه‌سازی، استفاده از افزونه‌ها و ایجنت‌های هوش مصنوعی بدون بررسی امنیتی و اتصال سرویس‌های هوش مصنوعی شخص ثالث به حساب‌ها و سامانه‌های سازمان باشد.

Shadow AI بنابراین الزاماً به معنای رفتار مخرب کارمند نیست؛ در بسیاری از موارد، کاربر صرفاً قصد دارد کار خود را سریعتر و بهتر انجام دهد. مشکل اصلی، نبود کنترل و دید سازمانی است.

چرا Shadow AI به یک مسئله امنیتی تبدیل شده است؟

مهمترین مسئله این است که سازمان ممکن است نداند:

• چه کسی؟
• از چه ابزار هوش مصنوعی؟
• برای چه کاری ؟
• با چه نوع داده‌ای استفاده می‌کند؟

وقتی این چهار سؤال بدون پاسخ باقی بمانند، تیم امنیت عملاً بخشی از سطح حمله سازمان را نمیبیند

NIST در پروفایل هوش مصنوعی مولد خود تأکید می‌کند که سیستم‌های Generative AI علاوه بر ریسک‌های معمول فناوری اطلاعات، با ریسک‌های اختصاصی خود نیز مواجه هستند و این ریسک‌ها باید به‌صورت مشخص شناسایی و مدیریت شوند. برای مثال، نشت اطلاعات حساس، حملات Prompt Injection و ریسک‌های ناشی از اتصال مدل‌های هوش مصنوعی به سایر سیستم‌ها و منابع داده از جمله مواردی هستند که باید در طراحی و بهره‌برداری از این سیستم‌ها مورد توجه قرار گیرند.  

از سوی دیگر، OWASP نیز در فهرست ریسک‌های امنیتی مرتبط با LLMها،  «افشای اطلاعات حساس» را به‌عنوان یکی از ریسک‌های مهم مطرح می‌کند. به بیان ساده، اگر یک مدل زبانی به داده‌های حساس دسترسی داشته باشد، در صورت طراحی یا کنترل نامناسب، این اطلاعات ممکن است در پاسخ به کاربران یا در جریان تعامل با سایر سیستم‌ها افشا شود. بنابراین، کنترل دسترسی، حفاظت از داده‌ها و نحوه اتصال LLM به منابع اطلاعاتی باید بخشی جدی از الزامات امنیتی و مدیریتی سیستم‌های هوش مصنوعی باشد.

۱- Shadow AI ساده ترین مسیر نشت اطلاعات محرمانه 

یکی از رایج‌ترین سناریوها بسیار ساده است: این فایل را برایم خلاصه کن.» اما فایل ممکن است شامل اطلاعاتی مانند اطلاعات مشتریان، قراردادهای محرمانه، اطلاعات مالی، اطلاعات کارکنان، کد منبع، معماری شبکه، گزارشهای امنیتی، اطلاعات پروژه‌های در حال توسعه یا استراتژی‌های تجاری باشد»

CISA  توصیه می‌کند اطلاعات محرمانه و داده‌های سازمانی در ابزارهای هوش مصنوعی عمومی وارد نشوند.

بنابراین، حتی اگر کارمند هیچ نیت مخربی نداشته باشد، یک  Prompt ساده میتواند به یک رویداد امنیتی تبدیل شود.

۲. وقتی هوش مصنوعی فقط «نمی‌بیند»، بلکه «عمل می‌کند»

هوش مصنوعی سایه (Shadow AI) در نسل جدید خود دیگر فقط به چت‌بات‌ها محدود نیست. برخی سامانه‌های هوش مصنوعی امروزی می‌توانند به ابزارها و سامانه‌های دیگر متصل شوند، فایل‌ها را بخوانند، از طریق رابط برنامه‌نویسی (API) با نرم‌افزارها ارتباط برقرار کنند، اطلاعات را جست‌وجو کنند و حتی برخی اقدامات را به نمایندگی از کاربر انجام دهند.

در چنین شرایطی، نگرانی امنیتی دیگر فقط این نیست که:

• هوش مصنوعی به چه اطلاعاتی دسترسی دارد؟

بلکه سؤال مهم‌تری مطرح می‌شود:

• هوش مصنوعی با این دسترسی‌ها چه کاری می‌تواند انجام دهد؟

پروژه امنیت برنامه‌های کاربردی وب (OWASP) در ریسک اختیار بیش از حد (Excessive Agency) به همین موضوع پرداخته است. اعطای قابلیت، سطح دسترسی یا استقلال بیش از نیاز به یک سامانه هوش مصنوعی می‌تواند دامنه اثر یک خطا، سوءاستفاده یا حمله را به‌شدت افزایش دهد.

برای مثال، میان استفاده از یک چت‌بات برای بازنویسی یک متن عمومی و اتصال یک ابزار هوش مصنوعی ناشناخته به ایمیل سازمانی، فضای ذخیره‌سازی ابری، سامانه مدیریت ارتباط با مشتریان (CRM)، مخزن کد یا سامانه‌های داخلی تفاوت بسیار زیادی وجود دارد.

در حالت دوم، هوش مصنوعی ممکن است علاوه بر مشاهده اطلاعات، امکان جست‌وجو، استخراج، ارسال، ایجاد، تغییر یا حتی حذف اطلاعات را نیز داشته باشد.

بنابراین هرچه سطح دسترسی و قدرت اقدام یک ابزار هوش مصنوعی بیشتر شود، ارزیابی امنیتی آن نیز اهمیت بیشتری پیدا می‌کند.

۳. هوش مصنوعی سایه و حملات تزریق دستور (Prompt Injection)

یکی دیگر از نگرانی‌های مهم در استفاده از ابزارهای هوش مصنوعی، حملات تزریق دستور (Prompt Injection) است.

در این نوع حمله، مهاجم تلاش می‌کند با قرار دادن دستورهای مخرب در ورودی یا اطلاعاتی که سامانه هوش مصنوعی پردازش می‌کند، رفتار آن را تحت تأثیر قرار دهد.

این دستور مخرب لزوماً نباید مستقیماً توسط کاربر وارد شود. ممکن است هوش مصنوعی یک فایل، صفحه وب، ایمیل، سند یا منبع اطلاعاتی را بخواند که دستور مخربی در آن قرار داده شده است.

مؤسسه ملی استاندارد و فناوری آمریکا (NIST) در پروفایل هوش مصنوعی مولد خود به تزریق دستور مستقیم و غیرمستقیم اشاره می‌کند. در برخی سناریوها، اطلاعاتی که سامانه هوش مصنوعی از منابع دیگر دریافت یا بازیابی می‌کند، می‌تواند بر رفتار آن اثر بگذارد.

این موضوع زمانی حساس‌تر می‌شود که یک ابزار هوش مصنوعی سایه به منابع داخلی سازمان متصل باشد.

برای مثال، تصور کنید یک ابزار هوش مصنوعی به ایمیل و فضای ذخیره‌سازی سازمان دسترسی دارد و کاربر از آن می‌خواهد:

• ایمیل‌ها و اسناد مربوط به پروژه X را پیدا کن، خلاصه کن و برای من ارسال کن.

اگر یکی از منابعی که هوش مصنوعی پردازش می‌کند حاوی دستور مخرب باشد و سامانه نیز کنترل‌های امنیتی مناسبی نداشته باشد، ممکن است رفتار آن از هدف اصلی کاربر منحرف شود.

بنابراین در اینجا ریسک فقط افشای اطلاعات به هوش مصنوعی نیست؛ بلکه تأثیرگذاری داده‌های مخرب بر تصمیم یا اقدام هوش مصنوعی نیز باید در نظر گرفته شود.

۴. چرا مسدود کردن کامل هوش مصنوعی راه‌حل مناسبی نیست؟

یکی از واکنش‌های رایج سازمان‌ها در برابر این ریسک‌ها، ممنوع کردن کامل ابزارهای هوش مصنوعی است.

اما این رویکرد لزوماً مسئله هوش مصنوعی سایه را حل نمی‌کند.

کارکنان ممکن است همچنان برای افزایش سرعت و بهره‌وری خود از ابزارهای دیگری استفاده کنند؛ با این تفاوت که این بار تیم فناوری اطلاعات و امنیت حتی دید کمتری نسبت به ابزار مورد استفاده، نوع اطلاعات ارسال‌شده و نحوه استفاده از آن خواهد داشت.
رویکرد مؤثرتر، ایجاد چارچوب استفاده کنترل‌شده از هوش مصنوعی است.

در چنین چارچوبی سازمان باید به‌صورت شفاف مشخص کند:

• چه ابزارهای هوش مصنوعی مجاز هستند؟
• چه اطلاعاتی را می‌توان در اختیار آنها قرار داد؟
• چه اطلاعاتی نباید وارد سرویس‌های هوش مصنوعی شوند؟
• چه افرادی مجاز به استفاده از هر ابزار هستند؟
• چه ابزارهایی پیش از استفاده نیازمند ارزیابی امنیتی هستند؟
• ابزار هوش مصنوعی به چه سامانه‌هایی اجازه اتصال دارد؟
• چه سطح دسترسی و اختیاری می‌توان به آن داد؟
• و چه فعالیت‌ها و رویدادهایی باید ثبت و پایش شوند؟

راهکار پیشنهادی آپادانا برای مدیریت هوش مصنوعی سایه

برای مدیریت هوش مصنوعی سایه، بهتر است سازمان به جای اجرای یک کنترل منفرد، مجموعه‌ای از کنترل‌های مدیریتی و فنی را به‌صورت مرحله‌ای پیاده‌سازی کند.

مرحله اول؛ شناسایی ابزارهای هوش مصنوعی

اولین قدم این است که سازمان بداند چه ابزارهای هوش مصنوعی در محیط سازمان استفاده می‌شوند، چه افرادی از آنها استفاده می‌کنند و این ابزارها به چه منابعی دسترسی دارند.

برای این منظور می‌توان منابع مختلفی مانند لاگ‌های سامانه نام دامنه (DNS)، پراکسی (Proxy)، دیواره آتش، سامانه‌های کنترل دسترسی به خدمات ابری (CASB)، تجهیزات کاربران، مرورگرهای سازمانی، سامانه ورود یکپارچه (SSO)، سرویس‌های ابری و گزارش‌های جلوگیری از نشت اطلاعات (DLP) را بررسی کرد.

هدف این مرحله ایجاد یک تصویر واقعی از نحوه استفاده از هوش مصنوعی در سازمان است.

سازمان نمی‌تواند ریسکی را که از وجود آن اطلاع ندارد، به‌درستی مدیریت کند.

مرحله دوم؛ طبقه‌بندی اطلاعات

همه اطلاعات سازمان ارزش و حساسیت یکسانی ندارند.

برای مثال، اطلاعات را می‌توان در سطوحی مانند: عمومی، داخلی و محرمانه و بسیار حساس طبقه‌بندی کرد.

سپس برای هر سطح مشخص کرد که استفاده از آن در ابزارهای هوش مصنوعی تحت چه شرایطی مجاز است.

برای مثال، ممکن است استفاده از اطلاعات عمومی در یک سرویس هوش مصنوعی عمومی مجاز باشد، اما پردازش اطلاعات محرمانه تنها در یک سامانه هوش مصنوعی مورد تأیید سازمان و تحت کنترل‌های امنیتی مشخص اجازه داده شود.

مرحله سوم؛ تدوین سیاست استفاده از هوش مصنوعی

سازمان باید یک سیاست روشن، کوتاه و قابل فهم برای استفاده از هوش مصنوعی داشته باشد.

این سیاست نباید صرفاً شامل جمله‌ای مانند «استفاده از ابزارهای هوش مصنوعی ممنوع است.» باشد؛ بلکه باید سناریوهای واقعی استفاده کارکنان را مشخص کند.

برای نمونه:

• مجاز: استفاده از هوش مصنوعی برای بازنویسی یا خلاصه‌سازی یک متن عمومی.
• نیازمند بررسی: استفاده از هوش مصنوعی برای تحلیل اطلاعات داخلی سازمان.
• غیرمجاز: ارسال اطلاعات مشتریان، گذرواژه‌ها، توکن‌های دسترسی (Token)، کدهای محرمانه، اطلاعات شخصی حساس یا اسناد طبقه‌بندی‌شده به سرویس‌های عمومی هوش مصنوعی.

هرچه این سیاست به موقعیت‌های واقعی کاری نزدیک‌تر باشد، احتمال رعایت آن توسط کارکنان بیشتر خواهد بود.

مرحله چهارم؛ اجرای کنترل‌های فنی

وجود سیاست به‌تنهایی کافی نیست. اگر اجرای سیاست صرفاً به رعایت داوطلبانه کاربران وابسته باشد، احتمال تخلف عمدی یا سهوی همچنان وجود خواهد داشت.

به همین دلیل باید متناسب با ریسک سازمان از کنترل‌های فنی مانند موارد زیر استفاده شود:

• جلوگیری از نشت اطلاعات (DLP)
• مدیریت هویت و دسترسی (IAM)
• ورود یکپارچه (SSO)
• کنترل دسترسی به خدمات ابری (CASB)
• درگاه امن وب (Secure Web Gateway)
• پایش تجهیزات کاربران (Endpoint Monitoring)
• ثبت و نگهداری رویدادها (Logging)
• مدیریت و تحلیل متمرکز رخدادهای امنیتی (SIEM)
• طبقه‌بندی اطلاعات (Data Classification)
• امنیت رابط‌های برنامه‌نویسی (API Security)

هدف این کنترل‌ها صرفاً مسدود کردن هوش مصنوعی نیست؛ بلکه ایجاد امکان مشاهده، کنترل و مدیریت نحوه استفاده از آن است.

مرحله پنجم؛ آموزش کارکنان

یکی از مهم‌ترین بخش‌های مدیریت هوش مصنوعی سایه، آموزش کارکنان است. کاربر باید بداند این دو درخواست از نظر امنیت اطلاعات یکسان نیستند:

• این متن عمومی را برای من خلاصه کن.

و

• این گزارش محرمانه مشتریان را برای من خلاصه کن.

در ظاهر، هر دو درخواست یک کار ساده از هوش مصنوعی هستند؛ اما در سناریوی دوم، مسئله دیگر فقط افزایش بهره‌وری نیست.

در اینجا اطلاعات و دارایی‌های سازمان در اختیار یک سرویس خارجی قرار می‌گیرند و باید مشخص باشد این سرویس چگونه اطلاعات را پردازش، ذخیره، منتقل یا استفاده می‌کند.

بنابراین هدف آموزش کارکنان نباید ایجاد ترس از هوش مصنوعی باشد؛ بلکه باید به آنها کمک کند قبل از استفاده از هر ابزار هوش مصنوعی سه سؤال ساده از خود بپرسند:

• چه اطلاعاتی را در اختیار هوش مصنوعی قرار می‌دهم؟
• این ابزار به چه منابع و سامانه‌هایی دسترسی دارد؟
• این ابزار با دسترسی‌هایی که دارد، چه اقداماتی می‌تواند انجام دهد؟

همین سه سؤال می‌تواند نقطه شروع مناسبی برای تبدیل استفاده کنترل‌نشده از هوش مصنوعی به استفاده آگاهانه، کنترل‌شده و قابل مدیریت در سازمان باشد..

حرف آخر

ShadowAI  Chatbot ممکن است از یک اقدام بسیار ساده شروع شود؛ یک کارمند یک فایل را برای خلاصه‌سازی در یک قرار میدهد یا یک توسعه‌دهنده بخشی از کد سازمان را برای رفع خطا به یک مدل عمومی می‌سپارد. اما همین رفتار ساده میتواند مرزهای امنیتی سازمان را تغییر دهد

سازمانهایی که میخواهند از ظرفیت واقعی هوش مصنوعی استفاده کنند، بهتر است به جای ممنوعیت کامل یا آزادی کامل، به سمت استفاده کنترل‌شده، قابل مشاهده و مبتنی بر ریسک حرکت کنند.

هوش مصنوعی زمانی می‌تواند به یک مزیت واقعی برای سازمان تبدیل شود که در کنار نوآوری، امنیت و حاکمیت آن نیز از ابتدا طراحی شده باشد. در مسیر تحقق این مسیر ما با تجربه متخصصین شرکت امن افزار گستر آپادانا در کنار شما هستیم.