با افزایش استفاده شرکت ها از هوش مصنوعی، یک بحران مدیریت پنهان در حال آشکار شدن است – بحرانی که تعداد کمی از برنامه های امنیتی آماده مقابله با آن هستند: ظهور عوامل هوش مصنوعی ناشناس.
این عوامل حدس و گمان نیستند. آنها در حال حاضر در اکوسیستم های سازمانی گنجانده شده اند – دسترسی، اعمال حقوق، شروع گردش کار، و حتی اتخاذ تصمیمات حیاتی تجاری. آنها در پشت صحنه در سیستم های فروش بلیط، ابزارهای ارکستراسیون، پلت فرم های SaaS و عملیات امنیتی کار می کنند. با این حال، بسیاری از سازمان‌ها پاسخ روشنی برای اساسی‌ترین سؤالات حاکمیتی ندارند: چه کسی مالک این عامل است؟ چه سیستم هایی را می تواند لمس کند؟ چه تصمیماتی می گیرد؟ چه دسترسی هایی به آن دست یافته است؟
این نقطه کور است. در امنیت هویت، چیزی که کسی مالک آن نیست، به بزرگترین خطر تبدیل می شود.
از اسکریپت های ثابت گرفته تا عوامل پاسخگو
از لحاظ تاریخی، هویت‌های غیرانسانی – مانند حساب‌های سرویس، اسکریپت‌ها و ربات‌ها – ثابت و قابل پیش‌بینی بوده‌اند. نقش‌های باریک و دسترسی محدود به آنها اختصاص داده شد که مدیریت آنها را با کنترل‌های قدیمی مانند چرخش اعتبار و ذخیره‌سازی نسبتاً آسان می‌کرد.
اما هوش مصنوعی یک طبقه متفاوت از هویت را معرفی می کند. اینها بازیگران دیجیتالی تطبیقی و پایداری هستند که به طور مستقل در سیستم ها یاد می گیرند، استدلال می کنند و عمل می کنند. آنها بیشتر شبیه کارمندان رفتار می کنند تا ماشین ها – قادر به تفسیر داده ها، شروع اقدامات و تکامل در طول زمان هستند.
با وجود این تغییر، بسیاری از سازمان‌ها همچنان در تلاش هستند تا این هویت‌های هوش مصنوعی را با مدل‌های قدیمی مدیریت کنند. این رویکرد ناکافی است. عوامل هوش مصنوعی از دستورالعمل های ایستا پیروی نمی کنند. آنها سازگاری می‌یابند، توانایی‌ها را دوباره ترکیب می‌کنند و محدودیت‌های طراحی خود را پشت سر می‌گذارند. این سیالیت مستلزم پارادایم جدیدی از مدیریت هویت است که ریشه در مسئولیت پذیری، نظارت بر رفتار و نظارت بر چرخه حیات دارد.
ویژگی کنترلی است که باعث می شود سایر کنترل ها کار کنند
در اکثر برنامه های هویت، مالکیت به عنوان ابرداده اداری تلقی می شود – یک امر رسمی. اما وقتی صحبت از عوامل هوش مصنوعی می شود، مالکیت اختیاری نیست. این کنترل اولیه است که مسئولیت پذیری و امنیت را امکان پذیر می کند.
بدون مالکیت مشخص، عملکردهای حیاتی شکسته می شوند. حقوق بررسی نمی شود. رفتار ردیابی نمی شود. مرزهای چرخه زندگی نادیده گرفته می شوند. و در صورت بروز حادثه هیچ کس مسئولیتی ندارد. کنترل‌های امنیتی که روی کاغذ قوی به نظر می‌رسند، در عمل بی‌معنی می‌شوند، اگر کسی در قبال اقدامات هویتی پاسخگو نباشد.
مالکیت باید عملیاتی شود. این به این معنی است که برای هر هویت هوش مصنوعی یک محافظ انسانی تعیین کنید – کسی که هدف، دسترسی، رفتار و تأثیر عامل را درک کند. مالکیت پل بین اتوماسیون و مسئولیت پذیری است.
خطر ابهام در دنیای واقعی
ریسک ها انتزاعی نیستند. ما قبلاً نمونه‌هایی را در دنیای واقعی دیده‌ایم که در آن عوامل هوش مصنوعی مستقر در محیط‌های پشتیبانی مشتری رفتار غیرمنتظره‌ای از خود نشان داده‌اند – ایجاد پاسخ‌های توهم‌آمیز، تشدید مسائل بی‌اهمیت یا خروجی زبانی که با دستورالعمل‌های برند سازگار نیست. در این موارد، سیستم ها همانطور که در نظر گرفته شده بود کار می کردند. مشکل تفسیری بود نه فنی.
خطرناک ترین جنبه در این سناریوها عدم پاسخگویی روشن است. زمانی که هیچ فردی مسئول تصمیمات یک عامل هوش مصنوعی نیست، سازمان ها نه تنها در معرض ریسک عملیاتی، بلکه در معرض پیامدهای اعتباری و نظارتی نیز قرار می گیرند.
این یک مشکل AI جعلی نیست. این یک مشکل هویتی ناخواسته است.
توهم مسئولیت مشترک
بسیاری از شرکت‌ها با این فرض کار می‌کنند که مالکیت هوش مصنوعی را می‌توان در سطح تیم مدیریت کرد – DevOps حساب‌های خدمات را مدیریت می‌کند، مهندسی بر ادغام‌ها نظارت می‌کند، و زیرساخت مالک استقرار خواهد بود.
عوامل هوش مصنوعی در یک تیم محدود نمی مانند. آنها توسط توسعه‌دهندگان ایجاد می‌شوند، از طریق پلتفرم‌های SaaS مستقر می‌شوند، بر روی داده‌های منابع انسانی و امنیتی عمل می‌کنند و بر جریان‌های کاری واحد تجاری تأثیر می‌گذارند. این حضور متقابل کارکردی، انتشار ایجاد می کند – و در مدیریت، انتشار منجر به شکست می شود.
مالکیت مشترک اغلب به عدم مالکیت تبدیل می شود. عوامل هوش مصنوعی نیاز به پاسخگویی صریح دارند. کسی باید نام برده شود و پاسخگو باشد – نه به عنوان یک مخاطب فنی، بلکه به عنوان یک مالک کنترل عملیاتی.
امتیاز ساکت، ریسک انباشته
عوامل هوش مصنوعی یک چالش منحصر به فرد را ارائه می دهند زیرا ردپای خطر آنها بی سر و صدا در طول زمان گسترش می یابد. آنها اغلب با دامنه‌های محدود شروع می‌کنند – شاید با تهیه حساب یا خلاصه کردن بلیط‌های پشتیبانی – اما دامنه دسترسی آنها رو به افزایش است. ادغام‌های اضافی، داده‌های آموزشی جدید، اهداف گسترده‌تر… و هیچ‌کس برای ارزیابی مجدد اینکه آیا این گسترش تضمین شده یا نظارت می‌شود متوقف نمی‌شود.
این حرکت آرام خطرناک است. عوامل هوش مصنوعی نه تنها دارای امتیازات هستند بلکه مالک آنها هستند. و هنگامی که تصمیمات دسترسی توسط سیستم هایی گرفته می شود که هیچ کس آن را بررسی نمی کند، احتمال عدم انطباق یا سوء استفاده به طور چشمگیری افزایش می یابد.
این معادل استخدام یک پیمانکار است، به آنها دسترسی گسترده ای به ساختمان می دهد و هرگز بررسی عملکرد را انجام نمی دهد. با گذشت زمان، این پیمانکار ممکن است شروع به تغییر سیاست‌های شرکت کند یا سیستم‌هایی را که هرگز نباید به آنها دسترسی می‌داشتند، لمس کند. تفاوت این است: کارکنان انسانی مدیران دارند. اکثر عوامل هوش مصنوعی این کار را نمی کنند.
انتظارات نظارتی در حال تغییر است
آنچه که به عنوان یک نقض امنیتی شروع شد، به سرعت به یک مسئله انطباق تبدیل شد. چارچوب‌های نظارتی – از قانون هوش مصنوعی اتحادیه اروپا گرفته تا قوانین محلی حاکم بر تصمیم‌گیری خودکار – شروع به ردیابی، توضیح‌پذیری و نظارت انسانی برای سیستم‌های هوش مصنوعی می‌کنند.
این انتظارات به طور مستقیم به مالکیت مربوط می شود. شرکت‌ها باید بتوانند نشان دهند چه کسی استقرار یک عامل را تایید کرده است، چه کسی بر رفتار آن نظارت دارد، و چه کسی در صورت آسیب یا سوء استفاده مسئول است. بدون صاحب نامی، یک کسب و کار نه تنها می تواند با قرار گرفتن در معرض عملیاتی مواجه شود، بلکه می تواند سهل انگاری نیز تلقی شود.
الگویی برای حکمرانی مسئولانه
مدیریت مؤثر عوامل هوش مصنوعی به معنای ادغام آنها در چارچوب‌های مدیریت هویت و دسترسی موجود با همان سختگیری برای کاربران ممتاز است. این شامل:
- با هوش مصنوعی به هر هویت یک فرد با نام اختصاص دهید
- نظارت بر رفتار برای علائم انحراف، افزایش امتیاز یا اقدامات غیرعادی
- خط‌مشی‌های چرخه عمر را با تاریخ انقضا، بررسی‌های دوره‌ای، و محرک‌های لغو مجوز اجرا کنید
- مالکیت درب های کنترلی، مانند روشن کردن، تغییر قوانین، یا تغییر دسترسی را تأیید کنید
این فقط یک بهترین تمرین نیست – یک تمرین ضروری است. دارایی باید به عنوان یک سطح کنترل زنده در نظر گرفته شود، نه یک چک باکس.
قبل از اینکه صاحب شما شود آن را مالک شوید
عوامل هوش مصنوعی در حال حاضر اینجا هستند. آنها در جریان کار شما تعبیه شده اند، داده ها را تجزیه و تحلیل می کنند، تصمیم می گیرند و با افزایش استقلال عمل می کنند. سوال دیگر این نیست که آیا از عوامل هوش مصنوعی استفاده می کنید یا خیر. شما هستید. سوال این است که آیا مدل مدیریتی شما به آنها رسیده است؟
راه رو به جلو با مالکیت شروع می شود. بدون آن، هر کنترل دیگری آرایشی می شود. با آن، سازمان‌ها پایه و اساس مورد نیاز خود را برای مقیاس‌بندی ایمن، ایمن و مطابق با میزان تحمل ریسک خود به دست می‌آورند.
اگر هویت هوش مصنوعی هایی که از طرف ما عمل می کنند را نداشته باشیم، عملاً کنترل را تسلیم کرده ایم. در امنیت سایبری، کنترل همه چیز است.
Rosario Mastrogiacomo مدیر ارشد استراتژی در SPHERE است. با تجربه گسترده در امنیت هویت، مدیریت دسترسی ممتاز و مدیریت هویت، نقش او شامل استراتژی‌دهی و هدایت شرکت‌ها به سمت امنیت سایبری قوی است.
این متخصص در بهداشت هویت، با استفاده از فناوری های مبتنی بر هوش مصنوعی برای خودکارسازی و محافظت از هویت در مقیاس است. مسیر شغلی او شامل نقش‌های رهبری در موسسات مالی برجسته، مانند بارکلیز، لیمن برادرز و نوبرگر برمن بود، جایی که او مهارت‌های خود را در محیط‌های پیچیده و بسیار منظم تقویت کرد.
