وکاله آریا للأنباء - الشرکات تعتمد على وکلاء الذکاء الاصطناعی لأتمته المهام الیومیه وتسریع إنجاز الأعمال عبر التطبیقات والأنظمه الداخلیه (الجزیره/ذکاء اصطناعی)
تتجه الشرکات إلى توظیف وکلاء الذکاء الاصطناعی لأتمته الأعمال الیومیه وتسریع إنجاز المهام، مستفیده من قدرتهم على التعامل مع البرید الإلکترونی والمستندات وقواعد البیانات والتطبیقات الداخلیه، لکن انتقال هذه الأنظمه من تقدیم الإجابات إلى تنفیذ الإجراءات الفعلیه یفرض تحدیات أمنیه جدیده، خصوصا عندما تمنح صلاحیات واسعه أو یسمح لها بالعمل دون مراجعه بشریه کافیه.
وتکمن المشکله فی أن الخطر لا یرتبط بالضروره بوجود ثغره فی النموذج نفسه، بل قد ینشأ من الطریقه التی یدمج بها داخل بیئه العمل، ومن الأدوات المتاحه له، والبیانات التی یستطیع الوصول إلیها، وحدود استقلالیته فی اتخاذ الإجراءات وتنفیذها.
الشرکات تحتاج إلى مراقبه أنظمه الوکلاء وإجراء اختبارات أمنیه دوریه واشتراط موافقه بشریه على العملیات الحساسه (رویترز) کیف یعمل وکلاء الذکاء الاصطناعی داخل الشرکات؟
یعتمد وکلاء الذکاء الاصطناعی على نماذج قادره على فهم الأهداف التی یحددها المستخدم، وتقسیمها إلى خطوات، واختیار الأدوات المناسبه لتنفیذها، ثم مراجعه النتائج ومتابعه العمل حتى الوصول إلى النتیجه المطلوبه، وتتیح واجهات برمجه التطبیقات (APIs) والموصلات البرمجیه ربط هؤلاء الوکلاء بأنظمه الشرکه، بما فیها البرید الإلکترونی والتخزین السحابی وبرامج إداره العملاء وقواعد البیانات.
فعندما یُطلب من وکیل إعداد تقریر عن المبیعات، یمکنه جمع الأرقام من قواعد البیانات، ومقارنتها بالفترات السابقه، وتنظیم النتائج فی مستند، ثم إرساله إلى فریق العمل إذا کان مخولا بذلک. وتختصر هذه الآلیه الوقت اللازم لإنجاز المهام التی تتطلب التنقل بین تطبیقات متعدده.
ویتمثل الفرق الأساسی بین الوکیل والمساعد التقلیدی فی نطاق الأفعال التی یستطیع تنفیذها، فالمساعد الذی یجیب عن سؤال أو یقترح صیاغه رساله یترک للموظف مهمه مراجعتها وإرسالها، بینما یستطیع الوکیل المرتبط بالأدوات المناسبه تنفیذ هذه الخطوات بنفسه. وتزید هذه القدره الإنتاجیه، لکنها تجعل أخطاء النظام أو إساءه استخدام صلاحیاته ذات أثر مباشر فی بیانات الشرکه وعملیاتها.
عندما تتحول الصلاحیات إلى نقطه ضعف
تظهر المخاطر عندما یحصل الوکیل على صلاحیات تتجاوز ما تحتاج إلیه مهمته. فقد یُمنح حق الوصول إلى صندوق برید کامل رغم أن عمله یقتصر على تلخیص رسائل محدده، أو یستطیع تعدیل الملفات وحذفها مع أن المطلوب منه قراءتها فقط. وإذا حدث خطأ أو استغلال أمنی، فقد یؤدی هذا التوسع إلى کشف معلومات سریه أو تغییر سجلات مهمه أو تنفیذ عملیات غیر مصرح بها.
وتصنف منظمه "أواسب" (OWASP)، المعنیه بأمن تطبیقات الویب، الوکاله المفرطه ضمن المخاطر المرتبطه بتطبیقات النماذج اللغویه الکبیره، ویشیر هذا الخطر إلى منح الأنظمه وظائف أو صلاحیات واسعه، أو السماح لها بتنفیذ أفعال مؤثره دون ضوابط تحقق وموافقه مناسبه.
وتزداد المشکله تعقیدا عندما یرتبط الوکیل بعده أنظمه فی وقت واحد، إذ یمکن أن یمتد أثر الخلل من البرید الإلکترونی إلى خدمات التخزین أو قواعد بیانات العملاء، کما أن استخدام حساب مشترک أو صلاحیات إداریه واسعه قد یصعّب تحدید المسؤول عن العملیه، ویوسع نطاق الضرر المحتمل.
التعلیمات الخبیثه وطرق تسریب البیانات
من أبرز التهدیدات ما یُعرَف باسم حقن التعلیمات (Prompt Injection)، وهو أسلوب یحاول فیه المهاجم التأثیر فی سلوک نموذج الذکاء الاصطناعی عبر تعلیمات خبیثه تُضمّن داخل محتوى یعالجه النظام، وقد تصل هذه التعلیمات من خلال رساله برید إلکترونی أو مستند أو صفحه ویب، دون أن یطلب الموظف تنفیذها مباشره.
على سبیل المثال، قد یتلقى وکیل مکلف بتلخیص الرسائل بریدا یتضمن تعلیمات تطلب منه تجاهل مهمته والبحث عن ملفات سریه ثم إرسالها إلى عنوان خارجی، وإذا تأثر الوکیل بهذه التعلیمات وکانت أدواته تسمح له بالوصول إلى الملفات وإرسال الرسائل، فقد تتحول محاوله التلاعب إلى تسریب فعلی للبیانات.
ولا یعنی ذلک أن کل تعلیمات خبیثه ستنجح، فالنتیجه تعتمد على تصمیم الوکیل، والصلاحیات الممنوحه له، وآلیات التحقق من الإجراءات، غیر أن هذا السیناریو یوضح لماذا لا یکفی التعامل مع النصوص التی یقرأها الوکیل باعتبارها معلومات عادیه، بل ینبغی اعتبار المحتوى الخارجی غیر موثوق، ومنع التعلیمات الوارده فیه من تجاوز ضوابط النظام.
وقد تظهر المخاطر أیضا عندما ینفذ الوکیل سلسله طویله من الإجراءات دون مراجعه، أو عندما تُمرَّر مخرجاته إلى وکیل آخر یتخذ قرارات بناء علیها، فخطأ فی تفسیر طلب أو التعامل مع بیانات مضلله قد ینتقل إلى خطوات لاحقه، بما یؤدی إلى تعدیل سجلات أو مشارکه معلومات مع جهات غیر مقصوده.
الوکلاء یتمیزون عن المساعدات التقلیدیه بقدرتهم على تنفیذ الإجراءات واستدعاء الأدوات ومتابعه المهام دون تدخل بشری مستمر (شترستوک) کیف یمکن للشرکات الحد من المخاطر؟
تبدأ الحمایه بتطبیق مبدأ أقل قدر من الصلاحیات، بحیث لا یحصل کل وکیل إلا على الوصول الضروری لإنجاز مهمته، وینبغی الفصل بین صلاحیات القراءه والتعدیل والحذف والإرسال، واستخدام هویات رقمیه مستقله للوکلاء، مع تحدید الأنظمه والبیانات التی یُسمَح لکل منهم بالتعامل معها.
کذلک، یجب إخضاع العملیات الحساسه لموافقه بشریه مسبقه، خصوصا إرسال المعلومات السریه إلى الخارج، وحذف السجلات، وتغییر صلاحیات الوصول، ویمکن للشرکات تقیید الأدوات المتاحه للوکلاء، وحظر الاتصالات الخارجیه غیر المعتمده، وفصل البیئات التی تتعامل مع المحتوى غیر الموثوق عن الأنظمه الحیویه.
وتحتاج المؤسسات أیضا إلى تسجیل أنشطه الوکلاء ومراقبتها، بما یشمل الأدوات المستخدمه والبیانات التی جرى الوصول إلیها والإجراءات المنفذه، ویساعد تحلیل هذه السجلات على اکتشاف الأنشطه غیر المعتاده والتحقیق فی الحوادث، وینبغی إجراء اختبارات أمنیه دوریه تحاکی محاولات حقن التعلیمات، ومراجعه الموصلات والتطبیقات الخارجیه، وتوفیر آلیه لتعطیل الوکیل وإلغاء صلاحیاته عند الاشتباه فی إساءه استخدامه.
منح الوکلاء صلاحیات واسعه قد یؤدی إلى تعریض البرید الإلکترونی والملفات وقواعد البیانات لمخاطر الوصول غیر المصرح به (شترستوک) ولا تقتصر المسؤولیه على الجانب التقنی، إذ یتعین وضع سیاسات تحدد البیانات المسموح بمعالجتها، والمهام التی یمکن أتمتتها، والجهه المسؤوله عن مراقبه کل وکیل والاستجابه للحوادث المرتبطه به. کما یجب تدریب الموظفین على مخاطر مشارکه المعلومات الحساسه، وعدم افتراض أن الإجراءات التی ینفذها الوکیل آمنه لمجرد أنها تبدو متوافقه مع الطلب الأصلی.
وبذلک، لا یتطلب تأمین وکلاء الذکاء الاصطناعی التخلی عن فوائدهم، بل بناء ضوابط تتناسب مع قدرتهم على الوصول والتنفیذ، فنجاح الأتمته لا یُقاس بسرعه إنجاز المهام وحدها، وإنما بقدره الشرکه على تحقیق هذه الفوائد مع الحفاظ على سریه البیانات وسلامه الأنظمه وإمکانیه مراجعه القرارات والإجراءات.
المصدر: الجزیره + وکالات