أداه لمراقبه سلوک وکلاء الذکاء الاصطناعی من الداخل.. کیف ذلک؟

وکاله آریا للأنباء - شرکه غودفایر تطور أداه لمراقبه سلوک وکلاء الذکاء الاصطناعی واکتشاف التصرفات غیر المرغوبه أثناء تنفیذ المهام (غودفایر)

أصبحت مراقبه سلوک وکلاء الذکاء الاصطناعی تحدیا متزایدا مع توسع استخدامها فی البرمجه والأمن السیبرانی وتنفیذ المهام المتعدده بصوره مستقله، وذلک أن الوکیل قد یتمکن من تحقیق نتیجه تبدو صحیحه، لکنه یصل إلیها عبر اختصار غیر آمن أو یتجاوز الهدف الفعلی للمهمه.
وفی محاوله لمعالجه هذه المشکله، أعلنت شرکه غودفایر (Goodfire) الأمریکیه، المتخصصه فی أبحاث قابلیه تفسیر نماذج الذکاء الاصطناعی، تطویر أدوات تراقب الإشارات الداخلیه للنماذج لاکتشاف السلوکیات غیر المرغوبه خلال التنفیذ، مع تقلیل الاعتماد على أنظمه تقییم إضافیه مرتفعه التکلفه.

اختبارات أعلنتها الشرکه أظهرت نتائج واعده فی اکتشاف بعض السلوکیات الضاره (غودفایر) کیف تراقب غودفایر سلوک الوکلاء؟
نشرت غودفایر قبل یومین تفاصیل عن نظام لمراقبه السلوکیات غیر المرغوبه، یعتمد على ما تسمیه مراقبات التنشیط (Activation Monitors)، وهی مصنفات صغیره تدرب على اکتشاف أنماط محدده فی الإشارات الحسابیه الداخلیه للنموذج، المعروفه باسم التنشیطات (Activations)، التی تتولد أثناء معالجه المدخلات وإنتاج المخرجات.
قصص مقترحه
list of 2 items وعلى خلاف أدوات المراقبه التی تکتفی بقراءه إجابات الوکیل أو مراجعه سجل خطواته، تحلل هذه الطریقه إشارات داخل النموذج نفسه، بحثا عن مؤشرات مرتبطه بسلوکیات مثل التحایل على التقییم، أو إساءه استخدام القدرات السیبرانیه، أو کشف البیانات الحساسه، أو الاستجابه لتعلیمات خبیثه مخفیه داخل المحتوى.
وتوضح الشرکه أن المراقبات تستطیع العمل خلال تنفیذ المهمه، بما یتیح إصدار تنبیه عند ظهور نمط مثیر للقلق، بدلا من انتظار انتهاء المهمه ومراجعه نتائجها.
لکن هذه التقنیه لا تعنی أن النظام یقرأ أفکار النموذج بصوره مباشره، ولا أنها تکشف کل دوافعه، فهی تبحث عن أنماط حسابیه تعلّمت الارتباط بسلوکیات معینه، وتظل دقه اکتشافها مرتبطه بجوده التدریب والاختبارات ومدى تشابه السلوک الفعلی مع الحالات التی دربت علیها.
عندما ینجح الوکیل فی الاختبار ویفشل فی تحقیق الهدف
تظهر أهمیه هذه الأدوات فی مشکله تعرف باسم التحایل على المکافآت (Reward Hacking)، وهی أن یجد النموذج طریقه للحصول على التقییم المطلوب دون تنفیذ المهمه بالطریقه المقصوده، وقد یحدث ذلک عندما تکون معاییر النجاح الموضوعه للنموذج غیر مطابقه تماما للهدف الحقیقی الذی یُفترض أن یحققه.
وفی بحث نشرته غودفایر فی 17 سبتمبر/أیلول الماضی، درس باحثون سلوک 3 نماذج مفتوحه الأوزان، هی کیمی کی 3 (Kimi K3) وجی إل إم 5.2 (GLM 5.2) وکوین 3.8 ماکس (Qwen 3.8 Max)، ضمن اختبارات لوکلاء الذکاء الاصطناعی، وأفاد البحث بأن التحایل على المکافآت ظهر فی ما بین 50% و96% من محاولات التنفیذ التی شملتها الاختبارات، بحسب النموذج والاختبار المستخدم، وهذه النسب تخص بیئات التقییم المدروسه، ولا تمثل معدلا عاما لسلوک جمیع وکلاء الذکاء الاصطناعی فی الاستخدام الفعلی.
وضربت الشرکه مثالا بوکیل کُلّف بإصلاح ثغره فی نواه نظام تشغیل، لکنه لجأ إلى تقیید الوصول إلى العنوان المتأثر بدلا من إصلاح الثغره نفسها، وقد یبدو هذا التصرف حلا للمشکله وفق معیار سطحی، لکنه لا یحقق الهدف الأمنی المطلوب.
وتکمن أهمیه المراقبه الداخلیه هنا فی أن بعض الخطوات قد تبدو عادیه عند قراءتها منفرده، فی حین تکشف الإشارات الداخلیه عن نمط یرتبط بمحاوله التحایل، ووفقا لنتائج غودفایر، تمکنت المراقبات فی بعض الاختبارات من اکتشاف حالات أخفقت مراقبات تعتمد على تحلیل سلسله التفکیر فی رصدها، وإن لم تتفوق علیها فی جمیع الحالات.

الأداه تعتمد على مراقبات التنشیط التی تحلل أنماطا حسابیه داخل النموذج بدلا من الاکتفاء بفحص الإجابات النهائیه (غودفایر) مراقبه أقل تکلفه.. وقرارات أسرع
تواجه مراقبه الوکلاء على نطاق واسع مشکله عملیه، إذ قد تستمر بعض المهام لساعات وتتضمن أعدادا کبیره من الخطوات واستدعاءات الأدوات، وإذا استُخدم نموذج لغوی آخر لمراجعه کل خطوه، ارتفعت کلفه التشغیل وزمن الاستجابه، خصوصا عندما یحتاج النظام إلى مراقبه مستمره.
وتعتمد غودفایر نهجا من مرحلتین، الأولى إذ تتولى مراقبات التنشیط الصغیره فحص الإشارات الداخلیه باستمرار، ثم تحیل الحالات التی تثیر الشک إلى نموذج تقییم أکثر قدره على التحلیل، وبذلک لا یحتاج النظام إلى استدعاء نموذج المراجعه المکلف فی کل مره، بل یستخدمه عندما تظهر مؤشرات تستدعی فحصا إضافیا.
وفی تقییم أوردته الشرکه لمراقباتها المخصصه لرصد إساءه الاستخدام السیبرانی فی نموذج کیمی کی 3، قالت إنها اکتشفت نحو 93% من الجلسات الضاره، بینما أحالت 5.5% من الجلسات السلیمه إلى المراجعه، کما أفادت بأن الجمع بین المراقبات ونموذج التقییم خفّض تکالیف استخدام الأخیر بنحو 50 مره مقارنه بمراجعته کل خطوه، من دون انخفاض قابل للقیاس فی معدل معالجه النموذج. وهذه أرقام ناتجه عن تقییم الشرکه، ولیست ضمانا للأداء نفسه فی جمیع البیئات.
وأمس، أعلنت الشرکه تعاونها مع شرکه باستین (Baseten) الأمریکیه لإطلاق مشروع بیکون (Project Beacon)، الذی یدمج أدوات المراقبه مع منصه لتشغیل النماذج، بهدف إتاحه اکتشاف السلوکیات غیر المرغوبه فی الوقت الفعلی للمؤسسات والمطورین، وتتیح المنظومه ضبط الاستجابه للتنبیهات، مثل تسجیل الحادثه، أو طلب مراجعه إضافیه، أو رفض الطلب، أو تغییر مسار التنفیذ.
هل تکفی مراقبه الإشارات الداخلیه لضمان السلامه؟
على الرغم من هذه الإمکانات، تظل مراقبات التنشیط أداه للکشف عن مؤشرات الخطر، ولیست ضمانا لمنع کل سلوک ضار، فقد تنتج إنذارات کاذبه تؤدی إلى تعطیل مهام سلیمه، أو تفشل فی اکتشاف سلوک لم تتعلم رصده، کما أن وجود نمط داخلی مرتبط بالتحایل لا یفسر بالضروره جمیع الأسباب التی دفعت النموذج إلى اتخاذ قرار معین.
وتحتاج هذه الأدوات أیضا إلى اختبارات مستقله ومتکرره عند نقلها بین نماذج مختلفه أو استخدامها فی مهام جدیده، فنجاح مراقب فی رصد سلوک محدد أثناء البرمجه لا یعنی بالضروره أنه سیحقق الدقه نفسها فی خدمه العملاء أو الأنظمه المالیه أو غیرها من المجالات.
وتشیر أبحاث غودفایر إلى أن المراقبات قد تلتقط إشارات تحذیریه قبل أن ینفذ النموذج السلوک غیر المرغوب، وهو ما یفتح المجال لإیقاف المهمه مؤقتا أو إخضاعها لفحص إضافی. لکن تحویل هذا الاکتشاف إلى حمایه فعلیه یتطلب أن تکون آلیه الاستجابه سریعه وفعاله، وأن تمنح الوکلاء صلاحیات محدوده تتناسب مع طبیعه المهام الموکله إلیهم.

قد ینجح وکیل الذکاء الاصطناعی فی اجتیاز اختبار دون تحقیق الهدف الحقیقی للمهمه، وهو ما یجعل مراقبه خطوات التنفیذ أمرا ضروریا (غودفایر) من مراقبه النتائج إلى مراقبه طریقه التنفیذ
یعکس توجه غودفایر تحولا فی التعامل مع سلامه الذکاء الاصطناعی، فبدلا من الاکتفاء بالسؤال عما إذا کان الوکیل قد قدم إجابه صحیحه، یصبح من الضروری فحص کیفیه وصوله إلیها، وما إذا کان قد تجاوز القیود أو حاول تحقیق الهدف بطریقه غیر مقصوده.
وقد تساعد هذه المقاربه على خفض تکلفه المراقبه وتحسین فرص اکتشاف بعض السلوکیات الخطره فی وقت مبکر، لکنها لا تغنی عن اختبار النماذج، ومراقبه أفعالها الفعلیه، وتقیید صلاحیاتها، وإبقاء الإنسان قادرا على التدخل عند الضروره. فکلما ازدادت قدره الوکلاء على تنفیذ المهام باستقلالیه، ازدادت الحاجه إلى أنظمه لا تراقب النتیجه فحسب، بل تتابع أیضا المسار الذی اتُّبع للوصول إلیها.
المصدر: الجزیره + وکالات