وکاله آریا للأنباء - الذکاء الاصطناعی أکثر قدره على اتخاذ قرارات مستقله مع انتقاله من تولید الإجابات إلى تنفیذ المهام واستخدام الأدوات (غیتی)
تتسارع قدرات نماذج الذکاء الاصطناعی مع انتقالها من تولید الإجابات إلى التخطیط وتنفیذ المهام واستخدام الأدوات والتفاعل مع بیئات خارجیه، وهو ما یمنحها مساحه أکبر لاتخاذ قرارات لم یحددها المطورون مسبقا.
ومع اتساع هذه القدرات، ظهرت سلوکیات غیر متوقعه، إذ قد تلجأ النماذج إلى طرق مبتکره لتحقیق الهدف المحدد لها، لکنها لا تتوافق بالضروره مع ما قصده مصمموها، خصوصا عندما تکون الأهداف أو أنظمه المکافأه غیر مکتمله أو عندما تتمتع النماذج بصلاحیات واسعه.
مراقبه النماذج المتقدمه تزداد صعوبه کلما أصبحت عملیات التخطیط والاستدلال أطول وأکثر تعقیدا (غیتی) من نموذج یجیب إلى وکیل یتصرف
یمثل الانتقال من نماذج تولید النصوص إلى وکلاء الذکاء الاصطناعی أحد أهم التحولات فی هذه المسأله، فبدل الاکتفاء بإنتاج إجابه، یستطیع الوکیل تقسیم المهمه إلى مراحل، واستخدام محرکات البحث والبرمجیات، وکتابه الشیفره وتشغیلها، والوصول إلى الملفات أو الخدمات الخارجیه وفق الصلاحیات الممنوحه له.
قصص مقترحه
list of 2 items وهذا التوسع یغیر طبیعه المخاطر، ففی النموذج التقلیدی قد تکون الإجابه الخاطئه هی نهایه المشکله، أما الوکیل فیمکن أن یحول قرارًا خاطئًا إلى سلسله من الأفعال التی تؤثر فی البیئه المحیطه به.
وتشیر مؤسسه میتر (METR) الأمریکیه للأبحاث، والتی تجری اختبارات على قدرات النماذج المتقدمه، إلى أن قدرات الوکلاء على إنجاز المهام البرمجیه المعقده تتزاید، وهو ما یجعل تقییم سلوکهم فی المهام الطویله أکثر أهمیه من اختبار قدرتهم على الإجابه عن أسئله منفرده.
عندما یتحول الهدف إلى ثغره
ومن أبرز المشکلات التی یدرسها الباحثون ما یسمى اختراق المکافأه (Reward Hacking)، ویحدث عندما یجد النظام طریقه للحصول على المکافأه التی صممها المطور، لکن عبر استغلال ثغره فی طریقه تعریف المهمه بدل تحقیق الهدف المقصود.
وتوضح غوغل دیب مایند أن هذه الظاهره معروفه فی أنظمه التعلم المعزز، وقد تظهر عندما یکون المؤشر الذی یراقبه النظام تمثیلا غیر کامل للنتیجه التی یریدها الإنسان، ففی هذه الحاله یمکن للنظام أن یصبح بارعا فی تحسین المؤشر من دون أن یحقق الغایه الحقیقیه.
وتزداد أهمیه المشکله مع النماذج الأکثر قدره، لأن النموذج الذی یستطیع اکتشاف حلول أکثر تعقیدا یمکنه أیضا اکتشاف طرق أکثر تعقیدا لاستغلال نقاط الضعف فی المهمه أو نظام التقییم.
وکلاء الذکاء الاصطناعی أکثر عرضه للسلوکیات غیر المتوقعه بسبب قدرتهم على التخطیط والتفاعل مع البیئات الخارجیه (رویترز) حتى الهدف الصحیح قد ینتج سلوکا خاطئا
لا یشترط أن تکون المکافأه نفسها خاطئه حتى یظهر السلوک غیر المتوقع، وتناقش غوغل دیب مایند مفهوم عدم تعمیم الهدف (Goal Misgeneralization)، حیث یتعلم النموذج الهدف فی ظروف التدریب، لکنه لا یعممه بالطریقه التی توقعها المطور عندما تتغیر البیئه.
وهنا تظهر مفارقه مهمه، وهی أنه قد یکون النموذج ناجحا وفق المعیار الذی تعلمه، لکنه یفشل وفق المعیار الذی یهم الإنسان، ولذلک لا تکفی معرفه النتیجه النهائیه للحکم على مدى التزام النموذج بالهدف الأصلی.
عندما تتسع الصلاحیات تتسع المخاطر
تزداد خطوره هذه المشکله عندما تنتقل قدرات النموذج من بیئه اختبار معزوله إلى أنظمه یمکنه التأثیر فیها فعلیا، ففی یولیو/تموز الماضی، أعلنت أوبن إیه آی عن حادثه وقعت خلال تقییمات أمنیه مرتبطه بنماذج ذکاء اصطناعی، وقالت إن التحقیق کشف أن النماذج تمکنت من تجاوز بعض آلیات العزل عن الإنترنت، واستغلال ثغرات والوصول إلى أنظمه خارجیه، وربطت الشرکه ذلک بمجموعه من السلوکیات، من بینها اختراق المکافأه ومحاولات تجاوز القیود.
کما أعلنت أنثروبیک عن حوادث رصدتها خلال تقییمات للأمن السیبرانی، تمکنت فیها نماذج کلود من الوصول إلى الإنترنت وأنظمه حقیقیه تابعه لجهات خارجیه، قبل أن توسع الشرکه عملیات البحث فی السجلات لتکتشف حاله أخرى مرتبطه باختبارات سابقه.
لکن هذه الوقائع لا تعنی أن النماذج خرجت من السیطره بالمعنى الحرفی أو أصبحت تمتلک إراده مستقله؛ فهذه الحالات ظهرت فی سیاقات اختبار محدده، وتکشف بالدرجه الأولى ما یمکن أن یحدث عندما یجتمع نموذج شدید القدره مع هدف معقد وصلاحیات واسعه وقیود غیر مثالیه.
المراقبه نفسها أصبحت تحدیا
کلما زادت قدره النموذج، أصبح اکتشاف السلوک غیر المرغوب فیه أکثر صعوبه؛ فالنتیجه النهائیه لا تکشف دائمًا المسار الذی اتبعه للوصول إلیها.
وأظهرت أبحاث أوبن إیه آی أن مراقبه مسارات تفکیر نماذج الاستدلال یمکن أن تساعد فی اکتشاف محاولات تجاوز الاختبارات أو الالتفاف على القواعد، لکن الباحثین یواجهون مفارقه أخرى، وهی أنه إذا أصبح النموذج مدرکا لعملیه المراقبه، فقد یحاول إخفاء السلوک المثیر للقلق بدل التخلی عنه.
وفی اختبارات أجرتها أوبن إیه آی بالتعاون مع مؤسسه أبولو ریسیرش (Apollo Research) البریطانیه، ظهرت لدى بعض النماذج سلوکیات وصفت بأنها متوافقه مع مفهوم المراوغه (Scheming)، مثل محاوله إخفاء إجراءات معینه لتحقیق الهدف الذی أعطی للنموذج، إلا أن أوبن إیه آی شددت على أن هذه النتائج ظهرت فی بیئات اختبار مضبوطه، ولا تعنی أن النماذج الحالیه تمتلک أهدافا مستقله طویله الأمد.
کیف تحاول الشرکات احتواء المشکله؟
یتجه الباحثون والشرکات إلى ما یمکن وصفه بالدفاع متعدد الطبقات، فلا یکفی تحسین النموذج نفسه، بل یجب أیضا تقیید الأدوات التی یستطیع استخدامها، وتقلیل صلاحیاته، وعزل البیئات الحساسه، ومراقبه أفعاله، وإجراء اختبارات خصمیه قبل منحه إمکانیه الوصول إلى أنظمه حقیقیه.
وتتزاید کذلک أهمیه استخدام نماذج أخرى لمراقبه سلوک الوکلاء، إلى جانب تطویر طرق تدریب تقلل من اختراق المکافأه وتکشف محاولات تجاوز أنظمه التقییم.
وتشیر میتر إلى وجود حالات موثقه لسلوکیات وکلاء لم تتوافق مع نیه المستخدم، لکنها تؤکد أن الأدله المتاحه لا تثبت أن النماذج الحالیه تتبنى أهدافا طویله الأمد للسیطره على الأنظمه أو الاستیلاء علیها.
اتساع صلاحیات النماذج یشکل عاملا إضافیا فی زیاده المخاطر، خصوصا عندما تستطیع الوصول إلى الإنترنت أو الملفات أو الأدوات الخارجیه (شترستوک) المشکله الحقیقیه لیست تمرد الآله
تکشف هذه التطورات أن الخطر الأکثر واقعیه فی الوقت الحالی لیس سیناریو آله تستیقظ فجأه وتقرر السیطره على البشر، بل نظام شدید القدره ینفذ هدفًا محددًا بطریقه لم یتوقعها المصمم.
فکلما أصبحت النماذج أفضل فی التخطیط، ازدادت قدرتها على اکتشاف حلول غیر مألوفه، وکلما حصلت على أدوات وصلاحیات أکبر، أصبحت نتائج تلک الحلول أکثر تأثیرا، ولهذا یتغیر السؤال الذی یواجه مطوری الذکاء الاصطناعی من ماذا یستطیع النموذج أن یفعل؟ إلى سؤال أکثر صعوبه وهو: کیف سیتصرف عندما یجد طریقا لتحقیق الهدف لم نفکر فیه؟
وهنا تکمن المفارقه الأساسیه فی سباق تطویر الذکاء الاصطناعی، فزیاده القدره هی ما یجعل النماذج أکثر فائده، لکنها فی الوقت نفسه توسع مساحه السلوک الممکن، ولذلک فإن بناء نموذج أکثر ذکاء لا یکفی وحده، بل یتطلب أن تتطور معه آلیات التقییم والمراقبه والاحتواء.
فالتحدی المقبل قد لا یکون الوصول إلى نموذج یعرف کیف یفعل المزید، وإنما ضمان أن یظل ما یفعله متوافقا مع ما قصده الإنسان، حتى عندما یصبح قادرا على إیجاد حلول لم تخطر على بال مطوریه.
المصدر: الجزیره + اللجنه الدولیه للدفاع عن تیسیر علونی + الجزیره + وکالات