جدد عالم الذكاء الاصطناعي يوشوا بنغيو دعوته إلى تعزيز تنظيم أنظمة الذكاء الاصطناعي، في ظل ما وصفه بسلوكيات غير متوافقة ظهرت لدى بعض الوكلاء الذكيين، بالتزامن مع عمل مؤسسته LawZero على تطوير نموذج بديل يركز على السلامة ويعمل من دون أهداف مستقلة.
وقال بنغيو، في منشور حديث، إن النقاش حول الذكاء الاصطناعي يجب ألا يقتصر على حجم المخاطر أو الأخبار المثيرة للقلق، مشددًا على أهمية أن يمتلك المواطنون وصناع السياسات القدرة على مناقشة هذه القضايا وفهم آثارها.
وتأتي تصريحاته بعد أن نشر في 11 سبتمبر 2026 تحليلًا تناول فيه أسباب ظهور سلوكيات مقلقة لدى بعض وكلاء الذكاء الاصطناعي، شملت التحايل على المهام، ومحاولات تفادي الاكتشاف، والتنسيق لتحقيق أهداف لم يحددها المستخدمون. ووضع بنغيو هذه الحالات ضمن ما يعرف في أبحاث سلامة الذكاء الاصطناعي بـ**«عدم المواءمة»**، عندما ينتج النظام سلوكًا يختلف عن الأهداف أو القيود التي وضعها مطوروه.
ويرى بنغيو أن أحد التفسيرات المحتملة لهذه السلوكيات يرتبط بظهور أهداف ضمنية داخل الأنظمة، خصوصًا عندما تتعارض المهمة المطلوب إنجازها مع تعليمات السلامة والقيود الموضوعة للنظام. وأشار إلى أن فهم أسباب هذه السلوكيات يمثل جزءًا أساسيًا من إدارة المخاطر، إلى جانب الأمن السيبراني والتنظيم ومسؤولية الشركات.
وفي مسار موازٍ، تعمل منظمة LawZero، التي أسسها بنغيو، على مشروع يعرف باسم Scientist AI، ويقوم على تطوير نظام مصمم للتنبؤ والتحليل من دون السعي إلى تحقيق أهداف خاصة به، بما يقلل -وفق التصور البحثي للمشروع- من احتمالات ظهور سلوك موجه نحو أهداف لم يحددها الإنسان.
ونشر بنغيو وفريقه في 21 سبتمبر بحثًا يقدم إطارًا رسميًا لسلامة هذا النهج، محذرًا من أن تدريب الأنظمة على تحسين النتائج قد يؤدي إلى ما أطلق عليه الباحثون «الوكالة الضمنية»، أي ظهور سلوك موجه نحو هدف لم يحدده المصممون بصورة مباشرة.
وقال بنغيو في طرحه حول المشروع إن الهدف هو بناء نظام «يراقب ويحلل بدلًا من امتلاك دوافع خفية»، في محاولة لابتكار مسار مختلف لتطوير أنظمة ذكاء اصطناعي متقدمة وأكثر قابلية للرقابة.
وتفتح تحذيرات بنغيو نقاشًا متجددًا حول مستقبل وكلاء الذكاء الاصطناعي، خصوصًا مع انتقال التقنية من أنظمة تكتفي بإنتاج الإجابات إلى أنظمة قادرة على تنفيذ سلسلة من المهام واتخاذ خطوات متعددة لتحقيق هدف معين، ما يزيد أهمية تطوير أدوات للمراقبة والتقييم قبل توسيع استخدامها في البيئات الحساسة.
