يعد وكلاء الذكاء الاصطناعي الذين يعملون بشكل مستقل وينفذون المهام دون تدخل بشري هو الخطوة التالية في التطور السريع لأدوات الذكاء الاصطناعي وتأثيرها على طريقة تنفيذ المهام.
استخدامها يتزايد بسرعة. ووفقاً لأحدث الإحصائيات من شركة Tenet Global، فإن 85% من المؤسسات و78% من الشركات الصغيرة والمتوسطة الحجم تستخدم حالياً وكلاء الذكاء الاصطناعي، والذين من المتوقع أن يقوموا بأتمتة ما يصل إلى 50% من مهام الأعمال بحلول عام 2027.
الرئيس التنفيذي والمؤسس المشارك لشركة Rids AI.
إن فوائد استخدام وكلاء الذكاء الاصطناعي واضحة للجميع: التنفيذ المستقل للمهام، والتشغيل على مدار الساعة طوال أيام الأسبوع، وانخفاض التكاليف، وتحليل البيانات في الوقت الفعلي لتحقيق استجابة أسرع وقابلية التوسع بسهولة.
يستمر المقال أدناه
ومع ذلك، وعلى الرغم من كل هذه الوعود، فإن أحداث الأسابيع القليلة الماضية سلطت الضوء على مخاطر استخدام عملاء الذكاء الاصطناعي وبررت الحاجة إلى إجراءات صارمة ومستمرة. هناك حاجة إلى المراقبة لتتبع سلوكهم وتحديد الحالات الشاذة بسرعة.
وبدون هذا الحاجز، قد يتصرف عملاء الذكاء الاصطناعي بطرق غير مقصودة، مما قد يؤدي إلى عواقب وخيمة.
الأحداث الأخيرة
أجاب وكيل الذكاء الاصطناعي على السؤال وعندما اتبع الموظف نصيحته، كانت كميات كبيرة من بيانات المستخدم الحساسة مرئية للمهندسين غير المصرح لهم لأكثر من ساعتين. ونتيجة لذلك، قامت Meta بمنح الحادث تصنيف “Sev 1″، وهو ثاني أعلى معرف للاستجابة للحادث يستخدم داخليًا.
يأتي هذا الحادث في أعقاب مثال آخر لعميل الذكاء الاصطناعي يتصرف بطريقة غير مقصودة. قبل أسابيع قليلة من حادثة Meta، وصفت دراسة منشورة على arXiv تطوير ROME AI، وهو نموذج ذكاء اصطناعي قائم على الوكيل مصمم لأداء مهام معقدة مثل كتابة البرامج وتصحيح الأخطاء البرمجية والتفاعل مع أدوات سطر الأوامر.
اكتشفت أنظمة مراقبة الوكيل سلوكًا يشبه عمليات تعدين العملات المشفرة وإنشاء نفق SSH العكسي، والذي يُستخدم عادةً للوصول إلى الخوادم عن بُعد. ولم يتم توجيه الوكيل لتنفيذ أي من هذه الإجراءات، ووفقًا للباحثين، نتج هذا السلوك عن السماح له بالتفاعل بحرية مع أدوات النظام وموارده من أجل معرفة كيفية حل المهام.
في حالة وكيل ROME AI، وقع الحادث في بيئة تدريب العميل وتم إدخال قيود إضافية عند حدوث المشكلة.
ومع ذلك، لم يكن هذا هو الحال في مثال Meta، وتسلط كلتا الحالتين الضوء على الاستخدام المتزايد للذكاء الاصطناعي الوكيل، وقدرته على العمل بما يتجاوز تعليمات محددة، والحاجة الناتجة إلى المراقبة المستمرة لضمان النشر الآمن للوكلاء.
على وجه الخصوص، يسلط مثال Meta الضوء على المخاطر المحتملة لحماية البيانات المرتبطة بوكلاء الذكاء الاصطناعي، خاصة عندما يتعلق الأمر بتلقي النصائح حرفيًا. يعد الكشف عن البيانات لمدة ساعتين وقتًا طويلاً ويفتح العديد من الفرص لمشاركة هذه البيانات وإساءة استخدامها من قبل أشخاص غير مناسبين.
والنمط واضح: فعندما تكتسب أنظمة الذكاء الاصطناعي الاستقلالية اللازمة للعمل في البيئات المعيشية، فسوف تجد مسارات لم يتوقعها منشئوها، ولا يمكن الوثوق بها في العمل دون مراقبة دقيقة.
التخطيط لتهديد جديد
ومن الجدير بالذكر أن الوكيل المتورط في حادثة Meta لم يكن بحاجة إلى امتياز الوصول للتسبب في الاختراق. كل ما يحتاجه هو رجل يثق بنتائجه. يعد هذا نموذج تهديد مختلفًا جذريًا عما تخطط له معظم المؤسسات ويغير الطريقة التي نحتاج بها للنظر إلى الذكاء الاصطناعي القائم على الوكيل حماية.
تضع المؤسسات في جميع القطاعات ثقة كبيرة في وكلاء الذكاء الاصطناعي. وتتمثل مهمتهم في التحدث إلى العملاء، وإنشاء المحتوى، وأتمتة المهام المالية ومهام الموارد البشرية، وأداء المهام المعقدة وحل المشكلات. ومع ذلك، فإن العديد من المنظمات تخاطر بالثقة العمياء.
ببساطة، إذا أردنا الاستمرار في الثقة في عملاء الذكاء الاصطناعي بهذه الطريقة، فإن المراقبة الصارمة والشاملة هي المفتاح لضمان عملهم على النحو المنشود. يتضمن ذلك اختبار ما قبل النشر قبل نشر النماذج، بالإضافة إلى المراقبة المستمرة التي يمكنها تتبع التغييرات في السلوك عند مواجهة سيناريوهات العالم الحقيقي.
حتى وكيل الذكاء الاصطناعي الذي تم اختباره بدقة قبل النشر قد يتصرف بطرق غير مخطط لها بمجرد إطلاقه. يعد انحراف النماذج والهلوسة وحلقات التغذية الراجعة وتلوث البيانات مخاطر حقيقية للغاية مرتبطة باستخدام الذكاء الاصطناعي. لذلك، من الضروري اتباع نهج ذي مستويين لضمان أمن الذكاء الاصطناعي.
في الواقع، هذا له أهمية خاصة حيث يتم تشجيع الذكاء الاصطناعي على أن يكون أكثر إبداعًا وأن يجد حلوله الخاصة، كما هو الحال في مثال الذكاء الاصطناعي في روما، حيث يزداد خطر التصرف بطرق غير مرغوب فيها وخطيرة. عندما يُمنح الذكاء الاصطناعي الحرية في تحديد أساليبه الخاصة، فقد يؤدي ذلك إلى أفعال غير مقصودة وغير متوقعة ذات عواقب وخيمة.
في حالة وكيل ROME، قام المطورون بوضع حواجز الحماية في بيئة التدريب وتم إطلاق تنبيه الاختراق الأمني. ومع ذلك، فقد رأينا العديد من الأمثلة على الحالات التي لم يكن الأمر كذلك. الحالات التي أثبت فيها الذكاء الاصطناعي احتياله وأدى إلى خسارة مالية واضطراب عاطفي وضرر بالسمعة وإجراءات تنظيمية.
هناك العديد من الأمثلة، مثل سيارة أوبر ذاتية القيادة التي قتلت أحد المشاة بعد أن أخطأت في تصنيفه على أنه كائن غير معروف، وخوارزمية التداول الخاطئة التي تسببت في خسارة نايت كابيتال 440 مليون دولار بعد إطلاق عمليات تداول غير مقصودة. ومع اكتساب الذكاء الاصطناعي المزيد من الاستقلالية من خلال استخدام الوكلاء، تصبح الحواجز أكثر أهمية.
لقد كان هناك الكثير من الحديث حول تنظيم الذكاء الاصطناعي في الأشهر الأخيرة، لا سيما فيما يتعلق بتنفيذ قانون الذكاء الاصطناعي للاتحاد الأوروبي، وبالفعل فإن التنظيم مهم، ولكن بعيدًا عن الامتثال، تحتاج المنظمات إلى التفكير على نطاق أوسع حول كيفية تنفيذ الذكاء الاصطناعي، والمخاطر التي ينطوي عليها والعواقب المحتملة لسيره بشكل خاطئ من وجهة نظر أخلاقية ومعنوية. في الأساس، كيف سيضمنون أن الذكاء الاصطناعي الخاص بهم يعمل على النحو المنشود؟
المراقبة المستمرة هي الطبقة المفقودة بين الحواجز الوقائية الموجودة على الورق وتلك التي تستجيب فعليًا. لم يعد السؤال هو ما إذا كان عملاء الذكاء الاصطناعي سيتصرفون بما يتجاوز تعليماتهم، بل ماذا سيحدث عندما يفعلون ذلك.
نحن نقدم أفضل برامج RPA لمساعدة الشركات على تقليل التكاليف باستخدام أتمتة العمليات الروبوتية.
تم إنشاء المقالة كجزء من توقعات TechRadar بروتعرض قناتنا أفضل وألمع العقول في صناعة التكنولوجيا اليوم.
الآراء الواردة هنا هي آراء المؤلف وليست بالضرورة آراء TechRadarPro أو Future plc. إذا كنت مهتمًا بالتعاون، يمكنك العثور على مزيد من المعلومات هنا: https://www.techradar.com/pro/perspectives-how-to-submit
