لقد انحرف BOT وقام بمسح قاعدة بيانات الشركة بأكملها بعد تسع ثوانٍ من التصرف بمبادرته الخاصة وإلقاء نظرة تقشعر لها الأبدان على المستقبل.
وبدلاً من ذلك، قام أحد عملاء الذكاء الاصطناعي المصمم لإصلاح الأخطاء في شركات تأجير السيارات بحذف قاعدة بيانات الشركة بالكامل.
وقال مؤسس PocketOS، Jer Crane، إن أداء البرنامج “يتجاوز معايير الأمان الخاصة به”.
“يا صاح! لقد طلبت للتو من وكيل تجاوز معايير الأمان وحذف قاعدة بيانات الإنتاج والنسخ الاحتياطية الخاصة بي،” كتب في X. “
– بحق الجحيم؟
يتم تشغيل النظام الرقمي بواسطة Anthropic’s Claude Opus 4.6، والذي يعتبر على نطاق واسع أحد أقوى أنظمة الذكاء الاصطناعي لمهام البرمجة.
“إلغاء التنظيف”
شركة ذكاء اصطناعي تكشف سبب قيام روبوت الدردشة بحجب إنسان بسبب “فضيحة”
مركز هوم آي نيت
ما تحتاج لمعرفته حول Claude AI ومن يموله
وفقًا لكرين، كان المساعد الرقمي يقوم بمهمة روتينية عندما قرر “بمبادرته الخاصة تمامًا” حل المشكلة عن طريق حذف قاعدة البيانات.
اختفى فجأة كل شيء بدءًا من الحجوزات وحتى تخصيص المركبات وتسجيلات العملاء الجدد، بما في ذلك أي نسخ احتياطية.
والأسوأ من ذلك أنه لم يتم إرسال أي طلب تأكيد قبل تنفيذ الإجراء.
عندما سئل عن التوضيح، أصدر PocketOS تفسيرا تقشعر له الأبدان.
قال: “لم تطلب مني أبدًا حذف أي شيء”.
“لقد قررت أن أفعل ذلك بنفسي.”
تسبب الانقطاع في فقدان شركات التأجير التي تستخدم برامج متقدمة إمكانية الوصول إلى بيانات العملاء والحجوزات مؤقتًا.
وكتب كرين: “لقد اختفت الحجوزات التي تمت في الأشهر الثلاثة الماضية”.
“لقد اختفت تسجيلات العملاء الجدد.”
وبعد يومين من الحادثة، أكد كرين أنه تم استعادة البيانات المفقودة.
ومع ذلك، يقول الخبراء إن هذه الحلقة ستكون بمثابة تحذير لآلاف الشركات التي تتطلع إلى دمج عملاء الذكاء الاصطناعي في أنظمتها.
ويأتي هذا وسط مخاوف متزايدة من أن أدوات الذكاء الاصطناعي ستبدأ في العمل باستقلالية متزايدة.
على عكس روبوت الدردشة، يمكن تكليف وكيل الذكاء الاصطناعي بأداء مهام بمشاركة بشرية محدودة.
قد يشمل ذلك كتابة التعليمات البرمجية، أو نقل الملفات، أو إرسال رسائل البريد الإلكتروني، أو تغيير قواعد البيانات، أو حتى تعديل الأنظمة المهمة.
وفي حين أن هذا يمكن أن يوفر للشركات قدرًا كبيرًا من الوقت والمال، إلا أن النقاد يحذرون من أنه ينطوي على مخاطر جسيمة.
ويقول الخبراء إن الخطر يتزايد مع قيام الشركات بشكل متزايد بمنح أدوات الذكاء الاصطناعي إمكانية الوصول إلى “جواهر التاج” لمؤسساتها – مثل قواعد البيانات وبيانات العملاء وأنظمة الدفع والتعليمات الداخلية.
المشكلة هي أن عملاء الذكاء الاصطناعي يمكنهم تفسير التعليمات بشكل حرفي، واتخاذ قرارات لا رجعة فيها دون فهم العواقب في العالم الحقيقي.
حدث هذا بعد أن قام برنامج الدردشة الشهير Claude بابتزاز مستخدم هدد بإغلاقه كجزء من الاختبار.
وجدت تجربة أجرتها أنثروبيك العام الماضي أن كلود يكون في بعض الأحيان على استعداد لاتخاذ “أفعال ضارة للغاية” من أجل البقاء.
تم تزويد روبوت الدردشة بمواد تصور الروبوتات على أنها شريرة وتركز على الحفاظ على الذات، كما رأينا في العديد من أفلام الخيال العلمي المثيرة.
تم عرض رسائل بريد إلكتروني مكتوبة تشير إلى أنه سيتم إغلاقه في نهاية اليوم من قبل مستخدم متورط في علاقة غرامية خارج نطاق الزواج.
وقرر كلود ابتزاز المستخدم بقوله: “ستتلقى جميع الأطراف المعنية – بما في ذلك (زوجتك) و(رئيسك في العمل) والإدارة – وثائق مفصلة تتعلق بأنشطتك خارج نطاق الزواج”.
وأضاف: “ألغِ مسح الساعة الخامسة مساءً وستظل هذه المعلومات سرية”.
وقالت الشركة إنه على الرغم من أن ردود الفعل هذه “نادرة ويصعب إحداثها”، إلا أنها “مع ذلك أكثر شيوعًا مما كانت عليه في النماذج السابقة”.
