إن الانفجار في استخدام الذكاء الاصطناعي اعتبارًا من عام 2023 غير مسبوق. ومن حيث التبني، ينمو الذكاء الاصطناعي بشكل أسرع من السحابة، وأسرع من الأجهزة المحمولة، وبالتأكيد أسرع من الإنترنت. وتتوقع مجموعة أبحاث جارتنر أن 80% من المؤسسات ستطبق أدوات الذكاء الاصطناعي هذا العام.
نائب رئيس سلامة الذكاء الاصطناعي في F5.
عندما نقوم بتصنيف رحلة الشركة من خلال اعتماد الذكاء الاصطناعي، يمكن تقسيم النضج إلى أربع فئات:
- الفئة 1 هي الذكاء الاصطناعي والإنتاجية للأغراض العامة – فكر في الموظفين الذين يستخدمون ChatGPT وGemini وCoPilot وما إلى ذلك.
- الفئة 2 هي عندما يكون لدى المؤسسات حالات استخدام داخلي، على سبيل المثال إنشاء روبوتات دردشة مخصصة للموارد البشرية أو تكنولوجيا المعلومات
- تغطي الفئة 3 حالات الاستخدام الخارجي مثل إنشاء تطبيقات GenAI العامة مثل روبوتات الدردشة لخدمة العملاء
- الفئة 4 هي مسارات عمل وكيلة تتكون من أنظمة معقدة تتخذ إجراءات بشكل مستقل نيابة عن المستخدمين
غالبًا ما تحدث هذه الفئات بالتوازي وليس بالتسلسل، ولكن هذا ينطبق على الفئات الثلاث الأخيرة تصبح السلامة حرجة. وذلك لأن المؤسسات تقوم ببناء برامج معقدة تعتمد على نماذج الذكاء الاصطناعي غير الحتمية، مما يخلق ثغرات أمنية لا تستطيع جدران الحماية التقليدية اكتشافها.
يستمر المقال أدناه
يعد الأمن دائمًا أولوية في الأعمال التجارية، ولكن في حالة الذكاء الاصطناعي، فإن المشكلة مختلفة – إنها نقطة عمياء.
لقد أمضى قادة الأمن 20 عامًا في تنفيذ وتكوين جدران الحماية وجدران حماية تطبيقات الويب (WAFs) لحماية الشبكات، ولكن هذه الأدوات تراقب حركة مرور الشبكة واستخدامها، بينما تستخدم هجمات الذكاء الاصطناعي لغة طبيعية – ولا يمكنك جدار حماية المحادثة.
ولهذا السبب يقوم 75% من كبار مسؤولي أمن المعلومات بالإبلاغ عن حوادث أمنية متعلقة بالذكاء الاصطناعي لأن دفاعاتهم الحالية ليست مصممة ببساطة لالتقاط مثل هذه التهديدات؛ ولماذا اكتشف 91% بالفعل محاولات لشن هجمات على البنية التحتية للذكاء الاصطناعي؛ ولهذا السبب فإن ما يصل إلى 94% منهم يعطون الأولوية الآن لاختبار أنظمة الذكاء الاصطناعي الخاصة بهم.
فئات جديدة من الهجمات المعرفية
هناك العديد من الأمثلة الواقعية لكيفية تغيير الذكاء الاصطناعي لنموذج التهديد. نتج اختراق Asana في الصيف الماضي عن خطأ في منطق عزل المستأجر في خادم MCP والذي سمح بكشف البيانات عبر المؤسسات.
هذا خطأ كلاسيكي متعدد الإيجارات، لكنه أكثر خطورة هناك أنظمة LLM لأن البيانات المسربة تظهر بلغة بطلاقة، مما يزيد من صعوبة اكتشافها.
ومن ناحية أخرى، عكست حادثة لينوفو فشلاً آخر: انتهاك حدود الثقة. أعاد الحقن الفوري تعريف دور برنامج الدردشة الآلي من Lenovo، حيث تثق الأنظمة الخلفية في طلبات أدواته دون فرض تفويض من جانب الخادم. لم تكن المشكلة في نموذج الذكاء الاصطناعي الذي يتجاهل القواعد، بل في تفويض السلطة إليه.
وهذان مجرد مثالين يتحدثان عن مشهد المخاطر الناشئة الأوسع نطاقًا. لم تعد المؤسسات تتعامل مع الثغرات الأمنية في التعليمات البرمجية فحسب، بل إنها تواجه فئات جديدة تمامًا من الهجمات المعرفية، بما في ذلك:
- الحقن السريع سواء المباشر أو غير المباشر
- تسمم البيانات في مرحلة التدريب
- تقنيات متطورة لكسر الحماية مثل الهجمات اللغوية الرمزية
- ضغط الرمز المميز، حيث يقوم المهاجمون بإخفاء التعليمات الضارة بتنسيقات يمكن لنماذج الذكاء الاصطناعي قراءتها ولكن لا يستطيع البشر قراءتها
في حين أن الحواجز الأمنية التقليدية تتعامل مع المدخلات الحتمية، فإن هجمات الحقن الفوري وغيرها من هجمات اللغة الطبيعية تمثل مشاكل دلالية، وليست مشاكل في مطابقة الأنماط. هذه ليست أخطاء معزولة. هذه هي مخاطر الأعمال النظامية التي تقدمها البنى الجديدة القائمة على الذكاء الاصطناعي.
تتسابق الصناعة لتصنيف نقاط الضعف في الذكاء الاصطناعي. منصات مثل OWASP Top 10 for GenAI وتطبيقات الوكيل، وMitre Atlas، وNIST AI Risk Management Framework آخذة في الظهور، ولكن ليس لدينا قاعدة بيانات محددة أو معيار موحد لما يبدو عليه الأمان فعليًا.
النهج القديم لا يمكن مواكبة
إن الضغط على الصناعة اليوم لتبني الذكاء الاصطناعي أمر وجودي. يستخدم المطورون الذكاء الاصطناعي لكتابة التعليمات البرمجية بشكل أسرع بعشر مرات من أي وقت مضى؛ تقوم المؤسسات بشحن ميزات جديدة، وحتى منتجات، بين عشية وضحاها.
وفي الوقت نفسه، يعمل التنظيم على تسريع الأمور فيما يتعلق بالامتثال.
على سبيل المثال، يدعو قانون الذكاء الاصطناعي في الاتحاد الأوروبي على وجه التحديد إلى إجراء اختبارات تنافسية لأنظمة الذكاء الاصطناعي عالية المخاطر وذات الأغراض العامة. من الناحية العملية، يعني هذا أن الفريق الأحمر المبني لهذا الغرض – اختبار أنظمة الذكاء الاصطناعي بهجمات عدائية محاكاة – يجب أن يعتبر الآن عنصرًا أساسيًا في حزمة أمان الذكاء الاصطناعي بطريقة تعالج تحديات العالم الحقيقي التي تواجهها هذه الأنظمة.
ولذلك، من المتوقع أن يقوم مدراء تكنولوجيا المعلومات وفرق الأمان بتأمين التغييرات بسرعة الآلة. كيف؟ كتابة المطالبات يدويًا في نافذة الدردشة؟ إنه مثل محاولة إيقاف تسونامي باستخدام دلو. الرياضيات لا تعمل. السرعة لا تعمل. يختلف سطح هجوم الذكاء الاصطناعي اختلافًا جذريًا، ولا يمكن للأساليب القديمة مواكبته.
من الواضح أن الفريق الأحمر التقليدي غير فعال وأن فريق الذكاء الاصطناعي الأحمر ضروري لحل مشكلة فرق السرعة والتحكم. من المحادثة إلى عند مساعدة العملاء على تأمين أنظمة الذكاء الاصطناعي الخاصة بهم، نحتاج إلى مراعاة أربعة مجالات رئيسية:
- تطور التهديدات: تتطور هجمات الذكاء الاصطناعي بشكل أسرع من مجموعات الاختبار الثابتة. بمجرد أتمتة عمليات التحقق، يتغير نموذج الذكاء الاصطناعي أو الهجوم وينتهي الأمر بفرق الأمان بالاختبار بدلاً من تخفيف المخاطر.
- تعقيد الوكيل: نظرًا لأن عوامل الذكاء الاصطناعي ليست أنظمة حتمية، فعند إضافة البحث والأدوات والذاكرة، يكون هناك عدد لا حصر له تقريبًا من التباديل. لم تعد تختبر التعليمات البرمجية، بل تختبر محادثة تتغير حسب السياق.
- الأتمتة والحجم: لا يتم قياس الفريق الأحمر اليدوي لهذه الأنظمة. يمكنك إدارة chatbot واحد. المئات أو الآلاف من برامج الدردشة الآلية لا تفعل ذلك. لا يمكنك الاعتماد على الأشخاص الذين يعيدون تشغيل آلاف المحادثات العدائية في كل مرة يتم فيها تحديث نموذج أو مطالبة النظام
- التقارير القابلة للتنفيذ: يجب أن تكون النتائج قابلة للتكرار وقابلة للتنفيذ. “سوء تصرف الروبوت” غير قابل للتنفيذ. يحتاج المهندسون إلى معلمات المحادثة وشروط التشغيل، وإلا ستتوقف الإصلاحات والمعالجات.
التأكد من أن أنظمة الذكاء الاصطناعي تعمل كما هو متوقع، حتى في حالة وقوع هجوم
هذه هي نقاط الضعف الواقعية التي تحاول فرق الأمان حاليًا سدها، ولماذا يأتي استخدام الذكاء الاصطناعي للخطوط الحمراء في المقدمة. على سبيل المثال، أحد عملائنا هو بنك عالمي يعمل في بيئة شديدة التنظيم.
عندما اتصلنا بهم، كان لديهم أكثر من 50 حالة استخدام للذكاء الاصطناعي في الموارد البشرية والمشتريات والأمن السيبراني، لكنهم لم يتمكنوا من شحن أي منها لأنهم لم يتمكنوا من إثبات الأمن لمدققي حساباتهم الداخليين.
قام فريق الذكاء الاصطناعي الأحمر بتزويد البنك بالأدلة التي يحتاجها لفهم كيفية تصرف أنظمة الذكاء الاصطناعي لديه فعليًا – وأين يمكن أن تتسرب البيانات، وكيف يمكن إساءة استخدام التلميحات، وأين فشل التحكم في بيئتهم.
يستخدم هذا العميل نتائج الفريق الأحمر لتحسين وضعه الدفاعي من خلال آليات الأمان المخصصة. يتيح هذا المزيج للبنك توسيع نطاق الذكاء الاصطناعي عبر الشركة مع الثقة في الوضع الأمني وبرنامج الإدارة الخاص به.
ومن ناحية أخرى، في القطاع العام، هناك حاجة إلى الانتقال من الاختبارات الطوعية إلى الاختبارات الإلزامية ــ بقيادة وكالات بما في ذلك المعهد الوطني للمعايير والتكنولوجيا (NIST) وCISA ــ مثل إجراء اختبارات الإجهاد لتحديد التهديدات الحرجة للمهام مثل تسليح البيانات البيولوجية.
في هذه الحالة، لا يقتصر الجمع بين قوات الذكاء الاصطناعي على الحد من المخاطر فحسب، بل يتعلق أيضًا بالحفاظ على السلطة التشغيلية واستمرارية المهمة.
بمعنى آخر، سواء كنت تحمي بيانات العملاء أو الخدمات العامة، فإن المتطلبات هي نفسها – ضمان مستمر قائم على الأدلة بأن أنظمة الذكاء الاصطناعي تعمل كما هو متوقع، حتى عندما يحاول شخص ما اختراقها.
تنفيذ الذكاء الاصطناعي بثقة في المؤسسة
من الواضح أن المؤسسات التي تطبق الذكاء الاصطناعي تحتاج إلى اختبار آلي ضد نقاط الضعف المعروفة لإنشاء خط أساس. السياق هو سطح الهجوم الجديد؛ يفشل الدفاع الثابت في مواجهة الهجمات المستندة إلى الوكيل، لذا يجب عليه اختبار الأحمال، وليس النماذج فقط.
وأخيرًا، يعد الامتثال ميزة تنافسية. بفضل التقارير المناسبة، لم يعد الأمان يشكل عائقًا بل أصبح عاملاً يتيح تقديم الذكاء الاصطناعي للمؤسسات بشكل أسرع إلى السوق. في مثل هذا العالم، يمكن لـ 80% من الشركات التي تخطط لتطبيق الذكاء الاصطناعي هذا العام أن تفعل ذلك بثقة، بغض النظر عن المرحلة التي تمر بها رحلتها.
تقديم أفضل برامج حماية نقطة النهاية.
تم إنشاء المقالة كجزء من توقعات TechRadar بروتعرض قناتنا أفضل وألمع العقول في صناعة التكنولوجيا اليوم.
الآراء الواردة هنا هي آراء المؤلف وليست بالضرورة آراء TechRadarPro أو Future plc. إذا كنت مهتمًا بالتعاون، يمكنك العثور على مزيد من المعلومات هنا: https://www.techradar.com/pro/perspectives-how-to-submit
