بدء تشغيل أمان الكمبيوتر سلامة الكود أعلنت عن جولة أولية بقيمة 4.8 مليون دولار يوم الأربعاء لدعم جهودها لبناء أمان مفيد لتطبيقات الذكاء الاصطناعي الوكيل.
وحققت الشركة، التي يقع مقرها في سان فرانسيسكو، ضجة كبيرة العام الماضي عندما أظهرت مدى سهولة خداع نماذج الذكاء الاصطناعي الخاصة بالعديد من شركات التكنولوجيا لمشاركة المعلومات الخاصة، وقد حصلت على إشارة. خبير اقتصادي تعرض تطبيق تدوين الملاحظات Notion للاختراق في أقل من أربع ساعات في سبتمبر الماضي.
وقال: “كانت كل شركة تهدف إلى نشر عملاء، ولم يعرفوا كيفية القيام بذلك بأمان”. أبي رجرمالمؤسس المشارك والرئيس التنفيذي للتكنولوجيا لشركة CodeIntegrity.
التحدي الرئيسي أساسي. تعتمد البرامج التقليدية على ضوابط حتمية، مما يعني أنه إذا كتبت “X”، فإن الكمبيوتر يكتب دائمًا “Y”. لكن وكلاء الذكاء الاصطناعي ــ الأجهزة التي يمكنها أداء مهام الكمبيوتر بشكل مستقل ــ غير حتمية لأنها مدفوعة بنماذج اللغة الطبيعية. وهذا ما يجعلها عرضة لهجمات “الحقن السريع”، حيث يقوم أحد الممثلين السيئين بإدراج نص ضار في النموذج ويجعل الوكيل يقوم بأشياء مثل كشف البيانات الحساسة.
لإبقاء هؤلاء الوكلاء تحت السيطرة، تستخدم الشركات إما إشرافًا بشريًا أو تقوم بنشر ماجستير إدارة أعمال ثانٍ كقاض، ولكن لا يعد أي من النهجين قابلاً للتطوير تمامًا أو مضمونًا تمامًا.
وقال: “يتم نشر المزيد والمزيد من العملاء في إعدادات المؤسسة، ولم يكتشف أحد (الأمان) بعد”. ستيفن يونج, المؤسس المشارك والرئيس التنفيذي لشركة CodeIntegrity. “نريد حقًا أن نكون أول من يوفر ضوابط حتمية لهذه الشركات.”
الحل الذي تقدمه CodeIntegrity هو إدخال حاجز أمان دائم يسمى طبقة التحكم في وقت التشغيل. بصفته مترجمًا ومرشحًا، فإنه يجبر نموذج الذكاء الاصطناعي غير المتوقع على اللعب وفقًا لقواعد وحدود صارمة ويمكن التنبؤ بها بشأن ما يُسمح لوكلاء الذكاء الاصطناعي بلمس أنظمة وبيانات المؤسسة.
التقى راغورام وجونغ في أعلى كلية للهندسة في ولاية إنديانا، معهد روز هولمان للتكنولوجيا. بعد العمل بشكل منفصل مع مسؤولي التوظيف الآخرين لبضع سنوات، أعاد الاثنان الاتصال وأسسوا CodeIntegrity في منطقة سياتل في مايو 2024. وفي وقت لاحق من ذلك العام، شارك في برنامج إقامة Antler’s New York للشركات الناشئة في المراحل المبكرة.
لا يزال مهندسو الشركة المكونة من خمسة أشخاص يقيمون في ولاية واشنطن، على الرغم من أن كلا المؤسسين قد انتقلا مؤخرًا إلى سان فرانسيسكو.
قادت Sin Ventures التي تركز على الأمن السيبراني الجولة الجديدة، بمشاركة المستثمرين الحاليين Antler وBoost VC. جمعت الشركة الناشئة ما مجموعه 5.25 مليون دولار.
يوجد حاليًا حوالي ست شركات تقوم بتشغيل منتج CodeIntegrity. وقال المؤسسون إنهم لم ينتهوا من نموذج التسعير الخاص بهم، لكنهم يأملون في تقديم عقود سنوية مماثلة للعقود الشائعة في صناعة الأمن السيبراني.
شركات ناشئة أخرى، بما في ذلك سياتل، تتعامل أيضًا مع أمن الذكاء الاصطناعي بالتأكيد، والتي ظهرت سرًا في شهر مارس، وRaven and Manifold Security of California.
وقال راغورام، الذي عمل في شركة تروفيتا في سياتل لأكثر من ثلاث سنوات، إنه حريص على توظيف مهندسين من المنطقة، لكنه وصف سان فرانسيسكو بأنها “نقطة الصفر لكل شيء وكيل LLM”.
وقال: “سياتل مكان قوي لتوظيف المواهب الجيدة الموجودة من مايكروسوفت وأمازون، وهو ما تريده مع شركة ناشئة سريعة النمو”. “ولكن كمؤسسين، إذا كنت تريد معرفة ما يحدث في الأراضي العميلة، فإن منطقة الخليج هي المكان المناسب لك.”
