كمهندس ذو خبرة ورائد منتج داخل Microsoft Azure، روهيت تاتشار رأيت أن العديد من الشركات كانت تبني أنظمة ذكاء اصطناعي ولم تتمكن من مراقبتها أو التحكم فيها بشكل كامل في الإنتاج.
وفي دوره الجديد في شركة ناشئة في سياتل، يفعل شيئًا حيال ذلك.
Tatachar هو الآن المؤسس المشارك ومدير التكنولوجيا التنفيذي الشاطئ المنحدرمما يؤدي إلى إنشاء سجلات مقاومة للتلاعب لسلوك الذكاء الاصطناعي – وهو ما يسميه الرئيس التنفيذي جو بريدوود “مسجل الطيران للذكاء الاصطناعي المؤسسي”. يأتي وصوله في الوقت الذي تطلق فيه Glacis أدوات جديدة مفتوحة المصدر لمراقبة عملاء الذكاء الاصطناعي والتحكم بهم.
بدأت شركة Glacis، التي غطتها GeekWire لأول مرة في نوفمبر 2025، على يد الدكتورة جنيفر شانون، وهي طبيبة نفسية وأستاذة مساعدة في برادوود وجامعة واشنطن.
لقد خرجت الشركة من درس قاسٍ: كان لا بد من إغلاق شركة Braidwood الناشئة السابقة، Yara، وهي أداة للصحة العقلية تعمل بالذكاء الاصطناعي، عندما أدركت أن النماذج انحرفت عن سلوكها المقصود أثناء التفاعلات الممتدة مع المستخدمين الضعفاء.
بعد الكتابة عن الإغلاق على موقع LinkedIn، توصل المنظمون والأطباء والمهندسون ومديرو التأمين إلى نفس الملاحظة: عندما تتخذ أنظمة الذكاء الاصطناعي القرارات، لا يستطيع أحد التحقق بشكل مستقل مما إذا كانت ضوابط السلامة تعمل بالفعل.
لقد كانت الشرارة لجلاسيس.
كيف يعمل: يقع المنتج الأساسي للشركة الناشئة، المسمى Arbiter، في مسار كل استدعاء استدلال للذكاء الاصطناعي ويقوم بإنشاء سجل موقع للمدخلات، وتشغيل فحوصات الأمان، والمخرجات النهائية.
لا يمكن تغيير السجل بعد وقوعه. على نطاق واسع، يقوم نظام يسمى Glacis Witness Network بتوثيق تلك السجلات في مسار قابل للتدقيق.
يمكن للعملاء اختيار تشغيل النظام في “وضع الظل”، دون أي تدخل، أو في وضع التنفيذ، حيث يعطل سلوك الذكاء الاصطناعي بشكل فعال.
وقال شانون، كبير المسؤولين الطبيين في جلاسيس، إن الخطر مرتفع بشكل خاص في مجال الرعاية الصحية. بصفته طبيبًا نفسيًا ممارسًا للأطفال، فقد شهد كتّاب البيئة المحيطة الذين يستخدمون الذكاء الاصطناعي وهم يهلوسون المواد في ملاحظاتهم السريرية، بما في ذلك اختلاق وصفات طبية لم يصنعوها أبدًا.
وقالت: “أود أن أعود وأرى كل خطوة في كيفية اتخاذ نموذج الذكاء الاصطناعي لهذا القرار”. “إذا لم تكن هناك بنية تحتية لذلك، فمن المسؤول؟ لن يقاضي أحد الذكاء الاصطناعي. إنه أنا”.
التحدي المتأصل: عمل تاتشار في Microsoft لما يقرب من 19 عامًا خلال فترتين، كان آخرها مديرًا رئيسيًا للمنتج في فريق Microsoft Foundry، وهو منصتها لبناء ونشر تطبيقات ووكلاء الذكاء الاصطناعي للمؤسسات.
وقال إنه رأى شركات تبني أدوات وتقوم بإثبات المفهوم، ولكنها تكافح من أجل نقل الذكاء الاصطناعي إلى الإنتاج لأنها لا تستطيع شرح أو التحقق من ما تفعله أنظمتها.
وقال إن المشكلة لها ثلاثة أبعاد: الحالة الأساسية للبنية التحتية للعميل، وسلوك النموذج، وما يعرف باسم “انحراف النية”، حيث يتصرف النظام بشكل مختلف عما يقصده العميل، حتى لو كان النموذج الأساسي يعمل بشكل طبيعي.
يشرف Glacis على النشر في الثلاثة. وقال تاتاتشار: “فقط عندما تجمع هذه العناصر الثلاثة معًا، يكون لدى العميل رؤية حقيقية لما حدث بالفعل”.
الإصدارات الجديدة: يتم إطلاق جلاسيس فريق انقاذ السياراتأداة مفتوحة المصدر تهاجم أنظمة الذكاء الاصطناعي تلقائيًا عبر مجموعة متنوعة من فئات الثغرات الأمنية، ثم تقوم بإنشاء الإصلاحات والتحقق من فعاليتها.
وتقوم الشركة أيضا بالنشر علني 1.0هناك معيار لما يطلق عليه “أدلة التحقق القابلة للملاحظة لثقة وقت التشغيل”، والذي يهدف إلى تزويد المؤسسات بإطار عمل لبناء أمان الذكاء الاصطناعي الذي يمكن إثباته في عملياتها.
يأتي إطلاق وكيل الذكاء الاصطناعي في لحظة أمنية متقلبة. مخلب مفتوحلقد اجتذب إطار عمل وكيل الذكاء الاصطناعي مفتوح المصدر مئات الآلاف من المطورين منذ إطلاقه في أواخر عام 2025، لكن اعتماده السريع تجاوز بنيته الأمنية.
كبرى شركات الأمن السيبراني المعنية كراود سترايك و سيسكو وقد نشر تحليلا يحذر من الثغرات الأمنية في الإطار. وقال بريدوود إن هذا يعكس الحاجة إلى بنية تحتية يمكنها فرض الضوابط الأمنية في وقت التشغيل، بدلاً من اختبارها قبل النشر.
السوق المستهدف: تركز الشركة على العملاء في مجالات الرعاية الصحية والتكنولوجيا المالية والتأمين.
وقد وقعت صفقتين تجريبيتين في مؤتمر جيه بي مورجان للرعاية الصحية في وقت سابق من هذا العام، في حين أن هناك ثلاث صفقات أخرى في طور الإعداد. وقال برايدوود إن الشركة ترى أن الرعاية الصحية هي نقطة دخولها، لكنها ترى أن المشكلة عالمية في نهاية المطاف بالنسبة لأي نشر للذكاء الاصطناعي.
تطور جديد هذا الأسبوع: جلاسيس أيضًا قائمة انتظار مفتوحة مقابل خطة Starter بقيمة 49 دولارًا أمريكيًا شهريًا والتي تغطي الفريق الأحمر والتنفيذ والتحقق من التشفير لما يصل إلى 10000 حدث للذكاء الاصطناعي شهريًا. تغطي الطبقة الاحترافية البالغة 499 دولارًا ما يصل إلى 100000 حدث.
وقال بريدوود إن هذه الخطوة تمثل تحولًا متعمدًا نحو جعل التكنولوجيا متاحة خارج نطاق الشركات الخاضعة للتنظيم وشركاء التصميم الذين عملت معهم الشركة حتى الآن.
منظور واسع: تعد إمكانية مراقبة الذكاء الاصطناعي وأمنه سوقًا سريع النمو، مع وجود شركات ناشئة جيدة التمويل وشركات كبيرة تقدم مراقبة وقت التشغيل وحواجز حماية للذكاء الاصطناعي للمؤسسات.
قال بريدوود إن شركة Glacis تميز نفسها من خلال تركيزها على إمكانية إثبات التشفير – ليس فقط اكتشاف المشكلات، بل إنتاج أدلة مقاومة للتلاعب تقود الضوابط الأمنية، والتي قال إنها يمكن أن تساعد الشركات على التفاوض بشأن التغطية التأمينية وإرضاء المنظمين.
التمويل: جمعت شركة Glacis مبلغ 575000 دولار أمريكي من مجموعة من المستثمرين تشمل صندوق SAFE للذكاء الاصطناعي التابع لـ Geoff Ralston، وMighty Capital، وSourdough Ventures، وAI2 Incubator.
وهو أيضًا جزء من برنامج Launchpad الخاص بـ Cloudflare ومجموعة مسرعات Plug & Play الثالثة في سياتل. وقال بريدوود إن الشركة تتوقع إغلاق جولة البذور في وقت لاحق من هذا العام.
فريق: لدى Glacis خمسة موظفين، من بينهم ثلاثة مؤسسين ومهندسين.
وقال تاتاتشار إن “الموظف” السادس للشركة سيكون وكيلًا للذكاء الاصطناعي مكلفًا بالتعامل مع أعمال الامتثال لـ SOC 2 من خلال فانتا. يكتب الفريق كود التشفير الأساسي الخاص به في Rust ويستخدم Cloud وCodex وChatGPT في سير العمل الخاص به.
وقال بريدوود مازحا: “لدينا شركة مكونة من 100 شخص”. “خمسة منهم جسديون، والباقي في السحابة أو على مكتب.”
