مع توسع أنظمة الذكاء الاصطناعي في المؤسسة لدعم مسارات العمل المعقدة، يواجه الممارسون التحدي المتمثل في توجيه المهام الفرعية إلى الأدوات والمهارات المناسبة. قد يكون لدى الوكلاء المئات من الأدوات والمهارات ولا يعرفون أي منها يجب عليهم استخدامه في كل مرحلة من مراحل سير العمل.
ولمواجهة هذا التحدي، طور الباحثون في شركة علي بابا حلاً مهارة ويفرإطار عمل ينشئ رسمًا بيانيًا لتنفيذ مهمة معينة ويختار المهارات المناسبة لكل عقدة. كما أنها تقدم التحليل المدرك للمهارات (SAD)، وهي تقنية جديدة تستخدم حلقة ردود الفعل للسماح للوكيل باسترداد مرشحات الأداة المناسبة والتحقق من صحتها بشكل متكرر. يميز هذا النهج التركيبي وآلية حلقة التغذية الراجعة SkillWeaver عن منصات توجيه الأدوات الأخرى التي تحدد الأدوات بطريقة لمرة واحدة.
يشير SkillWeaver إلى تطبيقات الذكاء الاصطناعي في العالم الحقيقي حيث يقوم الوكلاء بتنسيق الأنظمة البيئية متعددة الأدوات بشكل مستقل مثل بروتوكول السياق النموذجي (MCP) لتنفيذ عمليات تجارية متعددة الخطوات مثل استيعاب مجموعات البيانات، وتحويل المعلومات، وإنشاء التقارير المرئية.
من الناحية العملية، تُظهر تجارب الباحثين مع SkillWeaver أن تنفيذ نهج الجلب والتوجيه يحسن الدقة بشكل كبير مع تقليل استهلاك الرمز المميز بنسبة تزيد عن 99% مقارنةً بالوكلاء الذين يعرضون ساذجين لمكتبة الأدوات بأكملها.
بالنسبة للممارسين المشاركين في إنشاء عوامل الذكاء الاصطناعي، فإن الدرس الأكثر أهمية هو أن دقة توزيع المهام هي أكبر عقبة أمام استرجاع الأدوات بدقة.
تحدي توجيه المهارة
المهارات هي نمط رئيسي في بنيات وكيل LLM الحديثة. المهارة عبارة عن مواصفات أداة معيارية وقابلة لإعادة الاستخدام تستخدم وثائق اللغة الطبيعية المنظمة.
نظرًا لأن وكلاء المؤسسات يتكاملون مع أنظمة بيئية واسعة من الأدوات، فإن توجيه استعلامات المستخدم بدقة إلى المهارات المناسبة يصبح مهمة صعبة. يعد تعريض مكتبتك بأكملها لـ LLM للعثور على الأداة المناسبة أمرًا غير فعال إلى حد كبير، ويتجاوز قيود السياق بسرعة، ويستخدم مئات الآلاف من الرموز المميزة.
تحاول معظم أطر استخدام الأدوات الحالية حل هذه المشكلة من خلال عمليات سحب واجهة برمجة التطبيقات (API)، أو مطابقة الوثائق، أو الهياكل الهرمية التي تتعامل مع التوجيه فقط كمهارة واحدة أو مشكلة اختيار خطوة.
ومع ذلك، فإن نموذج المهارة الواحدة هذا غير كافٍ في بيئات المؤسسات لأن الاستعلامات الواقعية ذات طبيعة تركيبية. لا يمكن تنفيذ طلب عمل قياسي مثل “تنزيل مجموعة بيانات وتحويلها وإنشاء تقارير مرئية” بواسطة أداة واحدة. يتطلب الأمر تقسيم المطالبات وتنظيم عميل API ومعالج البيانات وأداة التصور في خطة تنفيذ متماسكة ومتعددة الخطوات.
كيف يعمل SkillWeaver وSAD
ولمعالجة ذلك، وضع الباحثون تصورًا لمشكلة إدارة المهام المعقدة والمتعددة المهارات باسم “إدارة المهارات التركيبية”. نظرًا لمطالبات المستخدم المعقدة ومكتبة واسعة من الأدوات، يجب على الوكيل أن يتعلم في الوقت نفسه كيفية تقسيم الطلب إلى سلسلة من المهام الفرعية الذرية، وكيفية تعيين كل مهمة فرعية لأفضل مهارة واحدة متاحة، وكيفية تغليف تلك المهارات في خطة قابلة للتنفيذ.
ينظم SkillWeaver هذه العملية في ثلاث خطوات متميزة: الكشف والتنزيل والإنشاء. في المرحلة الأولى، يعمل LLM كمحلل للمهام، حيث يقسم استعلام المستخدم المعقد إلى سلسلة من المهام الفرعية، كل منها يتطلب مهارة واحدة. بمجرد تحديد المهام الفرعية بوضوح، يستخدم النظام نموذج التضمين لمقارنة كل مهمة فرعية بمكتبة المهارات لوضع قائمة مختصرة لأفضل المرشحين لكل خطوة.
في المرحلة النهائية، يقوم المخطط بتقييم المرشحين المكتسبين بناءً على مدى جودة عملهم معًا. التحقق من التوافق بين المهارات للتأكد من أن مخرجات إحدى الأدوات تؤثر بشكل طبيعي على مدخلات الأداة التالية. ثم يقوم بعد ذلك بإنشاء خطة التنفيذ النهائية في شكل رسم بياني غير دوري موجه (DAG) يعين التبعيات بحيث يمكن تنفيذ المهام المستقلة بالتوازي.
على سبيل المثال، لنفترض أن أحد المستخدمين يطلب من وكيل الذكاء الاصطناعي “أخذ مجموعة بيانات وتحويلها وإنشاء تقارير مرئية”. في مرحلة التحلل، يقوم محلل LLM بتقسيمها إلى ثلاث مهام فرعية متميزة: استرداد مجموعة البيانات، وتحويل البيانات، وإنشاء التقارير.
في مرحلة الجلب، يبحث النظام في المكتبة ويجد المرشحين مثل “client api” أو “http-fetch” للمهمة الأولى، و”csv-parser” أو “etl-pipeline” للمهمة الثانية، وما إلى ذلك. أخيرًا، تقوم مرحلة الإنشاء بتقييم هذه الخيارات، وتحديد المجموعة المحددة من “عميل API”، و”محلل CSV”، و”مولد المخططات” الأكثر توافقًا، ودمجها في سير عمل نهائي جاهز للتنفيذ.
يتمثل التحدي الرئيسي في هذا المسار في أن ماجستير إدارة الأعمال غالبًا ما ينتج أوصافًا عامة للخطوات التي لا تتطابق مع المفردات التقنية المحددة للمهارات الفعلية المتوفرة في المكتبة. لحل هذه المشكلة، تقدم SkillWeaver تحليلًا تكراريًا مدركًا للمهارات (SAD)، وهي حلقة ردود أفعال جديدة. يعمل SAD من خلال جعل LLM يقوم بإعداد خطة أولية، وإجراء بحث أولي للعثور على المهارات المطابقة بشكل فضفاض، ثم تغذية المهارات المستردة مرة أخرى إلى LLM كتوجيه. يتيح ذلك لـ LLM إعادة كتابة تخطيطه بحيث تتطابق التفاصيل والمفردات تمامًا مع الأدوات الحقيقية الموجودة.
SkillWeaver في العمل
لتقييم أداء SkillWeaver في سيناريوهات مؤسسية واقعية، أنشأ الباحثون معيارًا مخصصًا يسمى CompSkillBench. وهو يتألف من 300 استعلام متعدد الخطوات متفاوتة الصعوبة. ولعكس بيئات العالم الحقيقي، تم استخدام مكتبة تضم 2,209 من مهارات العالم الحقيقي من النظام البيئي العام لـ MCP، والتي تغطي 24 فئة وظيفية مثل البنية التحتية السحابية، والتمويل، وقواعد البيانات.
بالنسبة للمحرك الأساسي، استخدم الباحثون في المقام الأول نموذجًا خفيف الوزن مكون من 7 مليارات معلمة (Qwen2.5-7B-Instruct) لتحليل المهام جنبًا إلى جنب مع وحدة البحث الدلالي القياسية (MiniLM مع مؤشر FAISS) للعثور على الأدوات. تم تقييم SkillWeaver بناءً على ثلاثة تكوينات رئيسية: نهج القوة الغاشمة “LLM-Direct” الذي وضع جميع أسماء الأدوات في سطر الأوامر لنموذج كبير، وتحليل بسيط قائم على LLM بدون SAD، وحلقة وكيل على طراز ReAct.
تظهر التجارب أن عنق الزجاجة الرئيسي هو توزيع المهام. لا يعمل سلوك LLM القياسي مع مكتبات الأدوات الكبيرة، ولكن حلقة ردود الفعل SAD تحرك الإبرة بشكل كبير. في التكوين الأساسي، حقق النموذج 7B دقة التحلل (أي توقع العدد الصحيح للخطوات) بنسبة 51.0% فقط من الوقت. ومن خلال تنشيط حلقة ردود الفعل SAD، زادت الدقة إلى 67.7% (في نموذج Qwen-Max الأكبر، وصلت الدقة إلى 92%). بالنسبة للمهام “الصعبة” التي تتطلب أربع إلى خمس مهارات مختلفة، أدى اضطراب SAD إلى تحسين الدقة بنسبة 50%.
أحد الاكتشافات الرائعة هو أن النماذج الأكبر حجمًا قد يكون أداؤها أسوأ عندما لا تكون مدفوعة. عند اختباره في تكوين المخزون، أظهر النموذج الأكبر الذي يبلغ 14 مليارًا انخفاضًا في الدقة أقل من النموذج 7B لأنه يميل إلى الإفراط في توزيع المهام إلى خطوات مجهرية وغير ضرورية. بعد تقديم SAD، أعادت تلميحات الأداة المستردة النموذج إلى الواقع وزادت من دقته. يشير هذا إلى أن تكييف الوكيل مع مفردات أدوات معينة غالبًا ما يكون له تأثير أكبر من دفع تكاليف ماجستير إدارة أعمال أكبر وأكثر تكلفة.
الوجبات الجاهزة الهامة الأخرى هي المدخرات الاسمية. أظهر خط الأساس LLM-Direct، الذي استخدم نموذج Qwen-Max الكبير جدًا، أن تحديد جميع الأدوات في موجه النموذج الكبير قد يفشل. على الرغم من قدرات تقسيم المهام شبه المثالية، استعاد النموذج الضخم فئة الأداة الصحيحة بنسبة 21.1% فقط من الوقت عندما كان مليئًا بخيارات الأداة. لقد تفوق أسلوب الاسترداد والتوجيه المستهدف الخاص بـ SkillWeaver بشكل كبير على هذا من حيث الدقة، مع تقليل استهلاك نافذة السياق من ما يقدر بـ 884000 رمزًا مميزًا إلى ما يقرب من 1160 رمزًا مميزًا لكل استعلام، وهو انخفاض بنسبة 99.9٪. بالنسبة للممارسين، يُترجم هذا مباشرةً إلى تكاليف واجهة برمجة التطبيقات (API) أقل بشكل كبير وأوقات استجابة أسرع.
وأخيرًا، فشل خط الأساس التقليدي ReAct تمامًا، حيث حقق دقة تحلل تبلغ 0%. تقوم حلقتها بشكل طبيعي بتقسيم الخطط متعددة الخطوات إلى أنشطة معزولة، بدلاً من تحديد تسلسل متماسك بشكل صريح عبر أدوات متعددة.
ملاحظات للمطورين
وعلى الرغم من أن الباحثين لم يصدروا بعد الكود المصدري لبرنامج SkillWeaver، إلا أن عملهم اعتمد على أدوات جاهزة يمكن إعادة إنتاجها بسهولة.
إن التحليل المدرك للمهارة (SAD)، وهو الابتكار الرئيسي في قلب الإطار، عبارة عن تصميم سريع ذكي وحلقة بحث. لقد قدم المؤلفون قوالب تلميحات في عملهم، ويمكن للمطورين تنفيذها بسهولة بأنفسهم باستخدام مكتبات التنسيق القياسية مثل LangChain، أو LlamaIndex، أو حتى نصوص Python الأولية.
فيما يتعلق بمكون التنزيل، قام المؤلفون ببناء البنية الأساسية باستخدام الكل-MiniLM-L6-v2نموذج التضمين مفتوح المصدر. ووجدوا أن الاستبدال ببرنامج تشفير أكثر قوة قليلًا وجاهز للاستخدام (BGE-base-en-v1.5) تحسين الدقة على الفور دون أي ضبط دقيق. في حين أن برنامج التشفير الثنائي الجاهز يقوم بعمل رائع في وضع الأداة المناسبة ضمن أفضل عشرة مرشحين بنسبة 70% تقريبًا من الوقت، فإنه يكافح من أجل وضع الأداة المثالية باستمرار في الموضع الأول بالضبط، ولا يحقق ذلك إلا في حوالي 37% من الوقت. لسد هذه الفجوة، من المحتمل أن تحتاج الفرق إلى تنفيذ برنامج إضافي للتشفير أو أداة إعادة تصنيف قائمة على LLM لإعادة ترتيب أفضل 10 مرشحين.
أحد الاستعدادات المطلوبة هو توجيه مكتبة الأدوات وإنشاء فهرس FAISS مسبقًا. ومن الناحية العملية، هذه عقبة ضئيلة. استغرق الأمر 15 ثانية فقط لتضمين وفهرسة جميع المهارات البالغ عددها 2,209 في الاختبار. بمجرد إنشائها، يضيف استرداد الأدوات من الفهرس أقل من 15 مللي ثانية من زمن الوصول لكل استعلام. في بيئات المؤسسات، تعد مزامنة فهرس الأدوات مهمة خلفية تافهة.
القيد الحالي لـ SkillWeaver هو افتقارها إلى إمكانية استرداد الأخطاء. على الرغم من أن SkillWeaver نجح في تعيين DAG متوافق للتنفيذ، إلا أن الدراسة التجريبية التي أجراها المؤلفون كشفت عن تحديات تتعلق بسلاسل الأدوات متعددة الخطوات. على سبيل المثال، إذا فشل استدعاء واجهة برمجة التطبيقات (API) في الخطوة الثانية، فسوف تنقطع السلسلة بأكملها. تقتصر المساهمة الرئيسية للورقة على مرحلة التوجيه والتخطيط. لضمان النشر الحقيقي للإنتاج، يجب على الممارسين إنشاء آليات خاصة بهم لاستعادة الأخطاء وتجاوز الفشل وإعادة محاولة التطوير للتعامل مع مهلات واجهة برمجة التطبيقات (API) في العالم الحقيقي أو المخرجات المشوهة.
