يحتاج عملاء الذكاء الاصطناعي إلى حواجز حماية لإدارة المخاطر

قال سبنسر دورن، دكتوراه في الطب، ونائب رئيس قسم الطب وكبير أطباء المعلوماتية في جامعة نورث كارولينا في تشابل هيل، إن مؤسسات الرعاية الصحية التي تستخدم عملاء الذكاء الاصطناعي يجب أن تنشئ حواجز حماية قوية لتجنب الإضرار بالسمعة والأضرار السريرية، حتى أثناء عملها مع كبار مقدمي التكنولوجيا.

وقد أوضحت الحادثة الأخيرة التي وقعت في جاب حجم المخاطر. قام بائع التجزئة بنشر روبوت الدردشة، الذي طورته شركة رائدة في مجال الذكاء الاصطناعي، للتعامل مع حركة مرور خدمة العملاء خلال موسم العطلات. على الرغم من العمل مع أحد رواد الصناعة، فقد تلاعب شخص ما بشكل ضار ببرنامج الدردشة الآلي للإدلاء ببيانات مسيئة أدت إلى ظهور عناوين سلبية.

يقول دورن: “من يريد مدير تكنولوجيا المعلومات في مجال الرعاية الصحية أن ينتهي به الأمر على موقع الأخبار المحلي الخاص به لأسباب خاطئة؟ لا أحد منهم”. “إن المخاطر أعلى قليلاً في مجال الرعاية الصحية. وفي بعض الأحيان تكون أعلى بشكل كبير.”

البودكاست: العب في نافذة جديدة | تحميل ()

الاشتراك: أبل بودكاست | سبوتيفي

يوضح مثال الفجوة أنه حتى وكلاء الذكاء الاصطناعي المصممين بشكل جيد يمكن أن يفشلوا بطرق غير متوقعة، وأن الرعاية الصحية تواجه عواقب أكثر خطورة من تجارة التجزئة. على الرغم من أن حادثة Gap تسببت في إحراج، إلا أن أخطاء الذكاء الاصطناعي في الرعاية الصحية يمكن أن تؤخر الرعاية، أو توجه المرضى إلى خدمات غير مناسبة، أو تضر بعملية اتخاذ القرار السريري.

الحدود السريرية والإدارية

لا تستطيع مؤسسات الرعاية الصحية ببساطة نشر عملاء الذكاء الاصطناعي في المناطق الإدارية منخفضة المخاطر وتجنب الآثار السريرية. ومن الناحية العملية، غالبًا ما تختفي الحدود بين العمل الإداري والعمل السريري.

تتطلب جدولة المواعيد حكمًا سريريًا بشأن مدى إلحاح الأمر وإعدادات الرعاية الصحية المناسبة وخبرة مقدم الرعاية الصحية. تتضمن عمليات الترخيص المسبق التاريخ السريري التفصيلي وتطورات العلاج. وحتى الفواتير ترتبط بالتشخيصات والإجراءات وتقديم الرعاية بطرق تؤثر على نتائج المرضى وتجاربهم.

قال دورن: “لا يوجد خط واضح بين ما يعتبر سريريًا وإداريًا”. “حتى الأمور الإدارية تنطوي أحيانًا على مخاطر إذا قمت بها بطريقة خاطئة.”

إن المريض الذي تم تحديد موعده مع الأخصائي الخطأ سيخسر إجازته ويتحمل تكاليف غير ضرورية ويؤخر الرعاية اللازمة. يضيع الأخصائي الوقت في رؤية مريض غير لائق. يصبح النظام بأكمله أقل كفاءة. ما يبدو وكأنه خطأ إداري بسيط يؤدي إلى مشاكل سريرية وتشغيلية متتالية.

في النهاية، تتحمل مؤسسات الرعاية الصحية المسؤولية عند فشل أنظمة الذكاء الاصطناعي، بغض النظر عن مشاركة البائع. تحدد هذه المسؤولية كيفية تعامل أنظمة الرعاية الصحية مع استراتيجيات الحوكمة والتنفيذ لوكلاء الذكاء الاصطناعي.

بناء الحكم الفعال

تبدأ الإدارة الفعالة لوكلاء الذكاء الاصطناعي قبل النشر بوقت طويل. يجب على المؤسسات تقييم كيفية تطوير الأدوات، وتحديد التحيزات المحتملة في بيانات التدريب، وتقييم مدى تعميم الحلول على مجموعات المرضى المحددة. ويستمر التقييم بعد التنفيذ مع المراقبة المستمرة لتدهور الأداء.

ويزداد تحدي الحوكمة مع الذكاء الاصطناعي التوليدي، الذي يؤدي إلى نتائج غير مؤكدة لا يمكن تخفيفها بشكل كامل. ويمكن أن تؤدي نفس المطالبة إلى استجابات مختلفة في كل مرة، مما يتطلب من المؤسسات إنشاء حواجز الحماية المناسبة دون خنق الابتكار.

“الحقيقة هي أنك عادة لا تستطيع الحماية من جميع المخاطر، فكيف يمكنك التخفيف منها بما فيه الكفاية؟” قال دورن.

يجب على المنظمات أيضًا وضع معايير أداء واقعية. يرتكب أخصائيو الرعاية الصحية البشرية أخطاء في التخطيط والتواصل والحكم السريري. يتطلب تقييم عملاء الذكاء الاصطناعي مقارنة أدائهم بالنتائج البشرية الفعلية، وليس بالكمال النظري.

لقد طورت معظم مؤسسات الرعاية الصحية خبرات الحوكمة من خلال تطبيقات السجلات الصحية الإلكترونية. لقد علمت هذه التجارب القادة تجنب المبالغة في الوعود، وتوقع العواقب غير المقصودة، والبقاء يقظين للمشكلات. تنطبق نفس الضوابط على نشر وكلاء الذكاء الاصطناعي.

تقييم الأثر على نطاق المنظومة

غالبًا ما يؤدي وكلاء الذكاء الاصطناعي الذين ينجحون في أتمتة عملية واحدة إلى خلق اختناقات في أماكن أخرى في نظام تقديم الرعاية الصحية. يمكن لنظام الجدولة الآلي الذي يزيد بشكل كبير من عدد المواعيد أن يزيد من العبء على أقسام التصوير أو الممارسات المتخصصة أو سعة الرعاية اللاحقة.

واستشهد دورن بنظرية القيود التي طورها إلياهو جولدرات، والتي تشرح كيف أن إزالة أحد عنق الزجاجة في النظام يؤدي إلى كشف قيود في مكان آخر. تتطلب تطبيقات الذكاء الاصطناعي في مجال الرعاية الصحية تحليل رحلة الرعاية بأكملها، وليس فقط هدف الأتمتة المباشر.

يقول دورن: “إذا قمت بحل عنق الزجاجة في مكان واحد، يمكنك اكتشاف عنق الزجاجة في مكان آخر”. “نحن بحاجة إلى التفكير في الاختناقات في اتجاه المصب وفي المنبع لتحقيق التأثير الكامل حقًا.”

يجب على مديري التكنولوجيا وقادة العمليات مناقشة التأثيرات المحتملة لتطبيقات الذكاء الاصطناعي الناجحة قبل التنفيذ. إذا كانت الأتمتة تعمل بشكل جيد للغاية، فهل يمكن للعمليات في أسفل السلسلة التعامل مع الحجم المتزايد؟ يضمن هذا التخطيط تجنب المؤسسات للمشاكل الجديدة أثناء حل المشكلات الحالية.

تحمل المخاطر وسرعة الابتكار

يجب على مؤسسات الرعاية الصحية أن توازن بين الحاجة إلى الابتكار بحذر. تواجه الصناعة قيودًا حقيقية على الموارد يمكن لوكلاء الذكاء الاصطناعي معالجتها. لا تستطيع مراكز الاتصال التعامل مع جميع الطلبات الواردة. يعاني الموظفون الإداريون من أحجام التصاريح المسبقة. تحتاج الفرق السريرية إلى الدعم في إدارة مجموعات المرضى المعقدة.

وتقدم التكنولوجيا حلولاً لمشاكل القدرات هذه، ولكن نشرها يتطلب تقييماً دقيقاً للمخاطر. كلما زاد تأثير عامل الذكاء الاصطناعي بشكل مباشر على القرارات السريرية أو سلامة المرضى، انخفض مستوى تحمل المخاطر المقبول. قد تكون بعض التطبيقات مؤهلة في نهاية المطاف كأجهزة طبية، الأمر الذي يستلزم متطلبات تنظيمية إضافية.

المنظمات التي تصبح حذرة للغاية تخاطر بعدم خدمة مرضاها بشكل فعال. تفشل الأنظمة البشرية اليوم بشكل متكرر، مما يجعل المرضى غير قادرين على جدولة المواعيد، أو التنقل في عمليات الرعاية المعقدة، أو تلقي المتابعة في الوقت المناسب. يمكن لأدوات الذكاء الاصطناعي التي تعمل على تحسين الأداء الحالي، حتى بشكل غير كامل، أن تفيد المرضى والأطباء.

نهج التنفيذ الاستراتيجي

يجب على قادة التكنولوجيا تحديد البائعين الخارجيين المناسبين وأصحاب المصلحة الداخليين لتوجيه عملية تنفيذ وكلاء الذكاء الاصطناعي. يمكن لعدد قليل من أنظمة الرعاية الصحية تطوير أدوات الذكاء الاصطناعي المتقدمة بشكل مستقل، مما يجعل اختيار البائعين أمرًا بالغ الأهمية. داخليًا، يقدم الأطباء والممرضون والموظفون الإداريون وقادة العمليات وجهات نظر أساسية تشكل عمليات التنفيذ الناجحة.

تتطلب مواكبة قدرات الذكاء الاصطناعي سريعة التطور التعلم المستمر من خلال الشبكات المهنية والمنظمات الصناعية والقراءة المكثفة. يجب على القادة الحفاظ على شكوك صحية حول مطالبات التسويق مع البقاء منفتحين على فرص الابتكار الحقيقية.

ويجب أن يتضمن إطار الحوكمة آليات للاستجابة السريعة عندما يتصرف عملاء الذكاء الاصطناعي بشكل غير متوقع. تحتاج المؤسسات إلى مساءلة واضحة، ومسارات تصعيد محددة، والقدرة على إيقاف عمليات النشر مؤقتًا أو تعديلها عند ظهور مشكلات. تتيح هذه البنية التحتية للمؤسسات التصرف بسرعة أثناء إدارة المخاطر بشكل مناسب.

خذها بعيدا

• قبل التنفيذ، قم بإنشاء عمليات حوكمة تقوم بتقييم منهجية التطوير والتحيزات المحتملة والأداء مقابل المقاييس البشرية الواقعية
• ندرك أن المهام الإدارية مثل الجدولة وإعداد الفواتير لها آثار سريرية تتطلب تقييمًا دقيقًا للمخاطر
• قم بتحليل مسارات الرعاية بأكملها لتحديد الاختناقات المحتملة في أسفل السلسلة والتي يمكن أن تكشفها الأتمتة الناجحة
• خطط لآليات الاستجابة لسلوك وكيل الذكاء الاصطناعي غير المتوقع، بما في ذلك المساءلة الواضحة والقدرة على إيقاف عمليات النشر مؤقتًا
• قم بموازنة سرعة الابتكار بحذر من خلال مقارنة أداء الذكاء الاصطناعي بالنتائج البشرية الفعلية
• بناء شراكات مع مقدمي الخدمات الخارجيين الذين يفهمون المتطلبات الخاصة بالرعاية الصحية ومع أصحاب المصلحة الداخليين في الأدوار السريرية والتشغيلية
• تطبيق الدروس المستفادة من تطبيقات السجلات الصحية الإلكترونية حول تجنب الإفراط في الوعود مع التعرف على الفرص الحقيقية للتحسين

يجب على مؤسسات الرعاية الصحية الحفاظ على منظورها أثناء التغير التكنولوجي السريع مع اتخاذ إجراءات ملموسة لحماية المرضى وسمعة المؤسسات. “كيف يمكننا نشر هذه الأدوات بشكل صحيح لتحسين الخبرات والكفاءات، مع الاعتراف بوجود المخاطر؟” قال دورن.