النقاط الرئيسية:
عندما قدمت Gramms AI إلى متجر التطبيقات، واجهت سؤالاً سيواجهه في نهاية المطاف كل مطور موجه للأطفال: ماذا يعني “العمر المناسب” فعليًا في الممارسة العملية؟ فكيف يمكنك بناء أنظمة تنفذ ذلك بشكل موثوق؟
Gramms هو تطبيق لقصص ما قبل النوم. وتنتج قصصًا شخصية يتم سردها بصوت الجد المستنسخ. يبدو بسيطا بما فيه الكفاية. ومع ذلك، فإن البنية الأمنية التي تقف وراءها لم تكن مختلفة على الإطلاق.
هذا هو حساب الممارس للقرارات التي تقف وراء Gramms وقد تمت كتابته ليكون مفيدًا لأي شخص يقوم بتطوير منتجات مدعومة بالذكاء الاصطناعي للأطفال الذين تتراوح أعمارهم بين 3 و10 سنوات. لا شيء من هذا يعتبر نصيحة قانونية، لكن كل ذلك حصل بشق الأنفس.
1. الفئات العمرية: ليس كل طفل هو نفس الجمهور
أهم قرار تصميمي ستتخذه هو التخلي عن فكرة وجود مستوى واحد من المحتوى “آمن للأطفال”. القصة التي تناسب طفلًا يبلغ من العمر 9 سنوات (صراع بسيط، توتر سردي، تفكير أخلاقي متعدد الخطوات) قد تخيف في الواقع طفلًا يبلغ من العمر 3 سنوات. إذا كان المحتوى يبدو وكأنه مصمم لطفل يبلغ من العمر 4 سنوات، فسيقوم طفل يبلغ من العمر 9 سنوات بفحصه خلال 30 ثانية تقريبًا.
يستخدم جرامز ثلاث فئات عمرية للنمو، ولكل منها طبقة خاصة بها من الهندسة السريعة:
- الأعمار من 3 إلى 5 سنوات: مفردات بسيطة، قصص من 200 إلى 400 كلمة، روايات ذات بطل واحد، بنية متكررة، لا يوجد صراع يتطلب الحل. موضوعات مثل الصداقة والحيوانات والمساعدين السحريين. يستهدف التعقيد اللغوي مجموعة Lexile لرياض الأطفال.
- الأعمار من 6 إلى 8 سنوات: مفردات أكثر ثراءً، وتحديًا وحلًا بسيطين، وديناميكيات شخصيات إلى ثلاث شخصيات، وحل التوتر الخفيف بسعادة. تتكون القصص من 400-600 كلمة. يقدم الأخلاق البسيطة للسبب والنتيجة.
- الأعمار من 9 إلى 10 سنوات: بنية الفصل في الكتاب، والحبكة متعددة الخطوات، والفكاهة الاستدلالية، وحركة البطل، والخاتمة. يمكن أن تصل القصص إلى 600-800 كلمة. يبدأ في تقديم المواقف الغامضة بحل دقيق.
يتم ترميز هذه الأشرطة في موجه النظام، والذي يتم إرساله مباشرة إلى نموذج اللغة. عمر الطفل ليس مجرد بيانات وصفية. إنه قيد صعب يشكل كل عنصر من عناصر هذا النوع: اختيار الكلمات، وبنية الجملة، والنطاق الموضوعي، والرهانات السردية.
2. بنية موافقة الوالدين للامتثال لـ COPPA
يتطلب COPPA (قانون حماية خصوصية الأطفال عبر الإنترنت) موافقة الوالدين التي يمكن التحقق منها قبل جمع المعلومات الشخصية من الأطفال دون سن 13 عامًا. في تطبيق الذكاء الاصطناعي، يتم تفسير “المعلومات الشخصية” على نطاق واسع. يتم تضمين اسم الطفل وعمره واهتماماته.
وتعزز Apple ذلك من خلال إرشادات مراجعة متجر التطبيقات الخاصة بها (القسم 5.1.4)، والتي تتطلب الكشف الواضح عن خدمات الذكاء الاصطناعي التابعة لجهات خارجية والتي تعالج بيانات المستخدم. ويضع غرامز هذا في خانة الإجازة الوالدية. قبل حفظ أي ملف تعريف، يرى ولي الأمر شاشة تُسمي OpenAI وCartesia كموردي الذكاء الاصطناعي لدينا، ويشرح البيانات التي يتلقاها كل منهما، ويتطلب موافقة نشطة. هذه ليست خانة اختيار شروط الخدمة. هذه بوابة عمل مانعة.
ملاحظتان عمليتان للمطورين الذين يقومون بتطوير شيء مماثل:
أولاً، الموافقة على التصميم كتدفق أولي للوالدين. يجب أن يتم التنميط الخاص بالطفل خلف حساب يتحكم فيه شخص بالغ. إنها ليست عملية تأهيل سلسة يمكن لطفل يبلغ من العمر سبع سنوات إكمالها بمفرده.
ثانيًا، الطوابع الزمنية لأذونات المتجر وقوائم البائعين من جانب الخادم. إذا تغير مورد الذكاء الاصطناعي الخاص بك (لقد قمنا بنقل موفر تحويل النص إلى كلام الخاص بنا في منتصف التطوير)، فأنت بحاجة إلى مسار تدقيق وآلية لإعادة عرض أوصاف الأذونات للمستخدمين الحاليين.
3. الإشراف التلقائي على المحتوى: الدفاع في العمق
الهندسة السريعة تقلل المخاطر ولكنها لا تقضي عليها. نماذج اللغة هي أنظمة احتمالية. لا يزال من الممكن أن تؤدي المطالبة المصممة بعناية إلى إنتاج مخرجات يتم تجاهلها. “آمن في الغالب” ليس معيار جودة مقبول لمنتج الأطفال.
يطبق Gramms نظامًا ثنائي التمرير. التمريرة الأولى سريعة: بالنسبة لكل فئة عمرية، يحظر النظام صراحةً العنف الفوري، والأعداء الذين يثيرون الخوف، والمحتوى الرومانسي، والمراجع الجغرافية أو السياسية في العالم الحقيقي. أما التحول الثاني فهو الاعتدال ما بعد الأجيال. قبل تسليم القصة إلى أحد الوالدين أو الطفل، يتم تقييم النص الكامل وفقًا لسياسة محتوى الطفل من خلال واجهة برمجة التطبيقات للإشراف على المحتوى.
عندما لا يمكن الإشراف على القصة، يرى المستخدم رسالة بسيطة “إنشاء قصة جديدة”. لا يوجد شرط خطأ، لا يوجد تفسير. التجديد صامت. يجب ألا يواجه أحد الوالدين مطلقًا لحظة يعرضهم فيها التطبيق لمحتوى يتطلب التصفية.
مثال بارز: من المهم أن تتم إدارة النص السردي بشكل منفصل عن نص القصة. يمكن للنص السردي (الذي يضيف إشارات درامية ومحفزات عاطفية لتركيب الصوت) أن يقدم عناصر نغمية غير موجودة في القصة الأولية. إذا كان المسار الخاص بك يفصل بين العرض وتنسيق التعبير، مثل تنسيقنا، فقم بتطبيق التحقق على كلا الناتجين بشكل مستقل.
4. مراجعة متجر تطبيقات Apple: دروس لتطبيقات بيانات الطفل المستندة إلى الذكاء الاصطناعي
تعد عملية مراجعة Apple للتطبيقات في فئة الأطفال أكثر صرامة بشكل ملحوظ من التطبيقات العامة، وتتطلب ميزات الذكاء الاصطناعي مراجعة أكبر.
قم بتسمية كل بائع للذكاء الاصطناعي بوضوح. سوف تسأل أبل. يجب أن تشير سياسة الخصوصية الخاصة بك، والإفصاح عن متجر التطبيقات، والإفصاحات داخل التطبيق إلى شركات محددة تقوم واجهات برمجة التطبيقات الخاصة بها بمعالجة بيانات المستخدم. إنها ليست مجرد فئة التكنولوجيا. “نحن نستخدم الذكاء الاصطناعي” ليست كافية. “نحن نستخدم GPT-4o-mini من OpenAI لتوليد القصة وCartesia Sonic للتوليف الصوتي” هو ما يحتاج المراجعون إلى رؤيته.
إبقاء بيانات الطفل خارج التعليم. تحقق (كتابيًا للمراجعين، إذا رغبت في ذلك) من أن عقود مزود الذكاء الاصطناعي لديك تتضمن اتفاقيات معالجة البيانات التي تحظر استخدام البيانات المتعلقة بالأطفال للتدريب النموذجي. يقدم كلا المزودين الرئيسيين هذا. قد تحتاج إلى تحديد طبقة API المناسبة.
افصل ملفات تعريف الأطفال عن حسابات البالغين في طبقة البيانات. يمتلك حساب الوالدين الملفات الشخصية للطفل. لا ينبغي أبدًا أن تكون بيانات الطفل قابلة للمعالجة بشكل مستقل. يجب أن يكون الوصول إليه متاحًا فقط في سياق جلسة أصل تمت مصادقتها. تعد هذه البنية من أفضل ممارسات COPPA واستعلامًا شائعًا لمراجعة التنفيذ.
اختبار مع أطفال حقيقيين قبل الشحن. ليس لأن مراجعة التطبيقات تتطلب ذلك، ولكن لأنه من الأسهل معايرة مدى ملاءمة العمر تجريبيًا بدلاً من معايرتها نظريًا. يعد رد فعل طفل يبلغ من العمر 4 سنوات على قصة تعتقد أنها لطيفة بمثابة إشارة أفضل من أي نموذج تقييم للإشراف على المحتوى.
صورة أكبر
إن تطوير منتجات الذكاء الاصطناعي للأطفال ليس أكثر صعوبة من تطويرها للبالغين. إنه صعب بطريقة مختلفة. يمكن إدارة القيود التقنية. التعاطف التصميمي المطلوب مهم. يمثل كل قرار يتعلق بالفئة العمرية، وكل تدفق للموافقة، وكل عتبة مراقبة قرارًا بشأن ما هو مناسب لطفل معين في مرحلة نمو معينة.
لكن الخبر السار هو أن العائلات جاهزة لمنتجات الذكاء الاصطناعي المخصصة للأطفال والمصممة بشكل جيد. القلق لا يتعلق بالذكاء الاصطناعي نفسه. يتعلق الأمر بالإهمال. إن إظهار أنك قد فكرت بعناية في بنية الأمان، وقمت بتسمية البائعين لديك، وخلقت سيطرة حقيقية، ووافقت على تصميمها للآباء بدلاً من السجلات الخالية من الاحتكاك، هي الطريقة التي ستكسب بها هذه الثقة.
