الرقابة البشرية في الحوكمة وإدارة المخاطر المدعومة بالذكاء الاصطناعي

تُستخدم أدوات الذكاء الاصطناعي الآن لتلخيص أدلة التدقيق وصياغة أوصاف المخاطر واقتراح مطابقة الضوابط وترتيب النتائج بحسب الأولوية. وعند استخدامها جيدًا توفر الوقت في الأعمال المتكررة. وعند استخدامها بإهمال تنقل القرارات بعيدًا عن الأشخاص المسؤولين عنها.

المبدأ بسيط. مخرجات الذكاء الاصطناعي دعم للقرار. يراجعها أشخاص مسؤولون وهي ليست صانع قرار مستقلًا. يشرح بقية هذا المقال كيف تجعل هذا المبدأ عمليًا وليس مجرد سطر في سياسة.

أبرز النقاط

• تعامل مع كل مخرجات الذكاء الاصطناعي في أعمال الحوكمة والمخاطر كمسودة أو توصية يراجعها شخص مسمّى ويتحمل مسؤوليتها.
• حدد كتابةً القرارات التي يجوز للذكاء الاصطناعي أن يسهم فيها، والتي لا يجوز له اتخاذها أبدًا، ومن يعتمد.
• صمّم لمواجهة تحيز الأتمتة: يحتاج المراجعون إلى وقت وسياق وإذن صريح بمخالفة الأداة.
• سجّل قرارات المراجعة وحالات التجاوز والحوادث حتى يمكن إثبات الرقابة وتحسينها.
• اجعل عمق الرقابة متناسبًا مع مخاطر القرار، وليس مع حداثة التقنية.

ماذا تقول الأطر الرئيسية

الرقابة البشرية موضوع متكرر في إرشادات حوكمة الذكاء الاصطناعي المعترف بها.

إطار NIST لإدارة مخاطر الذكاء الاصطناعي 1.0 إطار طوعي منظم حول أربع وظائف: الحوكمة والرسم والقياس والإدارة ^[1][2]. ويدعو إلى سياسات تحدد وتميّز الأدوار والمسؤوليات في التكوينات المشتركة بين الإنسان والذكاء الاصطناعي والرقابة على أنظمة الذكاء الاصطناعي، وإلى تحديد عمليات الرقابة وتقييمها وتوثيقها ^[2].

يحدد المعيار ISO/IEC 42001:2023 متطلبات نظام إدارة الذكاء الاصطناعي، لتتمكن المؤسسات التي توفر الذكاء الاصطناعي أو تستخدمه من إدارة المخاطر والفرص ذات الصلة بصورة منظمة ومتحسنة باستمرار ^[3].

تدرج مبادئ منظمة OECD للذكاء الاصطناعي المساءلة ضمن مبادئها الأساسية، إلى جانب الشفافية وقابلية التفسير، والمتانة والأمن والسلامة ^[4].

تحدد المادة 14 من قانون الاتحاد الأوروبي للذكاء الاصطناعي متطلبات الرقابة البشرية على أنظمة الذكاء الاصطناعي عالية المخاطر. وتتوقع تصميم الأنظمة بحيث يتمكن الأشخاص من الرقابة عليها بفعالية، وأن يكون هؤلاء قادرين على فهم قدرات النظام وحدوده، وإدراك تحيز الأتمتة، وتفسير المخرجات بشكل صحيح، وعلى قرار عدم استخدام النظام أو تجاوز مخرجاته أو عكسها ^[5]. ويعتمد انطباق القانون على مؤسستك على مكان نشر الذكاء الاصطناعي وكيفية ذلك، لذا تأكد من انطباقه مع مستشارين مؤهلين. وحتى حيث لا ينطبق، تظل المادة 14 قائمة مرجعية مفيدة لتصميم المراجعة.

أين تهم الرقابة في أعمال الحوكمة والمخاطر والامتثال

تكون مساعدة الذكاء الاصطناعي أكثر شيوعًا في مهام مثل:

• صياغة بيانات المخاطر واقتراح تقديرات الاحتمال والأثر.
• مطابقة الضوابط أو الأدلة مع متطلبات الأطر.
• تلخيص السياسات أو استبيانات الموردين أو تقارير التدقيق.
• ترتيب النتائج أو التنبيهات للمتابعة.

لا ينبغي أن ينتهي أي منها بنتيجة غير مراجعة. فتقدير المخاطر المقترح الذي لا يعترض عليه أحد يصبح تقدير المؤسسة بحكم الأمر الواقع. وهذا هو الإخفاق الذي صُممت الرقابة لمنعه.

بناء رقابة تعمل فعلًا

1. صنّف القرارات بحسب نتيجتها

أنشئ سجلًا موجزًا بالأنشطة المدعومة بالذكاء الاصطناعي ووسّم كلًا منها بحسب نتيجته. المهام ذات النتيجة المنخفضة، مثل صياغة محاضر الاجتماعات، تحتاج إلى مراجعة خفيفة. أما المهام ذات النتيجة العالية، مثل قبول مخاطرة أو إغلاق نتيجة أو إخبار جهة تنظيمية بأن ضابطًا فعّال، فتحتاج إلى معتمِد مسمّى لديه الصلاحية والخبرة لرفض المخرجات.

2. سمِّ مالكًا مسؤولًا

كل عملية مدعومة بالذكاء الاصطناعي تحتاج إلى مالك يُسأل عن النتيجة. يشير إطار NIST إلى مسؤولية القيادة عن قرارات مخاطر الذكاء الاصطناعي ^[2]. وعمليًا يعني ذلك أن يظهر دور وظيفي، وليس لجنة، في سجل الاعتماد.

3. حدد ما يجب على المراجعين التحقق منه

زوّد المراجعين بقائمة تحقق بدلًا من أن تطلب منهم "مراجعة المخرجات". على سبيل المثال:

1. هل يمكن تتبع المخرجات إلى أدلة مصدرية أستطيع فتحها؟
2. هل تتفق مع ما أعرفه عن سياق الأعمال؟
3. هل هناك ادعاءات أو أسماء أو إشارات إلى بنود أو أرقام تحققت منها بصورة مستقلة؟
4. هل أرتاح للدفاع عن هذا أمام مدقق أو جهة تنظيمية؟

4. احترس من تحيز الأتمتة

يميل الناس إلى الإفراط في الثقة بالإجابات الواثقة حسنة التنسيق. قاوم ذلك عمدًا. اطلب من المراجعين تكوين رأي قبل الاطلاع على اقتراح الذكاء الاصطناعي في البنود الأعلى مخاطر. اختر عينة من المخرجات الروتينية لفحص أعمق. اجعل تجاوز الأداة أمرًا طبيعيًا ومتوقعًا، وتتبع حالات التجاوز كإشارة صحية وليس كمشكلة أداء.

5. احتفظ بالقدرة على الإيقاف

تشير المادة 14 إلى القدرة على التدخل أو إيقاف النظام بأمان ^[5]، ويناقش إطار NIST القدرة على إيقاف الأنظمة التي تنحرف عن السلوك المتوقع أو تعديلها ^[2]. وثّق من يستطيع إيقاف سير عمل مدعوم بالذكاء الاصطناعي مؤقتًا وما الذي يستدعي هذا الإيقاف، مثل الأخطاء المتكررة أو انكشاف البيانات أو تغيير في النموذج الأساسي.

6. احمِ البيانات المُدخلة

الرقابة لا تتعلق بالمخرجات فقط. حدد البيانات التي يجوز إدخالها في أدوات الذكاء الاصطناعي، وبخاصة بيانات العملاء السرية أو الشخصية أو المنظمة، وواءم ذلك مع سياسات الخصوصية وأمن المعلومات لديك.

7. سجّل وتعلّم

احتفظ بسجل خفيف لما روجع ومن راجعه وما تغيّر ولماذا. يمنحك ذلك أدلة للتدقيق وحلقة تغذية راجعة. وإذا واصل المراجعون تصحيح نوع الخطأ نفسه، فعدّل المُوجِّه أو البيانات أو حالة الاستخدام.

مثال توضيحي

هذا مثال افتراضي. تستخدم شركة متوسطة الحجم مساعدًا ذكيًا لاقتراح مطابقات الضوابط بين سياساتها الداخلية وإطار أمني. يقترح المساعد أن سياسة النسخ الاحتياطي تفي بمتطلب اختبار الاستعادة. تفتح المراجعة السياسة وتجد أنها تصف وتيرة النسخ الاحتياطي لكنها لا تذكر شيئًا عن الاستعادة والاختبار. فترفض المطابقة وتدوّن الفجوة، ويُطلب من مالك الضابط إضافة إجراء اختبار استعادة. وفّرت الأداة وقت الصياغة، واكتشف الشخص الخطأ الجوهري، ويُظهر السجل الأمرين معًا.

تخيّل الآن الشركة نفسها دون خطوة مراجعة. تنتقل المطابقة الخاطئة إلى تقرير امتثال، ويكتشف مقيّم خارجي الفجوة. لم تُنشئ الأداة المخاطرة بمفردها؛ بل غياب الرقابة هو ما فعل.

أخطاء شائعة

• الموافقة الشكلية. المراجعة التي تستغرق ثواني لكل بند ليست رقابة.
• غموض الملكية. إذا اشترك الجميع في المسؤولية، فلن يتحملها أحد.
• اعتبار تطمينات المورّد رقابة. تفيد وثائق المورّد، لكن مؤسستك تظل مسؤولة عن كيفية استخدام المخرجات.
• غياب ضبط التغيير. تتغير النماذج والإعدادات. أعد الاختبار عندما تتغير.

نقطة بداية عملية

ابدأ صغيرًا. أدرج ثلاث مهام مدعومة بالذكاء الاصطناعي تؤديها بالفعل، ووسّم كلًا منها بحسب نتيجتها، وعيّن مالكًا، واكتب قائمة مراجعة من أربعة أسطر، وابدأ بتسجيل حالات التجاوز. راجع النتائج بعد ربع سنة ووسّع منها. يمكن للفرق التي تريد دعمًا منظمًا أن تنظر في قدرات Valtrenix في المستشارين الذكيين وأتمتة سير العمل والحوكمة والمخاطر والامتثال كإحدى الطرق لدمج خطوات المراجعة في سير العمل اليومي.

المصادر

1. NIST AI Risk Management Framework, المعهد الوطني للمعايير والتقنية (NIST). nist.gov/itl/ai-risk-management-framework
2. Artificial Intelligence Risk Management Framework (AI RMF 1.0), NIST AI 100-1, المعهد الوطني للمعايير والتقنية (NIST). nvlpubs.nist.gov/nistpubs/ai/NIST.AI.100-1.pdf
3. ISO/IEC 42001:2023 Information technology, Artificial intelligence, Management system, المنظمة الدولية للتوحيد القياسي (ISO). iso.org/standard/42001
4. OECD AI Principles, منظمة التعاون الاقتصادي والتنمية (OECD). oecd.ai/en/ai-principles
5. Article 14: Human Oversight, EU Artificial Intelligence Act, معهد مستقبل الحياة (Future of Life Institute) (نص موحد غير رسمي). artificialintelligenceact.eu/article/14