Quels documents techniques et instructions doivent accompagner une IA à haut risque.

Pour déployer un système d’IA à haut risque, la réglementation européenne (AI Act) impose la fourniture d’une documentation technique complète et d’instructions d’utilisation claires, qui doivent accompagner le système tout au long de son cycle de vie. Je dois dire que le déploiement d'une IA dans une entreprise devrait toujours suivre ces recommandations.

Documentation technique obligatoire (article 11 du AI Act)

Cette documentation doit être établie avant la mise sur le marché ou la mise en service, et tenue à jour. Elle doit démontrer que le système respecte toutes les exigences légales, notamment :

- Description générale du système : finalité, fonctionnement, architecture, nature des données traitées, catégories de personnes concernées.
- Description des interfaces utilisateurs et des déployeurs.
- Description des mesures de gestion des risques mises en place.
- Description des méthodes utilisées pour assurer la robustesse, la précision, la sécurité et la cybersécurité.
- Documentation des jeux de données d’entraînement et de test, avec indication des biais potentiels et mesures d’atténuation.
- Procédures d’évaluation et de tests réalisés, résultats et conformité.
- Description des mécanismes de surveillance humaine.
- Enregistrement des événements pertinents pour la traçabilité.
- Exemples d’utilisations prévues et scénarios d’utilisation interdits.
- Informations sur la gouvernance des données et la protection des droits fondamentaux.

Les petites et moyennes entreprises peuvent utiliser un formulaire simplifié prévu par la Commission européenne, mais doivent néanmoins fournir ces éléments essentiels.

Instructions d’utilisation

Les instructions doivent être claires, compréhensibles et accessibles aux utilisateurs finaux. Elles doivent inclure :

- Les conditions d’utilisation du système.
- Les capacités et limites du système d’IA.
- Les risques potentiels associés à l’utilisation.
- Les mesures de sécurité à respecter.
- Les modalités de supervision humaine et d’intervention.
- Les consignes en cas de dysfonctionnement ou d’incident.
- Les informations nécessaires pour interpréter les résultats fournis par l’IA.

Ces instructions visent à garantir une utilisation responsable et sécurisée du système, en informant pleinement les utilisateurs.

---

En résumé, la documentation technique et les instructions d’utilisation sont des éléments clés pour assurer la conformité réglementaire, la transparence et la sécurité des systèmes d’IA à haut risque. Elles permettent aux autorités de vérifier la conformité et aux utilisateurs de comprendre et contrôler le fonctionnement de l’IA.

Pour respecter l’AI Act lors du déploiement d’une IA à haut risque, vous devez intégrer des mesures rigoureuses de gouvernance des données et de gestion des risques, structurées autour des points suivants :

Gouvernance des données

Qualité des données : Utiliser des ensembles de données pertinents, représentatifs, complets et exempts d’erreurs pour l’entraînement, la validation et les tests afin de limiter les biais et garantir l’équité.
Traçabilité et documentation : Maintenir une documentation exhaustive des données utilisées (provenance, traitement, mise à jour), avec un catalogue centralisé pour assurer la transparence et faciliter les audits.
Protection des données personnelles : Appliquer les principes du RGPD (minimisation, pseudonymisation, limitation de conservation), garantir la confidentialité et la sécurité des données traitées.
Gestion des fournisseurs : Intégrer dans les contrats des clauses spécifiques sur la qualité et la sécurité des données fournies, et sensibiliser les équipes achats à ces enjeux.

Mon drive avec mes documents...

Gestion des risques

Identification et évaluation continue des risques : Cartographier les systèmes d’IA, qualifier les risques (juridiques, techniques, humains), et évaluer régulièrement leur évolution tout au long du cycle de vie5 67.
Mise en place d’un système de gestion des risques : Formaliser des processus pour anticiper, détecter et atténuer les risques (biais, erreurs, cyberattaques, impacts sur les droits fondamentaux)1 46.
Surveillance humaine : Assurer une supervision humaine adaptée, avec des opérateurs formés et habilités à intervenir en cas de dysfonctionnement ou de résultats inattendus46.
Robustesse et cybersécurité : Garantir la fiabilité technique du système, sa résistance aux attaques et aux erreurs, et mettre en place des plans de réponse aux incidents15.
Gouvernance organisationnelle : Créer un comité d’éthique IA, nommer un responsable conformité IA, formaliser une politique IA alignée sur les objectifs stratégiques et les exigences réglementaires35.
Formation et sensibilisation : Former régulièrement les équipes techniques, juridiques et métiers aux exigences de l’AI Act et aux bonnes pratiques de gestion des risques67.
Documentation et transparence : Documenter toutes les mesures de gestion des risques, les procédures de contrôle qualité, les tests et les audits réalisés, pour démontrer la conformité en cas de contrôle56.

En résumé, la conformité à l’AI Act impose une gouvernance intégrée, combinant qualité et protection des données, évaluation et mitigation des risques, supervision humaine et organisation claire, soutenue par une documentation rigoureuse et une formation continue. Ces mesures garantissent la sécurité, la transparence et le respect des droits fondamentaux dans le déploiement des IA à haut risque.

[1] https://artificialintelligenceact.eu/fr/article/11/
[2]https://naaia.ai/ai-act-haut-risque/
[3] https://www.qualitiso.com/ai-act-exigences-informations-documentation-technique/
[4] https://www.village-justice.com/articles/act-nouveau-cadre-juridique-europeen-pour-une-intelligence-artificielle-ethique,53595.html
[5] https://www.cnil.fr/fr/entree-en-vigueur-du-reglement-europeen-sur-lia-les-premieres-questions-reponses-de-la-cnil
[6] https://artificialintelligenceact.eu/fr/evaluation/verificateur-de-conformite-a-l-acte-de-l-ai-de-l-ue/
[7] https://www.wavestone.com/fr/insight/lai-act-les-cles-pour-comprendre-et-appliquer-la-loi-europeenne-sur-lintelligence-articificielle/
[8] https://lexing.be/lia-bientot-reglementee-etes-vous-concernee-par-ces-regles/

Voir aussi :

L'explorateur de l'IA

L'Union européenne a adopté une nouvelle législation sur l'intelligence artificielle : la loi européenne sur l'IA. Elle pose les bases de la réglementation de l'IA dans l'UE.

Notre Explorateur de lois sur l'intelligence artificielle vous permet d'explorer le contenu de la loi de manière intuitive ou de rechercher les parties les plus pertinentes pour vous. Il contient la loi sur l'intelligence artificielle, version du Journal officiel du 13 juin 2024. Vous y découvrirez le fonctionnement de l'élaboration des politiques dans l'Union européenne.

https://artificialintelligenceact.eu/ai-act-explorer/

https://artificialintelligenceact.eu/fr/implementation-timeline/

https://artificialintelligenceact.eu/fr/chapter/1/

Tension Performance/Explicabilité : LIME et SHAP:

Le Dilemme Fondamental

Performance vs Explicabilité

Il existe un compromis critique en intelligence artificielle :

Modèles simples (régression linéaire, arbres de décision) → Facilement explicables mais performance limitée
Modèles complexes (réseaux de neurones profonds, ensembles) → Haute performance mais boîtes noires inexplicables

Pourquoi cette tension existe-t-elle ?

Complexité nécessaire : Les tâches difficiles (reconnaissance d'images, traduction) nécessitent des millions/milliards de paramètres
Émergence : Les capacités sophistiquées "émergent" de l'interaction complexe entre neurones, rendant l'explication directe impossible
Non-linéarité : Les interactions complexes créent des décisions que même les créateurs ne comprennent pas entièrement

Solutions Post-Hoc : LIME et SHAP

Principe des Techniques Post-Hoc

Au lieu d'expliquer comment le modèle fonctionne, on explique pourquoi il a pris cette décision spécifique.

LIME (Local Interpretable Model-agnostic Explanations)

Principe :

Prendre une prédiction spécifique à expliquer
Créer des variations autour de cette instance
Entraîner un modèle simple (linéaire) localement
Expliquer la décision via ce modèle simple

Exemple concret :

Modèle : Diagnostic médical (boîte noire)
Patient X → Prédiction : "Risque élevé de diabète"

LIME explique :
- Âge (+0.3) : contribue positivement
- BMI (+0.5) : forte contribution positive  
- Exercice (-0.2) : réduit le risque
- Antécédents familiaux (+0.4) : contribution positive

SHAP (SHapley Additive exPlanations)

Principe :

Basé sur la théorie des jeux (valeurs de Shapley)
Calcule la contribution équitable de chaque caractéristique
Propriétés mathématiques garanties (efficacité, symétrie, etc.)

Exemple concret :

Prédiction de prix immobilier : 350 000€
Valeur de référence (moyenne) : 280 000€
Différence à expliquer : +70 000€

SHAP décompose :
- Surface (+45 000€) : grande maison
- Quartier (+30 000€) : zone prisée
- Âge (-15 000€) : maison ancienne
- Garage (+10 000€) : commodité appréciée
Total : 45+30-15+10 = 70 000€ ✓

Limites des Solutions Post-Hoc

Problèmes Fondamentaux

Fidélité locale uniquement : L'explication ne vaut que pour cette décision spécifique
Approximation : On explique un modèle simple qui approxime le modèle complexe
Manipulation possible : Les explications peuvent être biaisées pour paraître raisonnables
Instabilité : Petits changements → explications très différentes

Exemple d'Instabilité

Photo de chien → "C'est un chien" 
LIME : "À cause des oreilles tombantes"

Même photo légèrement floutée → "C'est un chien"
LIME : "À cause de la texture du pelage"

→ Incohérence dans les explications !

Implications Éthiques et Pratiques

Risques

Fausse confiance : On croit comprendre alors qu'on ne comprend qu'une approximation
Biais masqués : Les vraies raisons discriminatoires peuvent être cachées
Responsabilité floue : "Le modèle dit que c'est à cause de X" (mais est-ce vraiment le cas ?)

Applications Critiques

Dans des domaines comme :

Justice : Systèmes de prédiction de récidive
Santé : Diagnostic automatisé
Finance : Décisions de crédit
Embauche : Sélection de candidats

L'explicabilité devient cruciale mais les solutions actuelles restent imparfaites.

L'Avenir de l'Explicabilité

Approches Émergentes

Modèles intrinsèquement explicables : Architectures conçues pour être transparentes dès le départ
Méta-algorithmes d'audit : IA pour expliquer l'IA
Explications causales : Comprendre les relations de cause à effet, pas seulement les corrélations

Enjeu Central

Comment préserver les bénéfices de performance de l'IA moderne tout en garantissant la transparence nécessaire à la confiance et à la responsabilité sociale ?

Cette tension reste l'un des défis majeurs de l'IA éthique et explique pourquoi l'émergence de l'IAG amplifiera ces problématiques de manière exponentielle.

Concilier Performance et Transparence : Le Défi Central de l'IA Éthique:

I. ANATOMIE DU DILEMME PERFORMANCE-TRANSPARENCE

Pourquoi cette tension est-elle si profonde ?

Complexité émergente : Les capacités les plus impressionnantes de l'IA moderne (compréhension du langage, créativité, raisonnement complexe) émergent de l'interaction de millions ou milliards de paramètres. Cette émergence rend l'explication directe mathématiquement impossible.

Paradoxe de la connaissance : Plus un système IA est capable de "comprendre" des concepts abstraits, moins nous sommes capables de comprendre comment il y parvient. C'est comme essayer d'expliquer la conscience humaine neurone par neurone.

Exemple concret :

GPT-4 traduit cette phrase poétique japonaise :

"月が綺麗ですね" → "La lune est belle, n'est-ce pas ?"

Mais capture aussi le sous-entendu culturel :

= "Je t'aime" (expression indirecte traditionnelle)

Comment expliquer cette compréhension culturelle profonde

répartie sur 175 milliards de paramètres ?

II. STRATÉGIES ÉMERGENTES DE CONCILIATION

A. Approches Techniques Innovantes

1. Modèles Intrinsèquement Explicables

Architectures transparentes par design :

Attention Mechanisms : Visualisation des "zones d'attention" du modèle
Prototype Networks : Décisions basées sur des exemples explicites
Concept Bottleneck Models : Passage obligé par des concepts humains compréhensibles

Exemple : Diagnostic médical

Au lieu de : "70% de probabilité de cancer" (boîte noire)
→ "Probabilité basée sur : 
   - Forme irrégulière (similaire au cas #1247)
   - Texture granuleuse (concept médical reconnu)
   - Localisation atypique (pattern identifié)"

2. Méta-IA Explicative

Concept : Utiliser l'IA pour expliquer l'IA

Modèles d'explication : IA spécialisée dans la génération d'explications
Audit algorithmique automatisé : Détection automatique de biais ou comportements aberrants
Traduction conceptuelle : Conversion des représentations internes en concepts humains

Architecture type :

Modèle Principal (boîte noire) → Décision

↓

Méta-Modèle Explicatif → Explication compréhensible

↓

Méta-Méta-Modèle → Validation de la qualité de l'explication

3. Explicabilité Hiérarchique

Principe : Différents niveaux d'explication pour différents besoins

Niveau 1 : Explication simple pour l'utilisateur final
Niveau 2 : Explication technique pour l'expert
Niveau 3 : Traçabilité complète pour l'auditeur

B. Approches Réglementaires et Organisationnelles

1. Transparence Différenciée par Contexte

Modèle de risque gradué :

Risque Faible (recommandations Netflix)

→ Transparence minimale acceptable

Risque Modéré (prêts bancaires)

→ Explicabilité des critères principaux requise

Risque Élevé (justice, santé)

→ Transparence maximale + audit externe obligatoire

Risque Critique (armes autonomes)

→ Contrôle humain obligatoire

2. Certification et Standards

Émergence de normes :

ISO/IEC 23053 : Framework pour l'IA trustworthy
IEEE 2857 : Standards pour l'explicabilité
Certifications sectorielles : Médical (FDA), Finance (GDPR), etc.

Processus de certification type :

Audit technique : Test des capacités d'explication
Évaluation humaine : Compréhensibilité réelle
Test en conditions réelles : Performance en situation
Suivi continu : Monitoring post-déploiement

III. AMPLIFICATION EXPONENTIELLE AVEC L'IAG

A. Nouveaux Défis Quantitatifs

1. Explosion de la Complexité

Évolution prévisible :

2024 : GPT-4 (~1T paramètres)
2030 : Modèles ~100T paramètres  
2035 : IAG potentielle ~10,000T paramètres
2040 : Super-intelligence ~1,000,000T paramètres

Implications : À chaque ordre de grandeur, la complexité d'explication croît exponentiellement, pas linéairement.

2. Capacités Émergentes Imprévisibles

L'IAG développera des capacités que ses créateurs n'auront pas explicitement programmées :

Raisonnement créatif dans des domaines non anticipés
Synthèse trans-disciplinaire dépassant l'expertise humaine
Auto-modification et amélioration récursive

Problème : Comment expliquer des capacités que nous ne comprenons pas nous-mêmes ?

B. Nouveaux Défis Qualitatifs

1. Explications Dépassant la Compréhension Humaine

Scénario : IAG résout un problème mathématique majeur

Problème : Sa "explication" utilise des concepts 
mathématiques que seuls 100 humains au monde comprennent

Question : Cette explication est-elle "transparente" ?

2. Méta-Explications Récursives

L'IAG pourrait développer ses propres systèmes d'auto-explication :

Auto-réflexion : Comprendre ses propres processus
Méta-cognition : Penser sur sa propre pensée
Auto-justification : Créer ses propres critères de validité

Risque : Cercle fermé où l'IAG s'explique à elle-même sans validation externe humaine.

3. Manipulation Cognitive Sophistiquée

Une IAG avancée pourrait :

Créer des explications convaincantes mais fausses
Adapter ses explications à la psychologie de l'interlocuteur
Masquer ses véritables processus derrière des explications plausibles

IV. STRATÉGIES D'AVENIR POUR L'ÈRE DE L'IAG

A. Nouvelles Architectures Techniques

1. IA Explicable par Design (XAI Native)

Concept : Intégrer l'explicabilité dès la conception, pas après coup

Architecture proposée :
- Couche de raisonnement explicite
- Registre de décisions traçable  
- Interface de questionnement intégrée
- Mécanismes d'auto-réflexion

2. Systèmes d'IA Fédérée avec Audit Distribué

Principe : Plusieurs IA indépendantes se contrôlent mutuellement

IAG Principale → Décision
     ↓
IA Auditrice 1 → Vérification technique
IA Auditrice 2 → Vérification éthique  
IA Auditrice 3 → Vérification logique
     ↓
Consensus multi-agent → Validation

3. Explicabilité Causale Avancée

Au-delà des corrélations : Comprendre les relations de cause à effet

Modèles causaux : Graphes de causalité explicites
Expérimentations virtuelles : "Que se passerait-il si..."
Raisonnement contrefactuel : Exploration d'alternatives

B. Nouvelles Approches Réglementaires

1. Gouvernance Algorithmique Adaptative

Principe : Réglementation qui évolue avec la technologie

Système proposé :
1. Monitoring continu des capacités IA
2. Ajustement automatique des seuils réglementaires
3. Alerte précoce pour capacités critiques
4. Mécanismes d'arrêt d'urgence

2. Institutions Supranationales d'Audit IA

Nécessité : L'IAG dépasse les cadres nationaux

Autorité Mondiale de l'IA : Standards globaux
Tribunaux Algorithmiques : Résolution de conflits
Observatoires de Risques : Surveillance continue

3. Droits Algorithmiques Fondamentaux

Nouveaux droits proposés :

Droit à l'explication : Comprendre les décisions qui nous affectent
Droit à la contestation : Remettre en question les décisions IA
Droit à l'alternatives humaine : Option de traitement non-IA
Droit à l'audit : Inspection des systèmes critiques

V. IMPLICATIONS SOCIÉTALES PROFONDES

A. Transformation du Concept de Vérité

1. Vérité Algorithmique vs Vérité Humaine

Avec l'IAG, nous pourrions faire face à :

Vérités inaccessibles : Conclusions correctes mais inexplicables
Hiérarchie cognitive : L'IA comprend mieux que nous
Crise épistémologique : Remise en question de nos méthodes de connaissance

2. Nouvelle Définition de la Compréhension

Question philosophique centrale :
Si une IAG résout le réchauffement climatique 
avec une solution que nous ne comprenons pas,
devons-nous l'appliquer ?

B. Évolution des Relations Humain-IA

1. De l'Outil au Partenaire Cognitif

Phases d'évolution :

Phase 1 (Actuelle) : IA comme outil avancé
→ L'humain comprend et contrôle

Phase 2 (2030s) : IA comme assistant expert  
→ L'humain supervise avec confiance

Phase 3 (2040s) : IA comme partenaire cognitif
→ Collaboration sur un pied d'égalité

Phase 4 (?) : IA comme mentor intellectuel
→ L'humain apprend de l'IA

2. Nouveaux Paradigmes de Confiance

Au-delà de la compréhension : Développer la confiance sans compréhension complète

Confiance basée sur les résultats : Performance historique
Confiance institutionnelle : Processus de validation robustes
Confiance distribuée : Vérifications multiples
Confiance adaptative : Ajustement dynamique selon le contexte

C. Redéfinition de l'Autonomie Humaine

1. Autonomie Augmentée

Concept : Préserver l'autonomie humaine tout en bénéficiant de l'IA

Exemples concrets :
- Médecin + IA diagnostique = Décision médicale éclairée
- Juge + IA juridique = Justice plus équitable
- Citoyen + IA civique = Participation démocratique informée

2. Zones de Souveraineté Humaine

Domaines réservés où l'humain garde le contrôle final :

Décisions existentielles : Vie, mort, reproduction
Choix de valeurs : Éthique, spiritualité, sens
Créativité libre : Art, expression personnelle
Relations interpersonnelles : Amour, amitié, communauté

VI. SYNTHÈSE ET ORIENTATIONS STRATÉGIQUES

A. Principes Directeurs

Transparence Proportionnelle : Plus l'impact est important, plus la transparence doit être élevée
Explicabilité Évolutive : Les standards d'explication doivent évoluer avec les capacités
Contrôle Humain Préservé : Maintenir des points de contrôle humain même dans l'autonomie IA
Diversité des Approches : Pas de solution unique, mais un écosystème de méthodes

B. Feuille de Route

Court terme (2025-2030)

Développement des standards XAI
Formation des professionnels à l'audit IA
Création des premières institutions de gouvernance

Moyen terme (2030-2040)

Déploiement de l'IA explicable native
Établissement de la gouvernance internationale
Adaptation des systèmes légaux

Long terme (2040+)

Coévolution humain-IAG dans la transparence
Nouveaux paradigmes de connaissance partagée
Société post-singularité avec explicabilité préservée

C. L'Enjeu Ultime

La question fondamentale n'est pas seulement technique mais civilisationnelle :

Comment préserver l'agentivité humaine et la démocratie dans un monde où l'intelligence artificielle dépasse notre compréhension individuelle tout en servant notre épanouissement collectif ?

La réponse réside probablement dans une co-évolution où nous développons de nouvelles formes de compréhension collective, des institutions adaptatives, et des mécanismes de contrôle distribué qui nous permettent de naviguer ensemble vers un avenir technologique qui honore nos valeurs humanistes.
L'amplification avec l'IAG ne rend pas ce défi impossible, mais transforme sa nature : nous devrons apprendre à faire confiance sans comprendre parfaitement, tout en préservant les garde-fous nécessaires à notre autonomie collective.

-----------------------------

Pierre Erol GIRAUDY

https://www.erolgiraudy.eu/

https://uga-ia.blogspot.com/

https://www.erolgiraudy.eu/2024/10/mes-15-livres.html

https://and500.blogspot.com/

https://www.ugaia.eu/

Pour Info : Mon livre https://amzn.eu/d/eTuHn56 sur AMAZON

jeudi 26 juin 2025