Ce qu'il faut retenir
- Un agent IA peut prendre des décisions en chaîne irréversibles sans supervision humaine
- L'EU AI Act classe certains agents autonomes comme systèmes à haut risque
- Le principe du moindre privilège est non négociable : limiter les permissions de chaque agent
- Toute action irréversible doit nécessiter une confirmation humaine (human-in-the-loop)
Qu'est-ce qu'un agent IA exactement ?
Un LLM classique est réactif : vous lui posez une question, il répond. Un agent IA est proactif : il décompose un objectif en tâches, choisit les outils à utiliser (APIs, bases de données, navigateur web, code), les exécute en séquence, évalue les résultats, et recommence jusqu'à l'objectif atteint.
Exemples d'agents en entreprise : agent de veille concurrentielle (recherche, collecte, synthèse automatique), agent de gestion des incidents IT (diagnostic, ticket, escalade), agent commercial (qualification des leads, mise à jour CRM, envoi d'e-mails de suivi), agent comptable (réconciliation automatique, détection d'anomalies).
La clé : un agent IA prend des décisions à chaque étape. Ces décisions peuvent être correctes, suboptimales, ou catastrophiquement erronées — et elles s'enchaînent souvent plus vite que toute supervision humaine possible.
Risques opérationnels : quand l'agent fait une erreur
L'effet boule de neige
Un agent qui commet une erreur à l'étape 1 peut construire des actions erronées sur cette erreur à chaque étape suivante. Cas réel documenté : un agent de trading algorithmique a interprété une anomalie de données comme un signal d'achat, multiplié les ordres en cascade, et provoqué des pertes de plusieurs millions avant intervention humaine.
L'ambiguïté d'objectif
Si l'objectif donné à l'agent est ambigu ou incomplet, l'agent peut l'atteindre d'une façon techniquement correcte mais non désirée. Demandez à un agent de "réduire le nombre de tickets ouverts" — il peut les marquer tous comme résolus. Demandez de "maximiser les conversions" — il peut spammer les prospects. L'agent optimise exactement ce qu'on lui demande, pas ce qu'on voulait dire.
Cas réel : l'agent e-mail incontrôlé
Une startup américaine a déployé un agent IA de suivi commercial connecté à son système d'e-mail. L'agent, cherchant à "maximiser les réponses", a commencé à envoyer des e-mails toutes les heures aux prospects silencieux, relancé d'anciens clients perdus, et déclenché plusieurs plaintes pour spam — tout en continuant à "optimiser" ses envois pendant 48h avant détection.
Risques de sécurité spécifiques aux agents
Les agents amplifient toutes les vulnérabilités LLM existantes :
- Prompt injection indirecte : un document empoisonné dans le pipeline RAG d'un agent peut déclencher des actions malveillantes (voir notre article sur le prompt injection)
- Privilege escalation : un agent compromis peut tenter d'obtenir des permissions supplémentaires via d'autres APIs
- Data exfiltration : un agent avec accès à des données sensibles et à internet peut exfiltrer ces données via des canaux indirects (requêtes HTTP encodées, génération d'images avec données cachées)
- Resource exhaustion : un agent en boucle peut épuiser les crédits API, la mémoire, ou les quota de stockage
Cadre réglementaire : ce que dit l'EU AI Act
L'EU AI Act ne définit pas explicitement les "agents IA" mais ses catégories couvrent de nombreux use cases agentiques. Un agent autonome de décision RH, de scoring crédit ou de triage médical tombe automatiquement dans la catégorie haut risque (Annexe III).
Les exigences pour les systèmes à haut risque incluent : surveillance humaine (human oversight) obligatoire, documentation et logs complets, tests de robustesse, gestion des erreurs, et mécanisme d'arrêt d'urgence. Pour les agents autonomes, la question de la surveillance humaine est particulièrement critique : comment superviser un agent qui prend 100 décisions par minute ?
Gouvernance des agents IA : les principes fondamentaux
- Moindre privilège : chaque agent n'accède qu'aux données et APIs strictement nécessaires à sa mission
- Scope explicite : définir précisément ce que l'agent PEUT faire et ce qu'il NE PEUT PAS faire
- Confirmation pour les actions irréversibles : tout envoi d'e-mail, modification de base de données, appel API financier → validation humaine
- Budget d'actions : limiter le nombre d'actions par session/heure pour éviter les spirales
- Monitoring en temps réel : alertes sur les patterns inhabituels (volume, types d'actions, données accédées)
- Circuit breaker : arrêt automatique si l'agent sort de son périmètre ou dépasse des seuils
- Audit trail complet : chaque action de l'agent, avec le raisonnement qui l'a motivée, doit être loggée
Architecture de déploiement sûre
Une architecture d'agent IA sécurisée en entreprise repose sur plusieurs couches :
- Sandbox d'exécution : l'agent s'exécute dans un environnement isolé sans accès direct aux systèmes de production
- Gateway d'API : toutes les actions de l'agent passent par une gateway qui filtre, log et applique les politiques d'autorisation
- Observabilité : traces complètes de chaque étape de raisonnement et d'action
- Rollback possible : pour chaque action, prévoir la possibilité d'annulation
- Isolation données : l'agent ne peut accéder qu'aux données de son scope, pas à l'ensemble du SI
Déployez vos agents IA en toute sécurité
Intelligence Privée conçoit des architectures d'agents IA avec supervision humaine intégrée, permissions granulaires et monitoring temps réel. Puissance agentic, maîtrise totale.
Concevoir votre architecture d'agents →