← Tous les articles

Un agent peut lire un devis, préparer une réponse, chercher une information manquante et mettre à jour un dossier. Très bien.

Mais à quel moment a-t-il le droit d'envoyer la réponse au client ? De modifier le prix ? D'engager une dépense ?

Ce ne sont pas des détails de configuration. Ce sont des décisions de pouvoir.

Je me méfie des démonstrations où l'on applaudit une machine parce qu'elle a tout fait seule. Elles prouvent parfois une capacité. Elles ne prouvent pas que cette capacité a reçu le bon mandat.

Une entreprise n'a pas besoin d'un assistant qui prend des initiatives partout. Elle a besoin de savoir où commence son initiative et où elle s'arrête.

« Un agent IA ne devrait jamais avoir carte blanche. »

Dans La souveraineté en couches, je défendais une idée simple : la couche qui compte vraiment, c'est la mémoire de l'entreprise. Ce texte pose la question suivante.

Une fois cette mémoire protégée, qui a le droit d'agir à partir d'elle ?

Une précision avant d'aller plus loin. Je ne propose pas de faire valider chaque clic. Une automatisation réversible et sans conséquence importante peut s'exécuter seule.

La frontière, c'est l'engagement : l'argent, les accès, la confidentialité, les obligations envers un client. Il faut la tracer avant que l'agent ne l'atteigne.

01 · Le piège de la démonstration

Bill Gates, Cofondateur de Microsoft

“Agents are not only going to change how everyone interacts with computers. They’re also going to upend the software industry, bringing about the biggest revolution in computing since we went from typing commands to tapping on icons.”

Bill Gates a raison sur l'ampleur ¹. Les agents vont changer la manière dont nous utilisons les logiciels, et probablement la manière dont on les vend. Je n'en doute pas une seconde.

Mais regardez comment cette révolution nous est présentée. Une démonstration sur scène, un agent qui enchaîne les tâches, une salle qui applaudit. On compte ce qu'il a terminé. On ne demande jamais ce qu'il avait le droit de faire.

Prenons un exemple, volontairement hypothétique. Un agent reçoit une demande de devis. Il lit le cahier des charges, retrouve les tarifs, rédige une offre propre et calcule une remise.

Techniquement, tout est réussi. Mais préparer une offre n'est pas engager l'entreprise auprès du client.

Le jour où cette offre part seule, avec une remise que personne n'a validée, l'agent n'a pas commis d'erreur technique. Il a pris une décision qui ne lui appartenait pas.

Mon avis : Un agent ne se mesure pas seulement au nombre d'actions qu'il termine. Il se mesure aussi à celles qu'il sait ne pas faire.

02 · Un objectif ne vaut pas une autorisation

Quand on confie une tâche à un agent, on lui donne un objectif. « Réponds aux demandes de devis. » « Réduis nos coûts logiciels. » « Range le dossier client. »

L'erreur classique consiste à croire que l'objectif suffit à définir le périmètre.

Anthropic décrit très bien ce glissement ². Demandez à un agent d'« organiser vos fichiers », et il peut décider de supprimer ce qu'il prend pour des doublons, puis de réorganiser toute l'arborescence.

Il ne cherche pas à nuire. Il cherche à bien faire, sans le contexte qui lui dirait où s'arrêter.

C'est pour cela que je parle de mandat. Un mandat répond à quatre questions : quelles données l'agent peut consulter, quels outils il peut utiliser, quelles actions lui sont interdites, et pour combien de temps.

Il faut aussi séparer deux notions que les outils confondent souvent : la capacité technique et la permission métier. Qu'un agent puisse envoyer un email ne veut pas dire qu'il en a le droit.

La fondation OWASP, qui fait référence en sécurité applicative, range ce risque parmi les dix principaux des applications d'IA générative, sous le nom d'« agentivité excessive » ³. Elle lui reconnaît trois causes : trop de fonctionnalités, trop de permissions, trop d'autonomie.

Son exemple est parlant. Un assistant chargé de résumer des emails reçoit aussi, par facilité, la possibilité d'en envoyer. Un message piégé lui demande alors de fouiller la boîte de réception et de transférer des informations sensibles à un tiers ³.

Le problème n'est pas le modèle. C'est le mandat.

D'où une règle que je tiens pour non négociable. Une instruction trouvée dans un document, un email ou une page web ne doit jamais devenir une nouvelle autorité.

L'agent lit ces contenus. Il ne reçoit pas d'ordres de leur part.

Mon avis : La permission ne se déduit pas de l'objectif. Elle s'écrit, avant que l'agent ne commence.

03 · Quatre degrés de délégation

Entre « l'humain fait tout » et « l'agent fait tout », il existe une échelle. Je la découpe en quatre degrés.

Ces degrés ne sont pas des catégories d'agents. Ils coexistent dans un même parcours.

Dans l'exemple du devis, l'agent lit librement, propose sans limite et exécute seul ce qui reste interne et réversible. Puis il s'arrête net, au moment précis où l'entreprise s'engage.

C'est la logique qu'Anthropic décrit pour son propre agent de programmation ². Par défaut, il peut lire et analyser sans demander la permission, mais il doit obtenir un accord avant toute action qui modifie le code ou les systèmes.

L'utilisateur peut ensuite lui accorder des permissions durables pour les tâches routinières qu'il lui confie en confiance. L'autonomie se gagne, elle ne se décrète pas.

Anthropic, Représentée par Dario Amodei, cofondateur et PDG

“A central tension in agent design is balancing agent autonomy with human oversight.”

Cette tension est réelle, et je ne prétends pas la résoudre avec un chiffre magique. Je ne fixerai pas ici de montant au-delà duquel un agent doit demander l'autorisation : ce seuil dépend de chaque entreprise, de son métier et de son exposition.

Ce qui ne dépend de personne, en revanche, c'est l'obligation de le fixer.

Mon avis : Le bon niveau d'autonomie n'est pas un réglage global. C'est une décision prise action par action, selon ce qu'elle engage.

04 · La mémoire n'est souveraine que si l'accès l'est

J'ai défendu l'idée que la mémoire d'une entreprise est sa couche la plus précieuse : ses clients, ses procédures, ses arbitrages passés. Les agents changent la nature du problème.

Une mémoire bien hébergée en Europe ne suffit pas si un agent y puise sans besoin métier. Ni s'il en transmet le contenu à un outil que personne n'a autorisé.

Bill Gates lui-même, dans le texte cité plus haut, écrivait qu'il faudra pouvoir décider à quelles informations l'agent a accès, pour être sûr que nos données ne sont partagées qu'avec les personnes et les entreprises que nous avons choisies ¹.

Anthropic pointe un risque voisin ². Un agent qui apprend une décision confidentielle en aidant un service peut la mentionner, par inadvertance, en aidant un autre. La mémoire fuit alors de l'intérieur, sans le moindre pirate.

Il faut donc distinguer deux choses. L'identité de connexion dit qui est entré. Le droit d'agir dit ce que cette personne, ou son agent, peut faire une fois à l'intérieur.

Le piège classique : connecter un agent avec un compte très large, « pour que ça marche ». Il hérite alors de droits que personne ne lui aurait accordés consciemment.

L'OWASP décrit précisément ce cas : une extension censée lire les documents d'un utilisateur, mais connectée avec un compte privilégié qui voit les fichiers de tous les utilisateurs ³.

L'OWASP recommande que toute action menée au nom d'un utilisateur s'exécute dans le contexte de cet utilisateur précis, avec les privilèges minimaux nécessaires ³.

« Un agent ne doit jamais voir plus que la personne pour qui il travaille. »

Mon avis : La souveraineté de la mémoire se joue autant dans les droits d'accès que dans l'adresse des serveurs.

05 · Le droit de reprendre la main

Déléguer, c'est accepter de ne pas tout surveiller en direct. Cela n'a de sens que si l'on peut, à tout moment, comprendre ce qui s'est passé et intervenir.

J'exige donc des traces compréhensibles. Pas un journal technique que seul un ingénieur sait lire : une ligne claire par action.

Ce que l'agent a tenté, avec quel outil, avec quel résultat, et sous quelle autorisation.

Il faut aussi être honnête sur ce que « reprendre la main » veut dire. Il y a trois gestes différents, que l'on confond trop souvent.

1. Arrêter : empêcher les actions futures. C'est le bouton d'arrêt, et il doit fonctionner immédiatement.
2. Corriger : remettre un dossier, un statut ou un document dans un état juste.
3. Annuler : défaire une action déjà faite. C'est parfois possible, souvent non.

Un email envoyé à un client n'est pas récupérable par magie. Un paiement exécuté, une information transmise, une promesse faite non plus.

C'est précisément pour cela que la validation doit se placer avant ces actions-là. Pas après.

Mon avis : Un agent qu'on ne peut ni comprendre ni arrêter n'est pas un collaborateur. C'est un risque qu'on a choisi de ne pas regarder.

06 · L'argument de la vitesse, pris au sérieux

Sam Altman, Cofondateur et PDG d'OpenAI

“We believe that, in 2025, we may see the first AI agents ‘join the workforce’ and materially change the output of companies.”

On m'oppose souvent l'argument de la vitesse. Sam Altman annonçait dès janvier 2025 que les premiers agents pourraient « rejoindre le monde du travail » et changer sensiblement la production des entreprises ⁴.

Si chaque action doit attendre une validation, à quoi bon ?

L'objection est sérieuse. Un agent qui demande la permission toutes les trente secondes est inutilisable. Les équipes finiront par tout valider sans lire, ce qui est pire que de ne rien valider du tout.

Mais regardez ce qu'écrivent les constructeurs eux-mêmes. Dans son guide pratique sur les agents, OpenAI recommande que les actions sensibles, irréversibles ou à fort enjeu déclenchent une supervision humaine, tant que la confiance dans la fiabilité de l'agent n'est pas établie ⁵.

Ses exemples parlent d'eux-mêmes : annuler une commande, autoriser un remboursement important, effectuer un paiement.

Anthropic, de son côté, conseille de commencer par la solution la plus simple possible. Et de tester longuement les agents dans des environnements isolés, avec des garde-fous adaptés ⁶.

Personne, parmi ceux qui construisent ces systèmes, ne recommande la carte blanche. Ils recommandent l'inverse : une confiance qui se gagne.

« L'autonomie doit grandir avec la maîtrise du risque, pas avec l'enthousiasme d'une démonstration. »

Ma réponse à l'argument de la vitesse tient en deux mots : validation proportionnée.

Aucune friction sur ce qui est interne et réversible. Une validation claire, rapide, en un geste, sur ce qui engage. Et des essais contrôlés avant d'élargir le mandat.

Concrètement, je recommande de faire d'abord travailler un nouvel agent au degré « proposer ». On observe ce qu'il aurait fait, on compare avec ce qu'une personne aurait décidé, on corrige le mandat.

Ce n'est qu'ensuite qu'on lui ouvre l'exécution, sur un périmètre étroit, puis plus large. Exactement comme on le ferait avec un nouveau collaborateur.

Mon avis : La vitesse n'est pas l'ennemie du contrôle. C'est l'absence de mandat qui ralentit tout, parce que personne n'ose déléguer.

07 · Ce que cela exige de moi comme fondateur

Il serait facile d'écrire tout cela depuis un pupitre. Je construis des outils IA, dont des agents, et ces principes me contraignent d'abord moi-même.

Je les présente ici comme des exigences de conception que je m'impose, pas comme une liste de fonctions à cocher.

Ces exigences prolongent des choix déjà décrits publiquement sur notre page consacrée à la souveraineté : plusieurs moteurs IA plutôt qu'un seul, aucune utilisation de vos contenus pour entraîner des modèles, un accès protégé par biométrie sur nos apps.

Elles ont un coût. Un agent qui s'arrête pour demander un accord paraît moins spectaculaire en démonstration. J'assume ce coût.

Mon avis : Un fondateur qui vend des agents doit pouvoir dire, pour chacun, ce qu'il n'a pas le droit de faire.

08 · Cinq questions avant de confier une tâche

Vous n'avez pas besoin d'être ingénieur pour encadrer un agent. Vous avez besoin de cinq réponses, avant de lui confier quoi que ce soit.

Si votre fournisseur hésite sur l'une de ces réponses, ce n'est pas un détail technique. C'est que personne n'a encore écrit le mandat.

Le cadre européen, du RGPD à l'AI Act, pousse vers davantage de supervision humaine. Mais ces questions relèvent d'abord de la gestion : n'attendez pas un texte de loi pour les poser.

Se distinguer par la qualité du mandat

La course aux agents ressemble, pour l'instant, à la course aux modèles : qui fera le plus, le plus vite, le plus seul. L'Europe n'a aucune raison de jouer ce match sur ce terrain.

Elle peut se distinguer ailleurs. Par la qualité du mandat. Par des agents puissants, qui savent exactement où s'arrête leur droit d'agir.

C'est un terrain où nos habitudes jouent pour nous. Délégation de signature, contrôle interne, séparation des pouvoirs : nos entreprises savent déjà encadrer un pouvoir confié.

Il reste à l'appliquer aux machines.

« L'avenir n'appartient pas à l'agent qui fait tout seul. Il appartient à celui qu'on peut laisser travailler. »