Qu’est-ce qu’une arme létale autonome ?

Un robot dirigé à distance par un soldat américain, en Géorgie (Etats-Unis), en 2010. Photo Max Aguilera-Hellweg
Un robot dirigé à distance par un soldat américain, en Géorgie (Etats-Unis), en 2010. Photo Max Aguilera-Hellweg

Les «armes autonomes», quand ce ne sont pas les «robots tueurs», font l’objet, depuis environ trois ans, de nombreux articles de presse, lettres ouvertes et débats, dont on peut constater le caractère sensationnel et anxiogène des arguments avancés, ainsi que la quasi-absence d’explications et d’arguments scientifiques et techniques. Depuis 2014, le débat est engagé à l’ONU à Genève, dans le cadre de la convention sur certaines armes classiques, sur la question d’une interdiction ou d’un moratoire sur le développement de telles armes.

Le vocable de robot tueur suggère que le robot serait animé par l’intention de tuer, voire qu’il en serait conscient, ce qui n’a évidemment pas de sens pour une machine, quand bien même elle a été conçue et programmée pour détruire, neutraliser ou tuer : on ne parle pas de «missile tueur». Il s’agit là d’une rhétorique du pathos qui entrave par nature la discussion éthique, mais qui est utilisée pour rechercher un effet de rejet sur le public.

L’«autonomie» est également problématique, d’abord par le fait que les différentes parties prenantes, et, en premier lieu, les scientifiques, accordent à ce terme des acceptions multiples. Une «arme autonome» peut ainsi désigner un engin qui réagit automatiquement à certains signaux prédéfinis, qui optimise sa trajectoire pour aller neutraliser un objectif dont il aura reconnu automatiquement une signature prédéfinie, ou qui cherche automatiquement dans une zone donnée une cible prédéfinie. Plutôt donc que de parler d’arme autonome, il semble plus pertinent d’étudier quelles fonctions sont, ou pourront être, automatisées, c’est-à-dire déléguées à des programmes informatiques, et avec quelles limitations, dans le cadre d’un partage de l’autorité (ou du contrôle) avec un opérateur humain qui peut varier au cours de la mission.

Les discussions et controverses actuelles portent sur le fait qu’une arme puisse être dotée de la capacité de reconnaître des cibles complexes, dans des situations et des environnements eux-mêmes complexes, et de la capacité d’engager de telles cibles sur la seule base de cette reconnaissance. Les difficultés sont liées au fait de pouvoir comprendre automatiquement une situation, et en particulier les intentions des cibles potentielles. Aujourd’hui, les actions sont engagées sous supervision humaine à l’issue d’un processus d’appréciation de la situation, qu’il semble difficile de formuler sous forme mathématique.

Au-delà des aspects techniques et légaux, la question est aussi de savoir s’il est éthiquement admissible que la décision de supprimer un être humain identifié par une machine puisse être déléguée à cette machine. Plus précisément, on doit se demander, au sujet des algorithmes dont serait dotée cette machine, comment et par qui seraient établies la caractérisation, la modélisation et l’identification des objets d’intérêt, ainsi que la sélection de sous-ensembles d’informations (au détriment de certaines autres) pour calculer la décision. Il s’agit aussi de savoir qui spécifierait ces algorithmes et comment il serait démontré qu’ils sont conformes aux conventions internationales et aux règles d’engagement. En outre, la question de la responsabilité est centrale : qui devrait être responsable en cas de violation des conventions, ou de détournement d’usage ? Car, au-delà des armes proprement dites, il est également important de réfléchir, en parallèle à leur conception, aux potentiels détournements d’usage d’objets autonomes à des fins d’attaque. Comment la voiture autonome ou le drone de loisir peuvent-ils être rendus robustes au piratage et à la modification malveillante ? La disponibilité et la large diffusion des logiciels de programmation et d’apprentissage, ainsi que de machines, comme les drones de loisir, peuvent également faciliter la fabrication d’armes autonomes improvisées, rendant la prolifération incontrôlable.

Face à ces questions, plusieurs organisations internationales, dont en particulier une initiative au sein de l’IEEE (une association de réflexion sur les progrès technologiques), appellent à ce qu’une arme dite «autonome» soit toujours sous «contrôle humain significatif», c’est-à-dire que la décision d’engager une cible soit toujours prise par un être humain. D’un point de vue technique, il s’agit alors de vérifier qu’un être humain dispose, en toutes circonstances, des informations suffisantes et du temps pour prendre cette décision, et de cerner en quoi les informations - voire les propositions de décisions - calculées, sélectionnées et transmises par la machine, influencent l’appréciation et la décision humaines. Les préconisations formulées portent sur l’ensemble des technologies des systèmes autonomes et intelligents. En ce qui concerne les armes, elles précisent quelques principes dont la prévisibilité, la traçabilité, ou l’identification claire des responsabilités humaines. Les systèmes adaptatifs et apprenants devraient ainsi être conçus de sorte qu’ils puissent expliquer leur raisonnement et leurs décisions aux opérateurs humains de manière transparente et compréhensible, ces derniers demeurant responsables de la mise en œuvre de ces dispositifs.

Un problème particulier se pose aussi pour les essaims d’armes autonomes : des systèmes ayant un comportement prévisible peuvent, dans un déploiement en essaim, adopter un comportement émergent non prévu. Ce type d’usage devrait donc être évité. Soulignons enfin que si les armes autonomes peuvent aider à gagner une guerre, l’effet psychologique de leur usage sur les populations qui en seront victimes risque fort d’empêcher de gagner la paix.

Raja Chatila, Institut des systèmes intelligents et de robotique (Isir), UMR Sorbonne-Université-CNRS 7222
Catherine Tessier, Onera.

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *