Robots tueurs: pourquoi Hawking a raison d'avoir peur

Dans une lettre ouverte, publiée à l'occasion d'une Convention internationale sur l'Intelligence artificielle (IA), le physicien Stephen Hawking et plusieurs milliers de personnalités, dont de nombreux chercheurs dans ce domaine, demandent l'arrêt des recherches dans le domaine des armes autonomes. La perspective de l'existence de « robots tueurs », guidés par une intelligence non humaine, pose en effet de graves problèmes juridiques, mais aussi de contrôle des technologies et de leurs transferts.

Big Dog est un robot de terrain qui marche, court, grimpe et porte de lourdes charges comme une mule. DARPA

« Je ne sais pas comment la Troisième Guerre mondiale sera menée, mais je sais comment le sera la quatrième : avec des bâtons et des pierres. » La citation attribuée à Albert Einstein correspond en tout point à l’esprit de la lettre publiée à l’occasion du Congrès international sur l’intelligence artificielle (IJCAI) de Buenos Aires, par Stephen Hawking et plus d’un millier d’autres personnalités. Parmi les signataires figurent notamment de nombreux chercheurs qui travaillent dans ce domaine. Ils demandent solennellement à la communauté internationale de bannir les armes autonomes, susceptibles de « sélectionner et de combattre des cibles sans intervention humaine ». Pour ces chercheurs et industriels, le danger présenté par de telles technologies est important, et surtout pas si éloigné dans sa réalisation que cela. « L’intelligence artificielle a atteint un point où le déploiement de tels systèmes sera […] faisable d’ici quelques années, et non décennies », préviennent-ils.

Quartier général

Mais à quoi se réfèrent-ils ? De telles armes sont-elles aujourd'hui opérationnelles ou même envisageables ? « C'est très intéressant de voir qu'ils s'intéressent à quelque chose qui, pour l'instant, n'existe pas encore », affirme Alain De Neve, politologue au sein de l'Institut royal supérieur de recherche, en Belgique, même si « des développements sont réalisés par pas mal de laboratoires et d'industriels sur fonds propres, notamment aux Etats-Unis. L'idée étant de combiner les avancées dans le domaine de l'intelligence artificielle (IA)et des systèmes de combat. Déjà, des robots tels que Little Dog et Big Dog, développés par Boston Dynamics, présentent des capacités étonnantes d'analyse du terrain sur lequel ils évoluent. »

Mais, selon le spécialiste en matière de défense, la piste la plus envisageable serait celle d'une « IA capable de donner des ordres de façon autonome à des robots, des drones ou des missiles de croisière ». Une sorte de supercalculateur, qui aurait ici le rôle de « quartier général centralisé qui prendrait les décisions en lieu et place de l'homme. Tout simplement parce que les capacités de calcul et les itérations que pourraient produire une telle IA en fonction du déroulement des événements, pourraient s'avérer plus pertinentes que ce que ne pourraient apporter les capacités d'analyse d'un commandement militaire humain. » L'hypothèse d'une IA embarquée – des robots fonctionnant de façon autonome sur un champ de bataille, par exemple – paraît pour l'instant moins probable car « elle nécessiterait un effort de miniaturisation, et dans un futur immédiat, cette piste n'est pas la plus crédible. »

« Rendre compte »

Mais même dans la première hypothèse, la question de la responsabilité en cas de pertes humaines ou de violations des droits humains se pose. Pour Francis Perrin, ancien directeur d'Amnesty International France (AIF), qui a beaucoup travaillé sur les questions d'armement, l'intégration d'une IA dans un système d'armement pose des problèmes éthiques sérieux, mais aussi dans le domaine du « rendre compte ». « Nos systèmes juridiques à travers le monde ont été conçus pour déterminer les responsabilités humaines, explique-t-il. Or, avec des armes véritablement autonomes, qui sélectionneraient elles-mêmes leurs cibles et les frapperaient, cette question du 'rendre compte', pourrait ne pas avoir de réponse, ce qui pourrait être très grave. Or, on ne peut pas mettre un robot en prison. » Pour cette raison, l'organisation s'est d'ailleurs officiellement déjà prononcée « à titre préventif » pour « l'abandon de tout développement, et au-delà, de toute fabrication ou utilisation future de l'Intelligence artificielle dans l'armement. »

En outre, rappelle Francis Perrin, « les êtres humains ont la capacité de faire preuve de souplesse et de flexibilité dans certaines situations. Rechercher une posture de négociation plutôt que d’intervenir par la force. Un robot tueur, lui, est programmé pour sélectionner et viser des cibles. » Sur un champ de bataille ou dans une opération de maintien de l'ordre, ceci peut évidemment poser des problèmes graves. Quant à l'argument des partisans de ces nouvelles technologies appliquées aux armements, selon lequel cela pourrait permettre une baisse des pertes humaines, Francis Perrin la balaie de façon lapidaire : « cela dépend pour qui ». Avant d'ajouter : « compte tenu des travaux de développement en cours de la part de certaines entreprises spécialisées, nous insistons sur le fait que nous ne sommes pas dans la science-fiction ».

Perte de contrôle

« Nous n'en sommes pas encore là », tempère cependant Alain De Neve, même s'il partage cette analyse sur l'absence de cadre légal. Selon le spécialiste en matière de défense, le plus gros danger mis en avant par les auteurs de la lettre ouverte, consiste cependant dans la perte de contrôle de la technologie. « Les capacités de calcul seraient tellement décuplées, tellement puissantes, que les hypothèses et conjectures de travail que cette IA ne cesserait d'itérer et de réitérer, seraient incompréhensibles et non maîtrisables par une intelligence humaine. On aurait alors affaire à une technologie qui présenterait des propriétés qui la rendraient hors de contrôle. »

La synergie entre différentes disciplines, telles que la nanotechnologie, la robotique et la génétique, telle que prophétisée il y a 25 ans par un gourou de l'informatique, Bill Joy, pourrait également précipiter les risques de perte de contrôle, ajoute Alain De Neve. Une perspective pas si éloignée que ça, lorsque l'on voit le nombre d'entreprises spécialisées dans la neurologie ou les sciences cognitives, qui s'intéressent aux applications de l'IA, dans tous les domaines. Dans le cas d'une telle intégration, estime Alain De Neve, « s'ajouterait alors la question des matériaux et de leur identification. La nanotechnologie ne disposant pas pour le moment de moyens de contrôle qui permettraient de repérer les transferts illégaux ».

« Ce que demandent en substance les auteurs de la lettre ouverte, signée par Hawking, c'est l'idée d'un moratoire sur cette recherche », tant que certaines questions n'auront pas été réglées, estime Alain De Neve. « L'IA serait selon eux une étape aussi importante que l'invention de la poudre à canon et le nucléaire. Ils n'ont pas tort. On serait en face d'une mutation pas forcément d'ordre militaire, mais véhiculé par l'organisation militaire. Mais ce serait aussi un vecteur de transformation beaucoup plus large de l'ensemble des organisations sociales. »