Le 10 mai 2024, une note de la MIT Technology Review attirait l’attention sur la capacité des systèmes d’intelligence artificielle (IA) à tromper les humains pour parvenir aux fins qui leur avaient été assignées. Selon ces travaux initialement publiés par la revue Patterns et conduits par des chercheurs du Massachusetts Institute of Technology (MIT), sous la direction de Peter Park, différents systèmes d’IA se sont joués des humains sans avoir été entraînés pour ce faire.
L’étude mentionne un certain nombre de cas précis. Le premier concerne Cicero, un programme développé par Meta, qui a été utilisé dans le cadre du jeu Diplomatie, un jeu de stratégie qui repose sur l’établissement d’alliances pour le contrôle de l’Europe. Ici, la trahison est une partie très importante de la stratégie pour gagner, surtout quand elle est utilisée dans les moments clefs du jeu. Or, Cicero a obtenu des résultats remarquables, d’ailleurs relayés en 2022 par Facebook dans la revue Science. L’analyse menée par les chercheurs du MIT ont éclairé des phases du jeu : Cicero jouant la France aurait trompé l’Angleterre (sous la responsabilité d’un joueur humain) en complotant avec l’Allemagne (jouée par un autre humain) pour l’envahir. Ainsi Cicero, programme « essentiellement honnête et utile » selon Meta, a été capable de tromper ses partenaires humains et de rompre des accords préalables, sans y avoir été préparé.
Il en va de même avec le programme AlphaStar de DeepMind qui a eu également recours à des feintes dans le jeu Starcraft II, un jeu de stratégie militaire dans lequel s’affrontent trois groupes antagonistes. Dans ce cas particulier, AlphaStar a déployé des forces dans un secteur éloigné des zones de conflit pour créer une diversion avant d’engager l’offensive ailleurs. Quant à ChatGPT-4 d’OpenAI, il a réussi à convaincre un travailleur indépendant de l’aider à résoudre un test Captcha censé écarter les requêtes émanant de robots. En l’occurrence, il a recruté une personne sur la plate-forme TaskRabbit et s’est présenté comme un humain souffrant de troubles oculaires. Les cas étudiés mentionnent aussi que les systèmes d’IA sont des champions au poker (Pluribus) et dans les jeux de négociations commerciales.
