Tesla a récemment annoncé la dernière version de son logiciel de voiture autonome, à la suite du rôle du logiciel dans une douzaine de collisions signalées avec des véhicules d’urgence qui font l’objet d’une enquête de l’agence fédérale. Bien que ces collisions se soient produites pour diverses raisons, un facteur majeur est que l’intelligence artificielle qui conduit la voiture n’est pas habituée à voir des lumières clignotantes et des véhicules tirés sur l’épaule, de sorte que les algorithmes sous-jacents réagissent de manière imprévisible et catastrophique.
Les systèmes d’IA modernes sont «formés» sur des ensembles de données massifs de photographies et de séquences vidéo provenant de diverses sources, et utilisent cette formation pour déterminer le comportement approprié. Mais, si les images n’incluent pas de nombreux exemples de comportements spécifiques, comme la façon de ralentir à proximité des véhicules d’urgence, l’IA n’apprendra pas les comportements appropriés. Ainsi, ils s’écrasent sur des ambulances.
Compte tenu de ces types d’échecs désastreux, une tendance récente de l’apprentissage automatique consiste à identifier ces cas négligés et à créer des données d’entraînement « synthétiques » pour aider l’IA à apprendre. En utilisant les mêmes algorithmes que ceux utilisés par Hollywood pour assembler l’Incroyable Hulk dans « The Avengers: Endgame » à partir d’un flux de uns et de zéros, des images photoréalistes de véhicules d’urgence qui n’ont jamais existé dans la vie réelle sont invoquées à partir de l’éther numérique et transmises à l’IA.
J’ai conçu et utilisé ces algorithmes au cours des 20 dernières années, en commençant par le logiciel utilisé pour générer le chapeau de tri dans « Harry Potter à l’école des sorciers », en passant par les films récents de Pixar, où j’étais chercheur principal. .
L’utilisation de ces algorithmes pour entraîner des IA est extrêmement dangereuse, car ils ont été spécialement conçus pour représenter des humains blancs. Toute la physique, l’informatique et les statistiques sophistiquées qui sous-tendent ce logiciel ont été conçues pour représenter de manière réaliste la lueur diffuse de la peau pâle et blanche et les reflets lisses des cheveux longs et raides. En revanche, les chercheurs en infographie n’ont pas systématiquement étudié la brillance et la brillance qui caractérisent les peaux foncées et noires, ni les caractéristiques des cheveux à texture afro. En conséquence, la physique de ces phénomènes visuels n’est pas encodée dans les algorithmes hollywoodiens.
Certes, des Noirs synthétiques ont été représentés dans des films, comme dans le film Pixar de l’année dernière « Soul ». Mais dans les coulisses, les éclairagistes ont découvert qu’ils devaient pousser le logiciel bien au-delà de ses paramètres par défaut et apprendre toutes les nouvelles techniques d’éclairage pour créer ces personnages. Ces outils n’ont pas été conçus pour faire des humains non blancs ; même les artistes les plus techniquement sophistiqués du monde se sont efforcés de les utiliser efficacement.
Quoi qu’il en soit, ces mêmes algorithmes de génération d’humains blancs sont actuellement utilisés par des start-ups comme Datagen et Synthesis AI pour générer des ensembles de données humaines «divers» spécifiquement destinés à être consommés par les IA de demain. Un examen critique de certains de leurs résultats révèle les mêmes tendances. La peau blanche est fidèlement représentée, mais l’éclat caractéristique de la peau noire est soit manquant de manière inquiétante, soit sur-éclairé de manière pénible.
Une fois que les données de ces algorithmes défectueux seront ingérées par les IA, la provenance de leurs dysfonctionnements deviendra presque impossible à diagnostiquer. Lorsque les Tesla Roadsters commenceront à courir de manière disproportionnée sur des ambulanciers paramédicaux noirs ou des résidents d’Oakland avec des coiffures naturelles, les voitures ne pourront pas signaler que « personne ne m’a dit à quoi ressemblait la peau noire dans la vraie vie ». Le comportement des réseaux de neurones artificiels est notoirement difficile à remonter à des problèmes spécifiques dans leurs ensembles d’apprentissage, ce qui rend la source du problème extrêmement opaque.
Les données d’entraînement synthétiques sont un raccourci pratique lorsque la collecte dans le monde réel est trop coûteuse. Mais les praticiens de l’IA devraient se demander : étant donné les conséquences possibles, cela en vaut-il la peine ? Si la réponse est non, ils devraient pousser à faire les choses à la dure : en collectant les données du monde réel.
Hollywood devrait faire sa part et investir dans la recherche et le développement d’algorithmes qui soient rigoureusement, mesurables et manifestement capables de représenter l’ensemble de l’humanité. Non seulement cela élargira la gamme d’histoires qui peuvent être racontées, mais cela pourrait littéralement sauver la vie de quelqu’un. Sinon, même si vous reconnaissez que la vie des Noirs compte, votre voiture ne le sera bientôt plus.
Theodore Kim est professeur agrégé d’informatique à l’université de Yale. @TheodoreKim
