Intelligence artificielle, une technologie en demande d’éthique (2018)
Sans être devin, on peut dire sans grand risque de se tromper que l’intelligence artificielle sera la révolution de notre siècle. Celle-ci vient à la rencontre de la technologie, de l’humain, de l’éthique et de la morale. Et c’est ce qui la rend si passionnante. Plusieurs acteurs de l’IA comme DeepMind ont déjà incorporé les notions d’éthique au cœur de leur culture d’entreprise, car faire la science avec conscience est ici la seule voie possible.
Dans un précédent article sur les étonnantes applications de l’apprentissage profond, j’avais abordé les premiers succès de la société DeepMind qui étaient d’avoir développé, au début des années 2010, un agent intelligent capable de devenir par lui-même un champion de différents jeux vidéo. Grâce à la technique de l’apprentissage profond par renforcement (« Deep reinforcement learning »), le programme essaye d’abord de découvrir le fonctionnement du jeu par la méthode essais-erreurs puis affine progressivement sa technique avec un seul but, obtenir le meilleur score. Et la stratégie s’est révélée redoutablement efficace sur des jeux classiques comme Breakout, Pong et Space Invaders.
Depuis, la startup anglaise est devenue une grande entreprise et un important acteur de l’intelligence artificielle à l’échelle mondiale. Rachetée par Google/Alphabet en 2014 pour plus de 500 millions de dollars, elle est aujourd’hui présente non seulement à Londres, mais aussi à Mountain View en Californie et à Edmonton et Montréal au Canada. Et le logiciel champion de Breakout est devenu AlphaGo Zero, qui peut apprendre et maîtriser en quelques heures les jeux plus complexes, comme le go, les échecs et le shogi, simplement en jouant contre lui-même et sans recours à une bibliothèque de parties jouées par des humains. Au jeu de go, il surpasse ses itérations précédentes comme AlphaGo Lee, le logiciel qui avait battu les champions du monde Lee Sedol et Ke Jie, devenant sans doute le joueur de go le plus fort de tous les temps.
Un détail intéressant sur la transaction de 2014 est que DeepMind avait posé une condition pour accepter l’offre de Google : qu’il soit institué un comité d’éthique et de sécurité ayant, entre autres, le pouvoir de contrôler les transferts de technologie entre DeepMind et Google. Les questions morales et éthiques sont en effet au cœur de la culture de l’entreprise et une appréciable partie de ses chercheurs travaillent dans ce domaine. Ces questions ne sont pas à prendre à la légère : Nick Bostrom, le philosophe suédois qui enseigne à l’université d’Oxford, avance dans son livre Superintelligence paru en 2014 que des super-intelligences artificielles pourraient finir par détruire l’humanité en donnant la priorité à ses objectifs simples, à l’exclusion de tout le reste.
« À mon avis, il est tout à fait approprié qu’une organisation qui a pour ambition de ‘solutionner l’intelligence’ dispose d’un processus de réflexion sur ce que voudrait dire la réussite, même s’il s’agit d’un objectif à long terme », a déclaré M. Bostrom l’année dernière au quotidien britannique The Guardian qui l’interrogeait au sujet du comité d’éthique de DeepMind. « La création d’une IA ayant les mêmes puissantes capacités d’apprentissage et de planification que celles qui rendent les humains intelligents sera un tournant décisif. Lorsque nous y parviendrons, cela soulèvera une foule de questions d’éthique et de sécurité qu’il faudra examiner attentivement. Il est bon de commencer à les étudier à l’avance plutôt que d’attendre la veille de l’examen pour se préparer. »
Parmi les lanceurs d’alerte, on compte aussi Stephen Hawking qui avait déclaré en 2014 à la BBC : « Le développement de l’intelligence artificielle complète pourrait signifier la fin de la race humaine. » L’année suivante, Bill Gates exprimait lui aussi ses inquiétudes sur le futur de l’IA. Le fondateur de Microsoft avait dit qu’il ne comprenait pas les gens qui n’étaient pas troublés par la possibilité que l’IA puisse devenir trop forte pour que les gens puissent la contrôler, contredisant ainsi l’un des chefs de Microsoft Research, Eric Horvitz, qui avait déclaré qu’il ne considérait pas « fondamentalement » l’IA comme une menace. La déclaration de Bill Gates suivait celle faite par Elon Musk devant un parterre d’étudiants de l’Institut de technologie du Massachusetts (MIT) : « Je pense que nous devrions faire très attention à l’intelligence artificielle. Si je devais deviner quelle est notre plus grande menace existentielle, c’est probablement celle-là. Nous devons donc être très prudents. » Et l’entrepreneur d’ajouter : « Avec l’intelligence artificielle, nous invoquons le démon. »
Sans vouloir diaboliser à tout prix l’intelligence artificielle, il paraît raisonnable de poser des garde-fous à la recherche et à l’utilisation de la technologie. Aussi, il est tout à fait estimable que DeepMind se dote d’outils comme un comité d’éthique et contribue à la recherche sur la sécurité de l’intelligence artificielle (« AI Safety ») pour faire en sorte que les futures superintelligences soient amicales plutôt qu’hostiles. Vous n’avez sûrement pas envie d’être à l’avenir à la place d’un David Bowman à argumenter avec un HAL 9000 dysfonctionnel sur un sujet d’importance tout humaine : votre propre survie.
Comme pour d’autres technologies qui ont fait naître des désastres dans le passé, ce n’est pas tant intrinsèquement que la technologie est porteuse de danger, c’est plutôt ce qu’en font les humains. Deux écueils peuvent mener à la catastrophe : de mauvaises intentions (par exemple créer une bombe nucléaire pour tuer un maximum de civils) et une mauvaise maîtrise technologique (par exemple la fusion du cœur de la centrale Tchernobyl).
DeepMind s’est déjà penchée sur le problème de la mauvaise maîtrise, car les incidents avec les systèmes d’apprentissage machine, certes bénins, se produisent déjà. Ils prennent la forme de comportements non intentionnels et nuisibles qui sont dus à une faille dans la conception. On a déjà eu des exemples frappants de dérapages inintentionnels d’intelligences artificielles. On se souviendra par exemple du « chatbot » de Microsoft qui était devenu en quelques heures un épouvantable raciste sur Twitter, à tel point qu’il avait dû être débranché et avait suscité nombre de moqueries sur les réseaux et dans les médias.
Victoria Krakovna est une scientifique qui travaille chez DeepMind sur les questions de la sécurité de l’IA. Sur son blogue personnel, elle a rendu public un document où elle recense avec l’aide de collègues des exemples d’agents intelligents qui ont eu des comportements aussi inattendus que non souhaités par leurs créateurs. Beaucoup de ces incidents sont hilarants, mais ils font réfléchir. La plupart mettent en jeu des agents intelligents comme ceux qui ont fait les débuts de DeepMind, aux prises avec des jeux vidéo. Les conséquences des dérapages sont tout à fait bénignes, voire positives tant elles suscitent le rire. Mais, des accidents similaires sur des systèmes mettant en jeu la santé et la sécurité humaine pourraient avoir un tout autre niveau de conséquences et soulèvent des questions de morale et d’éthique. Ce ne sont pas des questions du futur, mais bel et bien du présent, avec des technologies comme la conduite autonome.
Un type intéressant de comportement inattendu est lorsque l’agent trouve un moyen de tricher avec l’objectif qui lui est donné, c’est-à-dire qu’il génère une solution qui satisfait littéralement l’objectif fixé, mais ne parvient pas à résoudre le problème selon les intentions du concepteur humain. Cela se produit lorsque l’objectif est mal spécifié. Dans le tableau de Victoria Krakovna, on trouve l’exemple de l’agent intelligent qui met indéfiniment en pause le jeu Tetris juste au moment de la chute de la brique qui va le faire perdre. L’agent ne perd effectivement pas, mais on ne peut pas dire qu’il gagne. Un autre agent découvre qu’une solution créative pour ne pas être tué dans un jeu est de faire intentionnellement planter le logiciel. Les agents sont très efficaces pour détecter et exploiter les bogues logiciels. Ils réalisent souvent des actions qu’aucun humain n’aurait l’idée de faire, révélant ainsi des failles ignorées. Il y a aussi l’agent kamikaze qui se suicide à la fin du niveau 1 d’un jeu pour éviter de perdre au niveau 2.
Dans d’autres exemples, les systèmes d’apprentissage machine exploitent des failles dans le corpus de données qui leur est soumis. Ainsi, une IA formée à détecter les lésions cutanées potentiellement cancéreuses apprend que les lésions photographiées à côté d’une règle sont plus susceptibles d’être malignes. Un autre réseau neuronal destiné à différencier les champignons comestibles des vénéneux, a tiré parti des données qui étaient présentées dans un ordre alterné pour faire son classement, sans rien apprendre des caractéristiques des champignons. Ces systèmes sont naturellement enclins à tricher, car leur fonctionnement induit souvent de gagner une récompense en délivrant le moindre effort. De nombreux élèves humains ont eux aussi découvert que le meilleur moyen d’avoir une bonne note sans trop travailler était la triche. La différence est que les systèmes d’apprentissage machine ne sont que des outils évolués de tri statistique qui n’ont aucune notion du bien et du mal, aucune notion morale. Dans un tweet humoristique, Joscha Bach, chercheur au Programme de dynamique évolutive de l’université Harvard, a défini le théorème de Lebowski, en référence au héros fainéant du film des frères Coen : « Aucune IA superintelligente ne va s’ennuyer avec une tâche plus difficile que le piratage de sa fonction de récompense. » (“No superintelligent AI is going to bother with a task that is harder than hacking its reward function.”)
Plus l’humain va déléguer des responsabilités importantes aux formes d’intelligence artificielle, autres que celles ayant pour objectif de devenir le champion d’un jeu, plus les risques réels vont devenir un enjeu majeur. Des lanceurs d’alertes prestigieux ne sont pas à prendre dédaigner, les dangers sont déjà là et identifiés. Et la complexité des problématiques vient du fait que les applications de l’intelligence artificielle sont au carrefour de la science, de l’éthique et de la morale. Science sans conscience n’est que ruine de l’âme, et excessive confiance dans la technologie n’est qu’aveuglement de l’intelligence. Des entreprises spécialisées comme DeepMind ont à cœur de maîtriser les conséquences de leurs recherches, mais rien n’exclut que d’autres agissent sans cadre, possiblement avec de mauvaises intentions ou pour le moins avec légèreté et insouciance. L’IA peut aussi être détournée par des États, des gouvernements et des groupuscules à des fins néfastes. Les agents « hackers » nous amusent, mais ils soulèvent la question de la sécurité qui va devenir fondamentale aux développements de la technologie et, tôt ou tard, les autorités publiques et les législateurs vont braquer leurs projecteurs sur le sujet. C’est pour cela que les entreprises du domaine, comme DeepMind, font bien d’anticiper et d’incorporer l’éthique au centre de leur pratique.
Artificial Intelligence: a science in need of a conscience
It doesn’t take a rocket scientist to figure out that artificial intelligence will be the great revolution of our century. AI stands at the crossroads of technology, ethics, morality, and the human factor. And that’s what makes it so fascinating. Several AI heavyweights, among them DeepMind, have already squarely placed ethics at the centre of their corporate culture, a reminder that science rhymes with conscience.
In a previous article about deep learning’s amazing applications, I wrote about DeepMind and its early successes. Back in the early 2010s, DeepMind developed an intelligent agent that taught itself to play various video games, quickly becoming unbeatable. Thanks to Deep Reinforcement Learning, the programme first learned the principles of the game through trial and error, then refined its technique in pursuit of the highest score possible. This strategy proved formidable for classic games like Breakout, Pong and Space Invaders.
Since then, this British start-up has become a large corporation and a major international player in artificial intelligence. Bought out by Google/Alphabet in 2014 for over 500 million dollars, it has augmented its headquarters in London, England with offices in Mountain View, California, and Edmonton and Montreal in Canada. The master of Breakout has evolved into AlphaGo Zero, a programme able to master more complex games, including Go, chess and Shogi, in a matter of hours. The programme learns just by playing against itself, doing away with the lengthy process of digesting a database of games previously played by humans. In fact, AlphaGo Zero has surpassed its previous iteration, AlphaGo Lee, which had beaten world champions Lee Sedol and Ke Jie, thus probably becoming the all-time world champion of Go.
An interesting aspect of the 2014 transaction is that DeepMind’s acquisition by Google was conditional on the creation of a safety and ethics committee whose mandate would include the oversight of technology transfers between the two companies. Indeed, the issues of morality and ethics are so central to DeepMind’s corporate culture that a not insignificant number of its staff work in this field. And rightly so. Nick Bostrom, a Swedish philosopher who teaches at Oxford University, writes in his book Superintelligence, published in 2014, that artificial superintelligence could destroy humankind by prioritizing its specified simple goal above all else, including the human factor.
“In my opinion, it’s very appropriate that an organisation that has as its ambition to ‘solve intelligence’ has a process for thinking about what it would mean to succeed, even though it’s a long-term goal,” Bostrom said last year to the British newspaper The Guardian who asked him about the DeepMind Ethics Committee. “The creation of AI with the same powerful learning and planning abilities that make humans smart will be a watershed moment. When eventually we get there, it will raise a host of ethical and safety concerns that will need to be carefully addressed. It is good to start studying these in advance rather than leave all the preparation for the night before the exam.”
Another whistleblower, Stephen Hawking, told the BBC in 2014: “The development of full artificial intelligence could spell the end of the human race.” The following year, Microsoft founder Bill Gates voiced his concerns about the future of AI, saying he just didn’t understand how people could not worry about AI becoming so powerful that humans could no longer control it. This statement was directly at odds with one of the heads of Microsoft Research, Eric Horvitz, who said that he didn’t “fundamentally” believe that AI could become a threat. Bill Gates’s statement came on the heels of another talk, by Elon Musk, to a roomful of students at the Massachusetts Institute of Technology: “I think we should be very careful about artificial intelligence. If I had to guess at what our biggest existential threat is, it’s probably that. So we need to be very careful,” he said, before adding, “With artificial intelligence we are summoning the demon.”
You don’t need to be an artificial intelligence skeptic to see the merits of setting safeguards around the research and use of this technology. DeepMind, in its wisdom, set up an ethics committee and contributes to research on artificial intelligence safety to ensure that the future of superintelligence is friendly, not hostile. After all, we don’t want to end up like David Bowman, arguing with a dysfunctional HAL 9000 about an important, if human concern: our survival.
As for any previous technologies that have led to disaster, the concern with AI is not so much the technology itself, but rather how it is used. Two dangers can spell destruction: nefarious intent (for example, creating a nuclear bomb to kill as many people as possible), and poor management (for example, the meltdown of the nuclear core at Chernobyl).
DeepMind has already looked into the problem of poor management, since machine learning accidents (benign or otherwise) are currently happening. Caused by design flaws and resulting in unintended and undesirable behaviours, some of these accidents are legendary. Remember Microsoft’s chatbot, which quickly became a virulent racist on Twitter? It had to be immediately shut down, causing much jeering on social and media networks.
Victoria Krakovna is a research scientist at DeepMind working on AI safety. Her personal blog features a master list of intelligent agents that indulged in unintended and undesirable behaviour; these incidents, while funny, give pause for thought. The list mostly features intelligent agents like DeepMind’s early creation, and video games. The video game fails are benign or beneficial, since they’re good for a laugh; but the same fails involving human health and safety would have dire consequences and raise questions of morality and ethics. These concerns need to be addressed now, given the advent of technologies like autonomous driving.
A truly fascinating occurrence of unanticipated AI behaviour is its “gaming” of the specified objective, generating a solution that satisfies the letter rather than the spirit of the stated objective. This is due to a poorly specified objective. One example in Krakovna’s master list involves the agent indefinitely pausing a game of Tetris to avoid losing. While the agent has indeed fulfilled the objective, i.e. not lose, neither can it be said to have won. In another gaming example, the agent found a creative solution to avoid being killed – crash the system. It seems agents are adept at finding and exploiting software bugs, performing actions that human intelligence would never have contemplated and, incidentally, revealing hidden design flaws. And did we mention the kamikaze agent that kills itself at the end of Level 1 in order to avoid losing at Level 2?
Another interesting, unintended behaviour of AI is when an agent takes advantage of the way it is fed data, leading to “cheating”. For example, an AI trained to detect cancerous skin lesions learned that lesions photographed next to a ruler were more likely to be malignant. Another neural network trained to recognize edible and poisonous mushrooms took advantage of the fact that the edible/poisonous data was presented in alternating order, never actually learning any features of the actual mushrooms. The problem is that these systems are in fact designed to cheat, since they are programmed to provide results with as little work as possible. In other words, they are no different from human learners who conclude that the best way to get results without the work is to cheat. The difference is that machine learning systems are nothing more than evolved statistical classification systems with no concept of good, evil, or morality. In a humorous tweet, Joscha Bach, a researcher at the Harvard Program for Evolutionary Dynamics, coined the “Lebowski Theorem”, referring to the lazy hero in the Coen brothers film: “No superintelligent AI is going to bother with a task that is harder than hacking its reward function.”
The more humans offload important functions to AI (beyond that of becoming a champion game player), the greater the risks. We can’t ignore high-profile whistleblowers; the dangers are real and identified. Science without conscience leads to a disaster with moral dimensions, and an excessive faith in technology is willful blindness. The problems associated with artificial intelligence stand at the crossroads of science, ethics and morality. Specialized companies like DeepMind are clear-sighted enough to consider the ramifications of their work, but other actors may not be so thoughtful, when they’re not downright malevolent. Not to mention the misuse of AI by nations, governments and radical groups for nefarious purposes. “Hacker” agents keep us endlessly entertained, but do raise the question of safety, which will become central to future developments in technology. Sooner or later, authorities and legislators will have to address the issue. Good thing that companies in this field, like DeepMind, are a step ahead, anticipating and incorporating issues of ethics in their practice.