2011/04/18

Que se passera-t-il le jour où les ordinateurs seront plus intelligents que les humains ?

La lecture de la semaine, il s’agit d’un article extrait du numéro d’avril du magazine The Walrus, mensuel canadien de Toronto. On le doit à Alex Hutchinson et il s’intitule “Déficit d’intelligence : que se passera-t-il le jour où les ordinateurs seront plus intelligents que les humains ?”




Un jour dans le siècle qui vient – et peut-être plus tôt que vous ne croyez, commence Hutchinson – des chercheurs arriveront sans doute à créer une intelligence artificielle plus performante que la nôtre. Ce qui adviendra ensuite, c’est la question que tout le monde se pose – et nous ne sommes tout simplement pas assez intelligents pour comprendre, ou seulement prédire, ce qu’une intelligence surhumaine choisira de faire. Mais il y a une chance raisonnable pour que cette intelligence artificielle éradique l’humanité, soit par pure malveillance, soit dans une tentative maladroite de se rendre utile. La Fondation Lifeboat de Minden, dans le Nevada, cherche à repousser cette possible calamité en développant une “Intelligence artificielle amicale”.

lifeboatfoundation
Image : La page d’accueil de la Lifeboat Fondation.

L’auteur rappelle que Vernor Vinge, le mathématicien et informaticien américain, avait nommé ce moment de l’histoire la “Singularité technologique” et qu’il l’imaginait advenir avant 2030. Ray Kurzweil, autre penseur bien connu de la Singularité, estime qu’elle se produira en 2045. Quant à l’auteur de science-fiction canadien Robert J. Sawyer, l’auteur de la trilogie WWW (Wake, Watch, Wonder, du nom des trois volumes de la série consacrée à la Singularité), il la voit arriver à l’automne 2012.

C’est à ce dernier que s’intéresse particulièrement cet article, car Sawyer, non content d’être un auteur de science-fiction à succès, siège à la Fondation Lifeboat. Et comme Sawyer est connu pour un travail de romancier très documenté, ça rend les objectifs de la Fondation Lifeboat moins farfelus qu’il n’y paraît.

Alex Hutchinson résume ensuite les intrigues de la trilogie WWW de Sawyer (dont seulement les deux premiers tomes – L’éveil suivit de veille -sont disponibles en français dans la célèbre collection de SF “Ailleurs et Demain” de Robert Laffont), qui reposent principalement sur l’idée qu’une conscience émergerait spontanément des réseaux, d’une manière que certains chercheurs estiment plausible d’ailleurs. La trilogie pose deux questions qui sont reliées, mais néanmoins distinctes. Si l’émergence d’une conscience dans les réseaux advenait : que feraient les humains ? Et que devraient-ils faire ?
En principe, l’avènement d’une intelligence artificielle capable de diriger le monde serait plutôt une bonne nouvelle. Le mathématicien britannique Irving John Good a écrit en 1965 dans un papier qui a fait date : “La première machine ultra-intelligente sera la dernière invention de l’homme”. La raison qu’il avance est la suivante : toute machine plus intelligente que nous sera aussi plus capable que nous de construire une intelligence artificielle, elle sera donc en mesure d’améliorer toute seule ses propres capacités, dans une sorte de processus de perfectionnement auto-généré. Good a appelé ce phénomène intelligence explosion, “l’explosion intelligente”, Vernor Vinge lui a donné un autre nom hard take off, le “décollage difficile”. En un court laps de temps, toute super intelligence artificielle évoluerait d’un état à peine supérieur au nôtre à un état très largement supérieur – et l’équilibre des pouvoirs entre les hommes et leurs anciens outils basculerait tout aussi vite.
Et on peut tout à fait voir là une menace pour l’humanité. Sawyer a écrit un jour dans un article : “si nous fabriquons des machines plus intelligentes que nous, pourquoi accepteraient-elles d’être nos esclaves ? [...] Les ordinateurs doués de pensée sont une vraie menace pour la perpétuation de notre espèce.”


Cela dit, il semble assez simple de prévenir cette menace, par exemple en appliquant les trois règles de la Robotique, qu’Isaac Asimov a édictées en 1942 :
  • 1. Un robot ne peut blesser un être humain ni, restant passif, laisser cet être humain exposé au danger.
  • 2. Un robot doit obéir aux ordres donnés par les êtres humains, sauf si de tels ordres sont en contradiction avec la Première Loi.
  • 3. Un robot doit protéger sa propre existence tant que cette protection n’entre pas en conflit avec la Première Loi ou la Seconde.
Sauf qu’appliquer ces règles pose tout un tas de problèmes qu’Asimov a lui-même relevés. Un robot peut-il nuire à un être humain si cela permet de ne pas nuire à un grand nombre d’êtres humains ? Si oui, selon quel critère doit-il l’évaluer ? Ou encore – comme Jack Williamson, un autre auteur de science-fiction l’a proposé dans sa série Les Humanoïdes – que faire si des robots programmés pour prémunir les hommes de toute destruction décidaient d’emprisonner toute l’humanité parce que nombre d’activités quotidiennes portent en elles le risque de la destruction ?
La Fondation Lifeboat divise les menaces potentielles en trois grandes catégories.
La première est une intelligence artificielle délibérément programmée pour faire le mal, sous les ordres d’un créateur malfaisant. Un danger qui est réel, mais pas très différent de tous ceux qui accompagnent beaucoup d’autres formes de technologies avancées.

La deuxième catégorie est une intelligence artificielle dévoyée qui se retournerait contre ses créateurs, un scénario courant dans la science-fiction (comme HAL 9000 dans 2001, L’Odyssée de l’espace). Mais les analyses de Lifeboat estiment cette hypothèse assez improbable, car elle supposerait qu’une intelligence artificielle serait lestée de tout le bagage psychologique propre à l’humanité. Or, l’agressivité, la jalousie, la préservation de soi sont toutes des propriétés qui se sont forgées dans le creuset de l’évolution, et ne seraient pas les caractéristiques d’une intelligence artificielle, à moins qu’on ne les ait délibérément programmées.

Mais il existe une troisième catégorie de menace, moins évidente, et plus difficile à rejeter : une super intelligence artificielle qui est bien intentionnée, mais nous balaie par inadvertance, comme un chiot trop vite grandi renverse une table d’un coup de queue enthousiaste. La Fondation Lifeboat donne un exemple simple : un ordinateur programmé pour éradiquer la malaria qui accomplit sa mission en supprimant tous les mammifères. Et on entre là dans un débat qui agite bien au-delà de Lifeboat. Car cette question est bien compliquée, nous dit Hutchinson.

D’abord, une intelligence artificielle consciente d’elle-même est qualitativement différente d’un ordinateur le plus puissant soit-il. On peut demander à Google Maps le meilleur trajet pour aller chez Grand-Maman, et nous avons des GPS qui prennent en compte le trafic et le prix des péages. Mais même si les ordinateurs parviennent de mieux en mieux à nous dire comment faire les choses, et même s’il faut les faire, ils demeurent incapables de formuler leur propre jugement sur le fait de savoir si faire ces choses est bien ou mal. Ceux qui craignent la Singularité avancent que nous sommes incapables de programmer des ordinateurs avec des valeurs humaines pour la simple raison que les valeurs humaines ne peuvent pas se réduire à un algorithme.

Tout cela est connu sous le nom de “problème de l’intelligence artificielle amicale”. Savoir s’il est insoluble, s’il est compliqué, mais soluble, s’il relève de la pure paranoïa, tout cela constitue un débat récurrent et acharné au sein de la communauté des chercheurs en intelligence artificielle. Mais ce débat sera caduc si les développeurs de la première intelligence artificielle de niveau humain ne font pas l’effort d’incorporer des règles semblables à celles d’Asimov dans leurs créations. Etant donné qu’aujourd’hui, les machines les plus avancées naissent des laboratoires privés et militaires, il n’est pas certain que ce soit le cas.
Xavier de la Porte
Xavier de la Porte, producteur de l’émission Place de la Toile sur France Culture, réalise chaque semaine une intéressante lecture d’un article de l’actualité dans le cadre de son émission.
L’émission du 17 avril était consacré à “Peut-on éteindre l’internet ?” c’est-à-dire à essayer de comprendre comment on peut arrêter le réseau des réseaux, avec Jérémie Zimmermann, ingénieur consultant en technologies collaboratives et responsable associatif à l’April, organisation de promotion et de défense du logiciel libre, cofondateur et porte-parole de la Quadrature du Net, organisation de défense des droits et libertés des citoyens sur Internet et Stéphane Bortzmeyer, informaticien et ingénieur au service R&D de l’Afnic.

2011/04/04

Du racisme ordinaire… online

Il y a quelques semaines, je vous avais parlé de la South by SouthWest Interactive Conference qui se déroule chaque année au Texas. Parmi les très nombreux sujets qui y ont été abordés dans l’édition 2011, celui du racisme en ligne. Je tire ce compte-rendu de The Chronicle, sous la plume d’un jeune journaliste du nom de Jeff Young.



Un très célèbre dessin du New Yorker, commence Jeff Young, a pendant longtemps résumé le pouvoir anonymisant du cyberspace : “Sur Internet, personne ne sait que vous êtes un chien”. Mais, continue le journaliste, dans certains jeux vidéos célèbres et dans des mondes virtuels comme Second Life, des outils permettant aux gens de se parler ont été ajoutés ces dernières années. Et l’addition de voix humaines a amené les participants à catégoriser leurs interlocuteurs, souvent sur une base raciale. Telle est la conclusion des travaux menés par Lisa Nakamura, qui est professeur d’études asiatico-américaines à l’Université d’Illinois. Une des études les plus récentes citées par Lisa Nakamura a été réalisée par Gambit, un laboratoire sur les jeux vidéos sous l’égide conjointe du Massachusetts Institute of Technology et du gouvernement de Singapour.



Vidéo : La vidéo de l’expérience réalisée par le laboratoire Gambit qui fait lire par des joueurs certains propos qu’ils ont reçus ou écouter en jouant.

Lisa Nakamura a dit avoir été surprise par de nouvelles formes de racisme émergeant dans des jeux vidéos en ligne auxquels participent des gens du monde entier. Par exemple, en Chine, beaucoup d’utilisateurs gagnent aujourd’hui leur vie en jouant à Lineage 2. Dans ce jeu de rôle d’Heroic Fantasy, ces joueurs chinois remportent des armes virtuelles et les vendent ensuite à des Américains qui n’ont pas assez le temps de jouer pour armer leurs personnages. Beaucoup de ces joueurs chinois choisissent une naine, cette catégorie de personnage ayant le pouvoir de gagner plus facilement des trésors en mission solo. Et donc, certains joueurs commencent par tuer toutes les naines du jeu, en ajoutant souvent des propos anti-chinois dans la section chat.

“Ceci a pour effet, ajoute Lisa Nakamura, que les naines sont devenues une race injouable. Elles sont devenues une minorité raciale, avec un statut qui équivaut à celui du travailleur immigré – ces personnages sont devenus une race. La race n’est pas un concept provenant de la biologie, c’est une affaire une culture”, conclut Lisa Nakamura.
James Au, auteur du livre The making of Second Life, qui intervenait dans cette même table ronde, a dit que les jeux en ligne et les forums où les participants étaient anonymes semblaient se multiplier moins vite ces derniers temps, et que les réseaux les plus populaires, dont Facebook, faisaient apparaître les usagers sous leur identité hors ligne. Quand l’anonymat disparaît, les gens se comportent en général de manière plus civile. “Le passage à une identité en ligne réelle aide à se débarrasser du racisme”, a expliqué James Au.

Tous les participants à cette discussion, poursuit le journaliste, ont expliqué que la question du racisme en ligne était rarement discutée, malgré les manifestations fréquentes d’un discours de haine dans les environnements en ligne. “On ne prend pas suffisamment en compte cette question quand on parle des pouvoirs des médias numériques” a expliqué Jeff Yang, blogueur au San Francisco Chronicle.

Le compte-rendu de The Chronicle est rapide. On aimerait en savoir plus, et on pourra le faire bientôt puisque Lisa Nakamura, la professeure de l’Université d’Illinois qui participait à la table ronde, publie très prochainement un livre sur ces questions. Qu’il y ait du racisme dans les réseaux n’est pas étonnant en soi. J’ai rendu compte ici à plusieurs reprises d’études montrant qu’internet n’abolissait pas les différences de genre, de classe sociale ou de race. Qu’il y ait du racisme antichinois dans les jeux en réseau n’est donc pas étonnant. Un racisme qu’on imagine augmenté par le fait que les Chinois jouent bien et en tirent profit. Que ce racisme se manifeste par l’élimination de personnages particuliers dans les jeux est une conséquence plus inédite. Mais faut-il pour autant constituer ces personnages, en l’occurrence les naines de Lineage 2, en race ? Alors là, je suis un peu sceptique. Certes la race est une notion culturelle, mais cette notion peut-elle s’appliquer à des personnages qui sont virtuels ? Ces personnages de naines sont-ils victimes de racisme ? Ou même d’un génocide, s’il est vrai qu’elles sont éliminées en priorité par les joueurs ? Je ne sais pas. Il faudra lire Lisa Nakamura.

Xavier de la Porte
Xavier de la Porte, producteur de l’émission Place de la Toile sur France Culture, réalise chaque semaine une intéressante lecture d’un article de l’actualité dans le cadre de son émission.
L’émission du 3 avril était consacrée à Pixar, avec Hervé Aubron, journaliste, auteur, enseignant à l’Université Paris 3, ancien critique aux Cahiers du cinéma, rédacteur en chef adjoint du Magazine Littéraire, et auteur de Génie de Pixar ainsi qu’au documentaire Pira@tages qui sera diffusé le 15 avril sur France 4 en compagnie d’Etienne Rouillon, rédacteur en chef “Technologies” du magazine Trois Couleurs et réalisateur, avec Sylvain Bergère, dudit documentaire.

Le marché florissant de la censure

La lecture de la semaine a pour titre “The booming business of Internet censorship” soit “le marché florissant de la censure d’Internet”. Il s’agit d’un résumé d’un rapport écrit par Jillan York et un collègue du nom de Helmi Noman. Jillian York travaille au Centre Berkman pour l’Internet et la société, à l’Ecole de droit d’HarvardGlobal Voices et elle signe ce résumé pour Al-Jazira.



Dans presque tout le Moyen-Orient et l’Afrique du Nord, la censure d’Internet est la norme, commence Jillian York. Le niveau de cette censure varie : au Maroc, seule une poignée de sites concernant le Sahara Occidental, ainsi que Google Earth et Livejournal, sont jugés suffisamment subversifs pour être censurés, alors que d’autres pays – comme Bahreïn, le Yémen, la Syrie – censurent allègrement, tant les sites à contenus politiques que sociaux.
Si le filtrage est régi par les pays eux-mêmes, il est rendu possible par des technologies qui sont principalement importées des Etats-Unis et du Canada. C’est le coeur du rapport de Jillian York, dont elle détaille quelques éléments.

A Bahreïn, en Arabie Saoudite, à Oman, au Soudan et au Koweït, les censeurs utilisent le SmartFilter de McAfee (McAfee est une société californienne). C’était aussi le cas de la Tunisie, avant la révolte.

WestCensoringEast4

Image : La page de bloquage de Qatar Qtel quand quelqu’un demande à accéder à un site non autorisé.
Au Yémen, jusqu’à récemment, c’était le logiciel Websense qui était préféré, mais le gouvernement a récemment opté pour un logiciel canadien, Netsweeper, qui est aussi utilisé au Qatar et dans les Émirats Arabes Unis.


Ces outils – Websense, SmartFilter et Netsweeper – tout comme Cisco, qui a les préférences de la Chine – permettent aux censeurs de faire facilement leur travail. Au lieu de bloquer des adresses URL une par une, ils peuvent identifier des catégories (comme pornographie, drogue, tenues provocantes…) et bloquer des milliers de sites d’un seul coup. Rien de surprenant, le système de catégorisation est imparfait, des sites tout à fait inoffensifs se trouvant pris dans la masse. “Mon propre site, explique Jullian York, ainsi que celui de OpenNet Initiative, ont tous les deux étés bloqués par le gouvernement yéménite, qui à l’époque utilisait Websense, soi-disant parce qu’ils accueillaient des contenus pornographiques. Ce n’était le cas pour aucun des deux, et quand on a sommé Websense d’expliquer ce qui se passait, ils ont raconté que des sites avec un nombre significatif de spams contenant des liens vers des sites pornographiques pouvaient se retrouver dans la catégorie pornographie.”


WestCensoringEast5

Image : La page de bloquage des Emirats Arabes Unis quand quelqu’un demande à accéder à un site non autorisé.

Ce qui est très problématique, continue Jillian York, car cela suppose qu’en faisant sur un blog quelques commentaires pointant vers des contenus interdits, on peut facilement faire en sorte que le système le bloque, avec tous les effets imaginables sur la liberté d’expression.
Les technologies de filtrage du web utilisées au Moyen-Orient et en Afrique du Nord sont les mêmes que celles que l’on trouve dans les écoles, les bibliothèques ou les bureaux, d’Europe ou d’Amérique, où le blocage des contenus pornographiques est la norme. Si cette norme est justifiable, il y a là un potentiel pour un blocage plus massif.

Le fait que Websense et Smartfilter soient des logiciels américains pose problème : le programme pour la liberté de l’internet du Département d’Etat américain subventionne, entre autres initiatives, des technologies servant à contourner des logiciels analogues à ceux qui sont exportés par ces mêmes entreprises. Et la Secrétaire d’Etat Américaine Hillary Clinton a fait mention des entreprises américaines spécialisées dans le filtrage lors de son premier discours sur la liberté d’internet en janvier 2010. Elle a déclaré à cette occasion que ces entreprises devaient “prendre une position de principe”. Mais aucune action publique n’a suivi pour freiner l’exportation de logiciels de filtrage. A part Websense – qui stipule que l’usage de son logiciel est interdit aux Etats, à l’exception du filtrage de la pornographie illégale -, aucune de ces entreprises n’a pris de mesures pour interdire l’usage de leurs logiciels aux gouvernements étrangers. Jillian York conclut : “Si le but du programme pour la liberté de l’internet est, comme l’a exprimé Hillary Clinton, d’exporter la liberté du Net, peut-être faut-il commencer par ne plus exporter la censure de l’Internet.”

Xavier de la Porte
“Xavier de la Porte, producteur de l’émission Place de la Toile sur France Culture, réalise chaque semaine une intéressante lecture d’un article de l’actualité dans le cadre de son émission.
L’émission du 11 avril était consacrée aux technologies dans l’agriculture avec Rémy Serai, rédacteur en chef de Machinisme & Réseaux, mensuel qui dépend du groupe de presse La France Agricole et au générateur poiétique (site), ce dispositif d’interaction graphique collectif en réseau d’Olivier Auber, cofondateur du Laboratoire Culturel A+H.