Quand la machine apprend le langage

La lecture de la semaine, il s’agit d’un article du New York Times, dernier article en date d’une série consacrée à l’intelligence artificielle et à ses impacts potentiels sur la société. Celui que j’ai choisi de traduire concerne l’apprentissage du langage par la machine, un enjeu essentiel dans le cadre de ce qu’on appelle depuis quelques années déjà le web sémantique.




L’article commence par rappeler que si l’on donne à un ordinateur une tâche qui est clairement définie – comme gagner aux échecs ou prédire le temps qu’il fera demain – la machine dépasse l’homme de manière presque systématique. Mais quand les problèmes comportent des nuances et des ambiguïtés, ou qu’ils exigent de combiner plusieurs sources d’information, les ordinateurs n’égalent pas l’intelligence humaine.
Parmi ces problèmes compliqués à résoudre pour l’ordinateur, il y a évidemment la compréhension du langage. Une des raisons de la complexité qu’il y a à comprendre le langage est que le sens des mots et des phrases ne dépend pas seulement de leur contexte, mais aussi d’une connaissance que les êtres humains acquièrent au fil de leur vie.
Or, nous apprend l’article, depuis le début de l’année, une équipe de chercheurs de l’université de Carnegie Mellon est en train d’élaborer un système informatique qui tente d’apprendre la sémantique à la manière d’un être humain, c’est-à-dire “de manière cumulative, et sur le long terme”, comme l’explique Tom Mitchell, qui dirige le projet. Cette machine – qui calcule 24 heures sur 24 et 7 jours sur 7 – est abritée dans le centre informatique de cette université de Pittsburgh. Les chercheurs l’ont doté d’une connaissance de base et, depuis 10 mois, elle est lâchée sur le web avec la mission de s’y instruire par elle-même.
Ce système s’appelle NELL, acronyme de Never ending Language Learning System. Et d’après le journaliste du New York Times, Steve Lhor, jusqu’ici, les résultats sont impressionnants. NELL scanne des millions de pages Web dont il fait des textes-modèles qu’il utilise pour apprendre des faits. En quelques mois, il a appris 390 000 faits, avec une exactitude estimée à 87 %. Ces faits sont regroupés dans différentes catégories sémantiques : villes, entreprises, équipes de sport, acteurs, universités, plantes, et 274 autres. Dans chaque catégorie, les faits appris sont des choses comme “San Francisco est une ville” ou “le tournesol est une plante”.
NELL apprend aussi des faits qui sont des relations entre les membres de deux catégories différentes. Par exemple : “Peyton Manning est un joueur de foot”. “Les Colts d’Indianapolis est une équipe de foot”. En scannant des textes-modèles, NELL peut en déduire avec un fort taux de probabilité que Peyton Manning joue pour les Colts d’Indianapolis – même s’il n’a jamais lu que Peyton Manning joue pour les Colts. “Jouer pour” est une relation, il en existe 280 autres dans le programme. Le nombre de catégories et de relations a plus que doublé depuis le début de l’année, et il est en expansion constante.

Image : La liste des derniers faits appris par Nell sont disponibles sur Twitter.
Les faits appris sont continuellement ajoutés dans la base de données de NELL, que les chercheurs ont appelée base de connaissance. Selon Tom Mitchell, plus le nombre de faits appris sera important, plus il sera possible d’affiner l’algorithme d’apprentissage de NELL, de sorte qu’il augmente son efficacité et la précision de ses recherches de faits sur le Web.
Les chercheurs ont commencé par construire une base de connaissance, remplissant chaque type de catégorie ou de relation avec une quinzaine d’exemples avérés. Dans la catégorie des émotions, par exemple : “la colère est une émotion”, “la félicité est une émotion”, et une douzaine d’autres faits.
Ensuite, NELL part au travail. Ses outils incluent des programmes qui extraient et classifient des phrases rencontrées sur le Web, des programmes qui cherchent des modèles et des corrélations, et des programmes qui apprennent les règles. Par exemple, quand le système lit “Mont Ventoux” (j’ai francisé), il étudie la structure : deux mots, chacun commençant par une majuscule, et le premier mot est “Mont”. Cette structure suffit à rendre probable le fait que le “Mont Ventoux” soit une montagne. Mais NELL lit aussi de plusieurs manières. Il exploitera aussi des phrases qui entourent “Mont Ventoux” et des syntagmes nominaux qui reviennent dans un contexte semblable. Par exemple “J’ai grimpé X”.
NELL, explique Tom Mitchell, est conçu pour être capable d’examiner des mots dans des contextes différents, en parcourant une échelle de règles lui servant à résoudre l’ambiguïté. Par exemple, la phrase “J’ai grimpé X”, apparaît souvent suivie du nom d’une montagne. Mais quand NELL lit “J’ai grimpé les escaliers”, il a d’abord appris avec une quasi-certitude que le mot “escaliers” appartient à la catégorie “élément de construction”. Il se corrige à mesure qu’il a plus d’information, à mesure qu’il a plus appris.
Néanmoins, explique Tom Mitchell, il y a des types d’apprentissage que NELL n’arrive pas à assimiler aujourd’hui. Prenons deux phrases “La fille a attrapé le papillon avec des taches” et “La fille a attrapé le papillon avec le filet”. Dans la deuxième phrase, un lecteur humain comprend immédiatement que la fille tient le filet, et dans la première, que c’est le papillon qui est tacheté. C’est évident pour un être humain, pas pour un ordinateur. “Une grande partie du langage humain repose sur la connaissance, explique Mitchell, une connaissance accumulée au fil du temps. C’est là où NELL est dépassé, et le défi est maintenant de lui faire obtenir cette connaissance.”
L’aide humaine peut être, à l’occasion, une partie de la réponse. Pendant les six premiers mois de son activité, NELL a fonctionné sans assistance. Mais l’équipe de chercheurs a remarqué que s’il s’en tirait bien avec la plupart des catégories et relations, dans un quart des cas, sa précision était très mauvaise. A partir de juin, les chercheurs ont commencé à scanner chaque catégorie et relation pendant cinq minutes tous les 15 jours. Quand ils trouvaient des erreurs flagrantes, ils les répertoriaient et les corrigeaient, puis remettaient le moteur d’apprentissage de NELL au travail. Quand, récemment, Tom Mitchell a scanné la catégorie “produits de boulangerie et pâtisserie”, il a identifié une de ces erreurs. Au début, NELL était dans le vrai, identifiant toutes sortes de tartes, de pains, et de gâteaux comme des “produits de boulangerie et pâtisserie”. Mais les choses se sont compliquées quand le classificateur de NELL a décidé de ranger “Internet cookies” dans cette catégorie des pâtisseries. NELL a lu la phrase : “J’ai détruit mes cookies Internet”. Donc, quand il a lu la phrase “J’ai détruit mes dossiers”, il a décidé que “dossiers” était sans doute une pâtisserie. Une avalanche d’erreurs a suivi, explique Mitchell, il a fallu corriger l’erreur des cookies Internet et recommencer l’éducation pâtissière de NELL. L’idéal de Mitchell était un système informatique capable d’apprendre en continu sans assistance humaine. “On n’y est pas encore, ajoute-t-il, mais vous et moi n’apprenons pas non plus tout seuls.”
Beaucoup de choses sont fascinantes dans cet article, mais il semble que la conclusion est la plus intéressante. Pourquoi faudrait-il qu’une intelligence, parce qu’elle est artificielle, fonctionne sans aide ? Et si nous demandions à l’intelligence artificielle plus que ce que nous demandons à notre propre intelligence ?
Xavier de la Porte

L’émission du 10 octobre 2010 était consacrée au Laboratoire de haute sécurité (LHS) informatique de l’Inria qui a ouvert ses portes en juillet, avec Jean-Yves Marion, son directeur et Redu State, professeur et membre du LHS. Xavier de la Porte accueillait également Franck Sommer qui vient de publier aux éditions La Découverte, La pensée PowerPoint : enquête sur ce logiciel qui rend stupide, un livre pour dénoncer comme un outil de présentation est devenu une manière de représenter le monde.

Nous sommes notre première technologie

La lecture de la semaine, il s’agit d’un article de Kevin Kelly (blog) qui s’intitule “Les cyborgs domestiqués” commandé par le site Quiet Babylon qui a demandé à différents auteurs 50 articles autour de la question du cyborg, ce mot, cette notion, fêtant cette année le cinquantième anniversaire de son apparition. Je fais là une traduction mot à mot du texte de Kelly.

“L’union profonde entre nous, êtres humains, et nos inventions n’est pas une nouveauté, annonce Kevin Kellly. Si le terme “cyborg” désigne un être en partie biologique et en partie technologique, les humains ont toujours été des cyborgs, et le sont encore. Nos ancêtres ont d’abord ébréché des pierres il y a 2,5 millions d’années pour se faire des griffes. Il y a environ 250 000 ans, ils ont mis au point des techniques assez élémentaires pour cuisiner, ou prédigérer, à l’aide du feu. La cuisine n’est rien d’autre qu’un estomac externe additionnel. Une fois affublée de cet organe artificiel, la taille de nos dents diminua, comme celle des muscles de nos mâchoires et nous pûmes diversifier notre nourriture. Notre invention nous a changés.

Image : cc. Feu et nourriture par Larry Archer.

Nous ne sommes plus les mêmes hommes que ceux qui ont quitté l’Afrique. Nos gênes ont évolué avec nos inventions. Et si l’on ne considère que ces 10 000 dernières années, nos gênes ont évolué 100 fois plus vite que pendant les 6 millions d’années qui ont précédé. Ce n’est sans doute pas une surprise. En domestiquant le chien qui descendait des loups, en sélectionnant le bétail et en cultivant le maïs, nous aussi avons été domestiqués.

Nous nous sommes domestiqués, poursuit Kelly. La taille de nos dents continue de diminuer (à cause de la cuisine, notre estomac externe), nos muscles s’amincissent, nos poils disparaissent. A mesure que nous renouvelons nos outils, nous nous renouvelons aussi. Nous évoluons conjointement à nos technologies et nous sommes devenus par là même très dépendants d’elle. Si toute technologie – chaque couteau, chaque lance – devait être retirée de cette planète, notre espèce ne survivrait pas plus de quelques mois. Nous sommes en totale symbiose avec la technologie, avance l’auteur de What Technology Wants.

Nous nous sommes très vite, et de manière significative, modifié, mais dans le même temps, nous avons modifié le monde. Depuis l’instant où nous sommes partis d’Afrique pour coloniser tout point d’eau habitable de cette planète, nos inventions ont modifié notre environnement. Les instruments et techniques de chasse des Homo Sapiens ont eu des effets d’une portée considérable : cette technologie leur a donné la possibilité de tuer en masse des herbivores (comme les mammouths ou les élans géants) dont l’extinction a modifié pour toujours l’écologie de territoires entiers. Une fois éliminés ces ruminants dominants, l’écosystème fut modifié à tous les échelons, en permettant la croissance de nouveaux prédateurs, de nouvelles espèces de plantes, jusqu’à l’apparition d’un écosystème modifié. Ainsi quelques clans d’hominidés ont-ils changé le destin de milliers d’autres espèces. Quand l’Homo Sapiens sut contrôler le feu, cette technologie particulièrement puissante modifia sur une plus grande échelle encore le terrain naturel. Une aptitude aussi minime que mettre le feu à des étendues d’herbe, le contrôler avec des feux arrière et se servir du feu pour faire cuir des graines a perturbé des régions gigantesques sur tous les continents. Et bien sûr, une fois que nous avons modifié la savane et les prairies, elles nous ont modifiés à leur tour.

Chaque espèce des 6 royaumes, ce qui revient à dire tout organisme vivant sur Terre aujourd’hui, des algues au zèbre, est également évoluée. Malgré les différences dans leur sophistication et dans le développement de leur forme, toutes les espèces vivantes ont évolué pendant le même laps de temps : 4 milliards d’années. Toutes ont été mises au défi de manière quotidienne et se sont débrouillées pour s’adapter sur des centaines de millions de générations le long d’une chaîne ininterrompue.

Image : cc. Une termitière par Oliver Frank.

Beaucoup de ces organismes ont appris à construire des structures et ces structures ont permis à ces créatures de s’étendre au-delà des limites de leurs tissus. Les termitières de deux mètres de haut fonctionnent comme des organes externes de ces insectes : la température du monticule est régulée et il est réparé après chaque destruction. La boue séchée elle-même donne l’impression d’être en vie. Quant aux coraux – ces structures pierreuses qui ont l’apparence de branches d’arbre -, ils sont comme les appartements d’animaux, les coraux, presque invisibles. La structure corail et les coraux animaux ne font qu’un. Ca grandit, ça respire. L’intérieur cireux d’une ruche ou l’architecture d’un nid d’oiseaux fonctionnent de la même manière. Il est par conséquent plus juste de considérer un nid ou une ruche comme un corps construit que comme un corps qui a poussé. Un abri est une technologie animale, il est une extension de l’animal.

L’extension de l’homme, c’est le technium. Marshall McLuhan, parmi d’autres, a considéré les vêtements comme une extension de la peau humaine, les roues comme une extension des pieds, les appareils photo et les télescopes comme une extension des yeux. Nos créations technologiques sont une bonne extrapolation des corps que nos gênes façonnent. Si on suit McLuhan, on peut voir la technologie comme une extension de notre corps. Pendant l’âge industriel, il était facile de voir le monde de cette façon. Les locomotives à vapeur, la télévision, les leviers et les moteurs fabriqués par les ingénieurs furent un fabuleux exosquelette qui fit de l’homme un superman.

Mais si on y regarde de près, ajoute Kelly, il y a un défaut dans cette analogie : ces extensions, dans le règne animal, sont le résultat d’une évolution génétique. Les animaux héritent leur programmation génétique de ce qu’ils fabriquent. Pas les hommes. Les programmations de nos carapaces naissent de nos esprits qui nous amènent à créer de manière spontanée des choses que nos ancêtres n’avaient jamais fabriquées, ni même imaginées. Si la technologie est une extension de l’être humain, ce n’est pas une extension de nos gènes, mais de nos esprits. La technologie est donc une extension matérielle de nos idées.

Image : cc. Maelström par Seth Lassman.

Nos avons domestiqué notre humanité de la même manière que nous avons domestiqué nos chevaux. Notre nature humaine elle-même est la moisson évolutive d’une plantation effectuée il y a 50 000 ans et qui continue de pousser encore aujourd’hui. Le champ de notre nature n’a jamais été statique. Nous savons que génétiquement, nos corps changent aujourd’hui plus vite qu’ils ne l’ont jamais fait dans les millions d’années qui ont précédé. Nos esprits sont reformatés par notre culture. Sans exagération et sans employer de métaphores, nous ne sommes plus les mêmes que ceux qui ont commencé à labourer la terre il y a 10 000 ans.

Le paisible attelage d’un cheval et d’une charrue, la cuisine au feu de bois, le compost et une industrie minimale conviennent sans doute parfaitement à une nature humaine – mais à celle d’une époque agraire reculée. La dévotion contemporaine à une manière d’être aussi ancienne révèle une ignorance de la manière dont notre nature – nos volontés, nos désirs, nos peurs, nos instincts primaires, et nos aspirations les plus hautes – est remaniée par nous-mêmes et nos inventions, et elle exclut de fait les besoins de notre nature. Nous avons besoin de nouvelles taches parce qu’au plus profond de nous-mêmes, nous ne sommes plus les mêmes.

Physiquement, nous sommes différents de nos ancêtres. Nous pensons différemment. Nos cerveaux, sur le plan de la formation et des savoirs, fonctionnent différemment. Le fait de savoir lire et écrire a changé la manière dont nos cerveaux fonctionnent. Plus que nos ancêtres chasseurs-cueilleurs, nous sommes faits de l’accumulation de la sagesse, des pratiques, des traditions, de la culture de ceux qui ont vécu avant nous et de ceux qui vivent avec nous. Nous remplissons nos vies de messages qui proviennent de partout, de savoir, de loisirs envahissants, de voyage, de surplus de nourriture, d’une nutrition abondante et de nouvelles possibilités. Dans le même temps, nos gènes se pressent pour rester en contact avec la culture. Et nous augmentons encore l’accélération de ces gènes de plusieurs manières, notamment les interventions médicales comme la thérapie génique. Et même, toute tendance du technium – en particulier son aptitude croissante à évoluer – laisse préfigurer à l’avenir des changements encore plus profonds de la nature humaine. Curieusement, beaucoup des conservateurs qui refusent de voir que nous sommes en train de changer défendent aussi l’idée qu’il aurait été préférable que nous ne nous changions pas.

Pour être tout à fait clairs, nous nous sommes faits nous-mêmes. Nous sommes notre première technologie. Nous sommes à la fois l’inventeur et l’invention. Nous avons utilisé nos esprits pour nous fabriquer nous-mêmes et donc, nous, les humains d’aujourd’hui, nous sommes les premiers cyborgs. Nous nous sommes inventés. Et nous n’avons pas fini.”

Xavier de la Porte

L’émission du 26 septembre 2010 était consacrée aux liaisons numériques, en présence du sociologue Antonio Casilli (blog) à l’occasion de la parution de son livre (voir notre récente interview).

L’attention, une valeur culturelle et sociale

La lecture de la semaine, il s’agit de notes prises à partir d’une intervention Tiziana Terranova, qui enseigne les media studies à l’Université de East London. Cette intervention avait lieu dans le cadre de la conférence Paying Attention qui a eu lieu en Suède début septembre organisé par l’European Science Foundation pour laquelle un blog a été mis en place pour rendre compte des différentes interventions… Je remercie Laurence Allard, qui vient régulièrement dans Place de la toile, d’avoir attiré mon attention, sur ce texte.


L’attention, note Terranova, est devenue un motif récurrent des débats sur l’économie numérique, c’est même devenu un sujet central. Un argument revient selon elle : grâce à sa capacité à produire – et reproduire – sans travail supplémentaire et à faire circuler sans coût, le numérique est à l’origine d’une abondance d’informations qui est à la base d’une nouvelle économie. Mais cela ne va pas sans nouveaux problèmes. Si l’information est abondante, elle risque de perdre toute valeur.

Et Terranova de citer un texte de l’économiste Herbert Simon (Wikipédia) datant de 1971 : “Ce que l’information consomme est assez évident : l’information consomme l’attention de ceux qui la reçoivent. Du même coup, une grande quantité d’information créée une pauvreté de l’attention et le besoin de répartir efficacement cette attention entre des sources très nombreuses au milieu desquelles elle pourrait se dissoudre.”
Selon Terranova, ce raisonnement est devenu un “régime de vérité”. L’attention est désormais une antithèse à la force de travail. Car si la force de travail est pléthorique et donc peu chère – Terranova cite Michael Goldhaber (blog) qui pense que la somme totale de l’attention humaine est intrinsèquement limitée – donc rare. Si l’on suit ce raisonnement, l’économie de l’attention est un système qui fonctionne en recherchant et en achetant ce qui est intrinsèquement limité et irremplaçable : à savoir l’attention d’autres êtres humains.
L’économie de l’attention joue comme une force économique dans la mesure où elle affecte la motivation de l’être humain, conçu alors comme un être qui par essence calcule et évalue sans cesse le coût et la valeur de l’information. Le corollaire de cela est le développement de tout un champ de recherche qui relie les neurosciences et l’économie.
Avant les années 60, l’attention était mesurée à travers des sens comme l’audition et la vision faciles à évaluer. Or aujourd’hui, la recherche scientifique sur le cerveau a développé des techniques de mesure de l’activité cérébrale pour comprendre comment fonctionne cette attention.
Beaucoup de commentateurs se sont emparés de tout cela. Nicholas Carr, le bien connu contempteur d’Internet (qui selon lui nous rendrait stupide) mêle des arguments provenant des neurosciences aux discours sur la valeur de l’attention (voir notre récente lecture sur le dernier livre de Carr, The Shallows). Selon Carr, l’usage des nouveaux médias reformate les parcours neurologiques du cerveau, de la même manière que le mutlitasking (le fait de faire plusieurs choses en même temps) et le fait d’utiliser des moteurs de recherche produisent une modification de l’activité cérébrale. L’exposition aux nouveaux médias implique selon Carr un remodelage de l’activité cérébrale. Elle rend les cerveaux des individus plus rapides, capables d’effectuer plusieurs tâches en même temps, mais elle les rend moins capables d’attention profonde. Pour Carr, les nouveaux médias ont un coût pour le cerveau. Si l’on suit cet argument, chaque fois que notre attention change d’objet, il y a un coût biologique pour notre cerveau. Selon l’argument de Carr, d’une certaine manière, l’industrie consomme le consommateur.
Dans cette vision, l’attention est considérée comme une rareté qui peut être échangée et comme une aptitude biologique. Elle est abordée sous le double angle de l’économie et des neurosciences. Or, selon Tiziania Terranova, il s’agit d’une conception restrictive de l’attention, car elle ne peut pas être séparée de sa source subjective. Elle fait un détour par Marx et Gabriel Tarde pour montrer que s’il est important de s’intéresser à la vie du cerveau, ce doit être pour redonner de la force aux valeurs de culture et de social, ces deux valeurs n’étant pas à la périphérie, mais au coeur, de ce que l’on doit considérer pour comprendre l’économie de l’attention.
L’attention est une ouverture vers l’extérieur. Il s’agit d’une rencontre qui s’effectue dans la relation : l’attention est construite conjointement par le sujet, en corrélation avec le cerveau, le corps et la myriade de connexions dans lesquelles nous sommes pris.
En conclusion, Tiziana Terranova pose que l’attention n’est pas seulement le résultat du fonctionnement d’un cerveau individuel, comme les neurosciences semblent le dire, elle ne peut pas non plus être réduite à un bien échangeable. L’attention, selon elle, est un processus dans lequel la production de valeur est inséparable de la production de subjectivité. Elle est le produit de l’invention et de la diffusion de désirs, de croyances, et d’affects qui nous sont communs.
J’avoue que le raisonnement de Tizinia Terranova est abstrait, d’ailleurs je ne suis pas certain d’en avoir saisi tous les détails. Néanmoins, je trouve intéressant que sa tentative d’interroger ce lieu commun de l’attention, fondement de cette nouvelle économie de l’attention dont on nous bassine partout, et il faut avouer que sa volonté de sortir cette question des deux champs qui l’ont accaparée, à savoir les neurosciences et l’économie, pour en faire une valeur culturelle et sociale, cette volonté, même si on n’en perçoit pas encore tous les aboutissants, est assez stimulante.

Xavier de la Porte

L’émission du 19 septembre 2010 était consacrée à la manière dont le numérique reconfigure notre intimité, dans un long et passionnant entretien avec Stefana Broadbent, ethnographe numérique que nous avions vu à Lift, responsable HCI chez IconMedialab et qui tient l’excellent Usage Watch.