Entre réglementation et financement de la recherche : l’IA à la française est-elle possible ?

Les matins de France Culture, Guillaume Erner.

A-t-on à faire avec l'intelligence artificielle à une menace réelle ou fabriquée ? Serait-on fou si on laissait uniquement les lobbies s'intéresser à l'intelligence artificielle et développer des programmes qui peuvent ou bien nous remplacer, ou bien nous conduire à prendre de mauvaises décisions, ou bien à diminuer l'intelligence humaine en la remplaçant par de l'intelligence artificielle ? Pour en parler, nous sommes en compagnie d'Emmanuel Schemla. Bonjour. Emmanuel Schemla, vous êtes chercheur en sciences cognitives et linguistiques. À côté de vous, Bertrand Bronschweg. Bonjour. Bonjour. Vous êtes l'ancien directeur du Centre de Recherche de l'INRIA Saclay et consultant.

Alors, je vous propose tout d'abord de débuter par une page pédagogique pour nous expliquer en quoi il y a cette génération d'intelligence artificielle qui est incarnée par Chad Jepiti ou Mijuanay, et quelque chose de singulier. Comment ça fonctionne ? Qu'est-ce qu'ils apportent ? Bertrand Bronschweg.

Si on revient un petit peu à la manière dont fonctionne l'intelligence artificielle, il y a le début de l'IA dans les années 50, même un petit peu avant, il y avait deux types d'approches. Une approche où les personnes font les modèles, qui sont des règles, des arbres logiques, ce qu'on appelle des ontologies, des représentations des connaissances, et ce sont des choses qu'on m'ait... Des ontologies, je vais vous demander de m'expliquer. Des représentations structurées du monde. Et donc, ce sont des modèles qu'on fait soi-même, qu'on fait à la main, et donc on est capable de les maîtriser, d'expliquer leur comportement. On connaît tous ces modèles.

Il y a eu également, dès les origines, une deuxième tendance, qui est de se baser sur les données, et d'apprendre à partir des données. Et il y a eu des hauts et des bas, en fait, dans ces deux modèles. Il y a eu des périodes où les modèles numériques, à partir des données, prenaient le pas sur les autres. Il y a eu des périodes où les modèles logiques prenaient le pas sur les autres. Et là, depuis maintenant, en fait, en gros, depuis la grande diffusion du web dans les années 2000, et puis depuis quelques ruptures qui ont eu lieu au début des années 2010, ce sont les modèles numériques qui apprennent à partir des données, qui ont pris le dessus.

Et donc, Tchad GPT fait partie de cette génération-là. C'est un modèle qui apprend à partir des données. Il apprend à partir de très, très grandes bases de textes. Et avec la difficulté qu'on peut souligner sur les modèles faits à partir des données et qui ont des structures internes très complexes, c'est qu'on a encore du mal à expliquer leurs décisions, leurs productions. On a du mal à expliquer leurs décisions. On a du mal à expliquer. On a des théories globales qui disent pourquoi ces modèles marchent.

Mais on a du mal pour expliquer pourquoi un modèle numérique a sorti une donnée à un instant donné, à reproduire exactement tout le chemin, qui est un grand calcul, en fait, qui se fait dans les internes du modèle, avec, par exemple, pour Tchad GPT, 176 milliards de paramètres qui sont...

Oui, parce qu'en fait, il y a des modèles en concurrence

à l'intérieur de Tchad GPT. En fait, c'est un très grand parallélisme avec un très grand nombre de paramètres, des calculs qui se font sur des machines très puissantes, d'ailleurs, et qui, en fait, dont le rôle est simplement de pourrais dire le prochain mot d'une phrase.

Alors, on va revenir, évidemment, là-dessus, puisque c'est l'une des singularités de Tchad GPT. Mais Bertrand Braunschweig, Yann Lequin, qui dirige le laboratoire d'intelligence artificielle de méta, autrement dit de Facebook, dit que finalement, Tchad GPT, ce n'est pas si nouveau que ça. Alors, peut-être qu'il le dit en partie, parce que ce n'est pas Facebook qui l'a développé. Mais est-ce qu'il n'y a pas aussi une sorte d'effet de nouveauté exagéré avec Tchad GPT ?

Qu'en pensez-vous ? En fait, ce qui se passe, c'est qu'il y avait déjà des modèles de cette nature, et ça fait un petit moment. Emmanuel pourra nous en parler beaucoup plus en détail, je pense. Mais Tchad GPT, c'est le premier qui a été ouvert au grand public, d'où le fait qu'on commence à en parler. C'est le premier que vraiment tout le monde pouvait utiliser librement. Et Yann a raison sur le fait que les théories, les méthodes qui sont mises en œuvre dans Tchad GPT, elles remontent à, par exemple, des travaux qu'il avait menés, lui, dans les années 90, sur la manière d'entraîner au mieux ces grands systèmes qu'on appelle des grands réseaux neuronaux profonds.

Emmanuel Chimla, je vous ai invité parce que Tchad GPT est un modèle verbal, il fait des textes, il produit du langage, il produit une sorte de littérature. Quand vous êtes linguiste, et je me suis dit qu'il était essentiel d'avoir votre regard sur Tchad GPT, justement, comment un linguiste voit-il cette chose bizarre ? Merci, merci de l'invitation, merci de votre question. Je vais d'abord rebondir sur une chose qu'a dite Bertrand. Donc, ce qu'on sait depuis longtemps, c'est que ces modèles d'apprentissage, qu'on pourrait appeler aveugles, qui partent des données, en fait, ils peuvent apprendre presque tout, presque parfaitement. C'est exactement ça qu'on sait.

Et le grand enjeu, c'est de savoir à quelles conditions ils vont y arriver. Ce qu'on a découvert dans ces dernières années, c'est qu'on avait suffisamment de données linguistiques disponibles sur la planète pour pouvoir approximer cette fonction, qui consiste, à partir d'un début de phrase, de terminer cette phrase. On peut voir ça comme une fonction, façon complètement mathématique. On a un début de phrase, on veut la fin de la phrase. Eh bien, on peut approximer cette fonction très, très près. L'enjeu, c'est de découvrir avec quelle quantité de données on est capable de faire ça.

Et ce dont on s'est rendu compte, c'est qu'on est capable de faire ça avec une quantité de données absolument astronomique. Il s'agit de milliers et de milliers d'années de langage, s'il s'agissait d'être exposé à cette langue. Mais alors ça, c'est quand même très étrange, parce que ça signifie, Emmanuel Schemla, que nous sommes extrêmement prévisibles dans les mots que nous utilisons, dans les phrases que nous formons, tellement prévisibles, finalement, qu'une machine qui ne sait pas, parce qu'il n'y a pas de savoir dans le chat GPT, il y a en revanche une capacité lexicale. Et donc, les probabilités suffisent à former des phrases. Alors, suffisent à former des phrases, oui.

On peut former des phrases, même avec des règles très simples. On va être capable de dire, voilà, je vais choisir comme sujet soit chat, soit lion. Je vais choisir comme verbe soit boire, soit manger. Et je vais mettre les deux à côté. Je vais former des phrases. Et un certain nombre de phrases, assez grande. De là à dire que j'ai reproduit l'intelligence humaine et la capacité à créer des histoires intéressantes, etc., il y a évidemment un saut. Chat GPT fait une partie de ce saut-là, très certainement. Et l'un des enjeux, c'est de savoir comment.

Donc, d'un point de vue de la linguistique, la distinction, encore une fois, que Bertrand a eu la bonne idée d'introduire très tôt, c'est de savoir, d'une part, est-ce que ces modèles apprennent comme les humains ? Étant donné la quantité de textes qu'il faut pour en arriver à ce niveau de qualité, on n'est pas du tout au niveau de ce que font les enfants. Les enfants, en quelques mois, en quelques années, si on veut être un peu généreux, sont tout aussi bons que Chat GPT.

Alors, ça, c'est effectivement important, puisque Yann Lequin est toujours celui qui dirige le laboratoire d'intelligence artificielle de Facebook, explique que Chat GPT en sait moins, par exemple, sur la gravité qu'un chat. Je ne sais pas très bien ce que c'est un chat sur la gravité, mais on voit que la notion de savoir dans ce domaine-là est complètement inopérante. Là aussi, quelles sont les conséquences ? Emmanuel Schemla, ce système qui ignore tout et qui est capable de répondre à toutes les questions. Alors, c'est une excellente question, et c'est aussi une question très linguistique.

Donc, l'une des questions, c'est, pour rester dans le domaine linguistique, plutôt dans le domaine du savoir, qui est peut-être plus difficile, c'est quelles règles linguistiques Chat GPT connaît. Et par règles linguistiques, il y a des choses très, très simples que tout le monde connaît. Il ne s'agit pas de retourner au CM2, je ne vais pas vous obliger à faire ça, parce que ça peut être pénible pour certains, mais il y a des règles très simples que tout le monde connaît. Le sujet en français, il est typiquement avant le verbe, qui lui-même est typiquement avant l'objet. Il y a des langues qui ne sont pas comme ça, où le sujet est suivi de l'objet, qui lui-même est le sujet du verbe.

Donc ça, c'est des règles très fermes, très strictes, qui sont vraies ou fausses, et on les applique strictement. Ces modèles-là, comme le disait Bertrand à nouveau, merci beaucoup pour l'introduction, ces modèles-là ne fonctionnent pas comme ça. C'est des statistiques qu'ils apprennent et ne représentent pas de règles de cette façon-là. Ils les réalisent quand ils forment des phrases du français. Le sujet est bel et bien avant le verbe, qui lui-même est bel et bien après l'objet, mais on ne sait pas comment est représentée cette règle à l'intérieur du système. Ça veut dire que finalement, Chad J.P.T. parle un français moyen. C'est une bonne façon de présenter les choses.

Certainement, Chad J.P.T. est une agrégation des statistiques qu'on trouve dans les textes de français. De là à dire que c'est un français moyen, c'est compliqué parce que... C'est une langue assez neutre, assez tiède. C'est vraiment très éloigné de ce que l'on peut avoir dans la littérature ou un texte écrit avec des effets. Et c'est donc une forme de langue qui est syntaxiquement parfaite. Aucune faute d'orthographe, aucune faute de français, aucune invention aussi, ai-je envie de dire. Alors, plusieurs réponses à ça. On ne sait pas exactement quelle langue parle Chad J.P.T. Donc, certainement, il parle une bonne partie du français.

On peut dire ça déjà parce qu'une partie des phrases qu'il produit sont effectivement du français. Mais il parle d'autres langues qu'en fait, on n'a pas explorées. Et par d'autres langues, je veux dire qu'il y a des séquences de mots du français qui pour Chad J.P.T. vont avoir un sens. Donc, c'est ce qu'on appelle le prompt engineering. On se rend compte que si on pose certaines questions à Chad J.P.T. d'une façon qui, pour nous, serait complètement bizarre, en fait, il va donner des réponses qui seront parfaitement appropriées. Vous trouverez sur Internet plein d'exemples de ce type-là et c'est aussi étudié de façon très systématique. Donc, Chad J.P.T.

parle d'une certaine façon le français et sa propre langue qu'il a développé parce qu'il avait ses propres biais d'apprentissage, sa propre capacité à généraliser qui n'est pas la même que nous. Nous, en généralisant, on va rester dans le cadre du français. Lui, potentiellement, va aller au-delà et créer d'autres choses qui, nous, ne nous est pas accessible.

Bertrand Brunchfeig. Oui, je voudrais ajouter un petit quelque chose quand même sur les notions de compréhension de ce qui se passe parce que ces systèmes-là, en fait, n'ont pas, comme nous, la compréhension de ce qu'ils sont en train de faire. Et je vais prendre un exemple. Un de mes premiers essais avec Chad J.P.T. Je lui ai demandé de m'écrire un poème. Il m'a écrit sur le sujet importe peu. Il me fait quatre strophes de quatre verres qui étaient effectivement assez banales mais bien tournées. Il me dit ce poème fait 14 lignes. Je calcule 4 fois 4. J'ai dit non, c'est pas ça. J'ai dit non, il en a 16. Alors, il m'explique qu'il s'est trompé et que j'ai raison. Il est très gentil.

Et après, je lui ai dit affiche-moi la... Numérote les lignes dans l'ordre. Il me les numérote 1, 2, 3, 4 jusqu'à 16. Et après, je lui demande combien de lignes il y a ce poème. Il me dit 14. En fait, ça montre que le système produit du discours mais ne produit pas quelque chose qui relève d'une compréhension interne des mécanismes. Encore une fois, c'est l'application de très puissants mécanismes statistiques comme tu décrivais qui cherchent à produire le prochain mot. Mais il n'y a pas cette logique interne que nous avons le bon sens la compréhension, etc.

qui font que ces systèmes produisent ce qu'on appelle des hallucinations c'est-à-dire des choses qui sont fausses et puis ne sont pas en interne cohérents en eux-mêmes, disons.

Alors ça, c'est essentiel Bertrand Brunschweig puisque à chaque fois qu'on utilise ChatGPT on se rend compte qu'il commet ou qu'il peut commettre des erreurs. Moi, à chaque fois que je me suis dit que j'allais me documenter grâce à lui eh bien, j'ai été bien attrapé parce que j'ai vu qu'il y avait une ou deux erreurs qui ne sont jamais d'ailleurs des erreurs complètement aberrantes mais qui sont généralement des erreurs suffisamment graves pour devoir être démasquées. Comment cela se fait-il ?

C'est ce que je disais il n'y a pas de compréhension profonde des questions des réponses il y a l'application de mécanismes statistiques en grande dimension qui cherchent à produire des mots et finalement peu importe que cela représente une vérité ou autre chose ce qui compte c'est que les mots soient probables les uns par rapport aux autres et c'est comme cela que ça marche le prompt la commande initiale cadre un petit peu les choses enfin elle cadre même beaucoup les choses mais l'application très très en grande dimension de tous ces mécanismes statistiques fait qu'au bout d'un moment le système diverge de ce qu'on pourrait appeler la réalité

Mais Emmanuel Schimla il n'y a pas que de la statistique chez ChadGPT on voit bien qu'on lui a appris aussi une sorte de morale par exemple ChadGPT est doté d'une forme de dialectique c'est à dire qu'il a souvent l'habitude à donner des réponses pondérées en disant qu'il y a des gens qui pensent ceci et d'autres qui pensent cela il est au contraire extrêmement tranché sur des sujets qui sont des sujets qu'affectionnent la complosphère par exemple j'ai demandé à ChadGPT si la terre était ronde et il m'a dit qu'effectivement elle était ronde et qu'en aucun cas on ne pouvait la dire plate ce qui veut dire qu'il a d'une part subi des apprentissages probablement sur certains sujets et d'autre part qu'on lui a appris non pas seulement une manière de parler mais aussi une manière de penser mais je crois pour un linguiste une manière de parler c'est aussi une manière de penser alors très bonne question comment comment on circonscrit ce qu'on va accepter de la part de ChadGPT comment on éduque ChadGPT d'une certaine façon et il y a deux mécanismes principaux il y en a un qui est en amont on va pouvoir le nourrir de textes qui nous conviennent plus que d'autres donc si on a envie de le convaincre que la terre est ronde il suffit de lui dire un certain nombre de fois dans son ensemble d'entraînement et on peut espérer qu'à la sortie de ça il va être convaincu d'une certaine façon que la terre est ronde ou du moins que c'est ce qu'il nous dira une deuxième façon qui est importante je l'imagine pour la deuxième partie de l'émission c'est de vérifier à postériori ce qui se passe et d'avoir des systèmes de sauvegarde d'empêcher certains types de discours d'émerger de la même façon qu'on peut faire ça pour des images on peut faire ça pour du texte on veut bloquer certains textes et là encore il y a plusieurs façons de faire l'une des façons qui est utilisée c'est intéressant c'est elle-même une IA qui va décider de ce qui est un texte acceptable de ce qui n'est pas un texte acceptable donc on va entraîner une IA à vérifier qu'un texte est acceptable et utiliser cette propre IA pour censurer la première chat GPT et donner un texte qui va nous convenir et qui va être dans les normes qu'on attend de la part de notre interlocuteur

Bertrand Brotschweg alors à l'origine chat GPT c'est la mise en service d'un système de recherche qui s'appelait Instruct GPT qui est très bien décrit dans un article d'OpenAI de bien petit moment et il est basé sur ce qu'on a appelé le Human Based Reinforcement Learning l'apprentissage par renforcement avec des humains dans la boucle et donc ce sont une quarantaine de personnes qui ont été confrontées à des productions de la version initiale du logiciel et qui ont mis des annotations sur ces productions en disant ça c'est bien ça c'est faux ça c'est à contenu violent il ne faut pas il ne faut pas le mettre etc et c'est sur cette base là avec énormément de passages de toute cette base pour améliorer le système que la version finale a été construite l'amélioration du système

on en vient à ces questions qui aujourd'hui nous font un peu peur le remplacement des êtres humains est-ce que chat GPT alors on a vu qu'il y avait différentes versions qu'on montait dans les versions on est aujourd'hui à chat GPT 4 est-ce qu'il est possible d'imaginer qu'il y aura de moins en moins d'erreurs qu'au terme de ces processus d'apprentissage que vous décrivez Bertrand Braunschweig on aura affaire à un assistant parfaitement fiable

moi j'ai du mal à y croire j'ai du mal à y croire effectivement j'en ai discuté il n'y a pas tellement longtemps avec Yann Lequin qui a un peu de cet avis là aussi il dit et je suis assez d'accord que c'est un petit peu intrinsèque à tout ce processus en fait encore une fois ce sont des grands modèles statistiques il n'y a pas de notion de vérité il n'y a pas de notion il n'y a pas de compréhension donc c'est un petit peu inévitable d'avoir ce genre de problème

alors je vais vous poser la question autrement est-ce qu'il existe d'autres conceptions de l'intelligence artificielle qui posséderait véritablement un savoir et qui ne serait pas dépendante d'une statistique liée donc à l'utilisation

de termes alors oui et c'est ce qu'on a essayé notamment par exemple dans les années 80-90 quand se développaient les systèmes ce qu'on appelait les systèmes experts qui contenaient des connaissances des règles des faits des raisonnements logiques des bases de règles etc avec le problème qu'on a eu à l'époque c'est que ces choses là ne passaient pas à l'échelle qu'il y avait des problèmes de cohérence interne des règles et que du coup en fait petit à petit ça a été remplacé par l'intelligence artificielle basée sur les données qu'on connaît aujourd'hui ça veut dire qu'elles ont été complètement abandonnées non ils ne sont pas complètement abandonnées il y a encore beaucoup de systèmes qui tournent aujourd'hui sur ces bases là mais il y a des gens qui pensent et ça c'est vraiment un sujet de débat qu'on peut améliorer les choses en faisant ce qu'on appelle de l'IA hybride qui combine à la fois des modèles basés sur les données et des modèles basés sur les connaissances aujourd'hui il y a des travaux qui démarrent là dessus peut-être que je pourrais en parler un petit peu plus tard notamment sur ce qu'on appelle les niveaux système 1, système 2 qui représentent la manière dont nos cerveaux fonctionnent mais ça ça demande un petit peu de temps pour expliquer

on parlera de système 1 et système 2 ce que Daniel Kahneman avait utilisé pour représenter l'esprit humain mais ça signifie qu'on en est au début d'un processus et c'est peut-être à ce moment là qu'il faut agir avant qu'il soit trop tard comme on le dit souvent Bertrand Bonschveig

on s'en occupe en fait et on n'est pas les seuls mais on fait ça notamment dans le cadre du programme dont je m'occupe de la coordination scientifique qui s'appelle confiance.ai qui est là pour développer les systèmes d'intelligence artificielle de confiance et dans ce programme on est à la fois sur les aspects numériques et aussi sur les aspects logiques de manière à donner une meilleure qualité de manière à assurer une meilleure confiance dans les systèmes numériques dont on parle

encadrer l'intelligence artificielle développer une intelligence artificielle à la française on en parle dans quelques instants avec vous Emmanuel Schemla vous êtes chercheur en sciences cognitives et linguistiques et vous Bertrand Braunschweig vous êtes l'ancien directeur du centre de recherche de l'INRIA Saclay et actuellement consultant il est 8h sur France Culture

7h 9h

les matins de France Culture Guillaume Erner nous sommes en compagnie du chercheur en sciences cognitives et linguistiques Emmanuel Schemla de l'ancien directeur du centre de recherche de l'INRIA Saclay Bertrand Braunschweig il y a eu donc il y a une décision de l'Europe autour d'un Artificial Intelligence Act un acte donc législatif au sujet de l'intelligence artificielle qui suppose notamment des obligations de transparence et de gouvernance pour les développeurs d'intelligence artificielle je dois dire qu'un certain nombre de décisions importantes sont remises à septembre le texte reste flou mais l'intention politique est là il faut encadrer ce que font les grandes entreprises de l'intelligence artificielle qu'en pensez-vous Bertrand Braunschweig

je pense que c'est un exemple pour le reste de la planète et donc l'Europe a pris les devants depuis assez longtemps déjà puisque il y a quelques années elle avait créé ce qu'on appelait le High Level Expert Group le groupe d'experts de haut niveau sur l'intelligence artificielle qui avait comme mission de définir comment arriver à une intelligence artificielle disons responsable et de confiance et sont ces travaux-là qui ont été regardés non seulement en Europe mais dans le monde entier qui ont abouti à l'idée d'avoir une réglementation sur l'intelligence artificielle qui est basée d'ailleurs sur la notion de risque peut-être qu'on y reviendra mais qui a pour but de faire de l'Europe l'endroit où l'intelligence artificielle est encore une fois responsable et de confiance notion de risque c'est-à-dire ?

c'est-à-dire que en fait ça va dépendre des applications vous avez certains je vais prendre des exemples si le système d'intelligence artificielle vous fait la recommandation du prochain film que vous avez envie de voir il peut se tromper c'est pas grave vous regardez un autre film il n'y a pas de grand risque à ça par contre si c'est pour superviser une centrale nucléaire pour décider si vous avez un cancer ou non pour piloter une voiture là on aimerait bien qu'il ne se trompe pas trop donc il y a des niveaux de risque différents des niveaux de risque minimaux dans lesquels c'est relativement peu réglementé niveau de risque qui exige la transparence un niveau qu'on appelle haut risque dans lequel il y a beaucoup beaucoup d'exigences et il y a le niveau carrément interdit où ces applications ne sont pas autorisées sur le sol européen

mais on a l'impression que le législateur et ses grandes entreprises particulièrement les GAFAM bien sûr et OpenAI la société qui possède aujourd'hui Tchad GPT dispose d'une telle capitalisation qu'elle fait figure là aussi de mastodonte on a l'impression que les politiques et le juridique ne jouent pas dans la même catégorie que ces grandes entreprises donc quand on demande de la transparence à ces entreprises est-ce qu'on n'est pas un peu naïf

Bertrand Branchez elles sont effectivement très puissantes mais l'Europe c'est quand même un marché extrêmement important c'est quand même le plus grand marché mondial et donc elles vont être contraintes de respecter la loi le jour où elle arrivera alors c'est quand même pas effectivement pour tout de suite on est encore en train de préparer les documents préparer les normes qui vont arriver en soutien de cette réglementation mais d'ici 2-3 ans on aura une réglementation qui s'appliquera et que ces entreprises devront respecter c'est même un peu plus fort que ça parce que la réglementation s'applique aux produits vendus sur le sol européen qu'ils soient fabriqués en Europe ou à l'extérieur mais aussi à des produits vendus en d'autres endroits mais dont l'utilisation aurait des conséquences pour les européens bon mais par exemple

on ne réussit toujours pas à avoir l'algorithme de Facebook ou celui de Twitter vous pensez qu'on va avoir les sources et la transparence totale sur ce que fait

OpenAI par exemple ?

on n'est pas jusqu'à la transparence algorithmique ce n'est pas nécessaire ce n'est pas demandé sauf dans des cas vraiment très très particuliers en fait effectivement il a été ajouté récemment un élément de loi sur ce qu'on appelle les foundational models c'est-à-dire les systèmes de base en fait les grands modèles de langue les grands modèles de vision pour lesquels on va développer des exigences un peu particulières sachant qu'on ne connait pas leur domaine d'utilisation au moment où ils sont conçus mais on n'a pas besoin d'aller jusqu'à la transparence de toutes les données on a besoin d'avoir disons des justifications des explications et dans certains cas d'aller un petit peu plus loin

l'autre inquiétude évidemment Emmanuel Chemla vous qui êtes linguiste c'est tout simplement que ces modèles-là nous remplacent en partie en tout cas réussissent à faire mieux que certains êtres humains et notamment dans le domaine linguistique car Tchadjipiti c'est avant tout un mécanisme pour produire du texte là aussi en tant que linguiste que pensez-vous de la capacité de ces systèmes à remplacer différents types de professions les journalistes par exemple les écrivains peut-être les scénaristes pourquoi pas je vous remercie l'une des premières choses à voir c'est où on en est on en est aujourd'hui tout le monde peut essayer Tchadjipiti ça c'est l'un des grands succès d'OpenA c'est d'avoir permis ça et on voit tous que Tchadjipiti fait des phrases de bonne qualité c'est utilisable ça dépend de nos objectifs encore une fois c'est une question de niveau risque si on veut écrire le scénario de la prochaine pièce de théâtre peut-être qu'il faudra faire un peu plus attention que si ce qu'on veut faire c'est la prochaine dissertation de philosophie je pense au bachelier aujourd'hui peut-être que ça marchera mieux et qu'on pourra bluffer le professeur les enjeux ne sont pas exactement les mêmes donc où on en est aujourd'hui d'un point de vue linguistique les phrases élémentaires sont bonnes de bonne qualité et pas vraiment distinguables de celles d'un locuteur natif ce qui intéresse plus les linguistes c'est de pousser le système à sa limite voir ce qui se passe avec des constructions plus compliquées des phrases plus longues tout simplement et là on peut détecter rapidement des cas où Tchadjipiti va diverger vraiment des humains parce qu'il n'a typiquement pas été entraîné sur des phrases nécessairement très longues les êtres humains non plus d'une certaine façon n'ont pas été exposés à ça mais par le fait de biais communs qu'on partage tous à la naissance on va généraliser tous de la même façon même dans des phrases qu'on n'a jamais vues ça veut dire qu'en fait une phrase complexe est inaccessible pour Tchadjipiti ?

alors inaccessible on ne le sait pas ce qu'on sait c'est qu'aujourd'hui le comportement est différent de celui des humains la généralisation est différente ça ne veut pas dire qu'elle est mauvaise c'est une généralisation c'est la sienne elle lui appartient ce qu'on sait aussi c'est que c'est des systèmes qui évoluent extrêmement vite là on parle d'un système qui a quelques mois il y a un an deux ans on était très très loin d'arriver à ce niveau de complexité donc il n'y a pas de raison de douter qu'on va progresser jusqu'où on arrivera on ne le sait pas on n'y est pas mais le langage Emmanuel Schemla ce ne sont pas seulement des phrases je veux dire en ce moment même par exemple il y a les lycéens qui planchent sur leur copie de philo une copie de philo ce sont des phrases et là vous nous avez expliqué que Chad Gipiti était capable de former des phrases puisqu'il est soumis à un certain nombre de modèles statistiques qui permettent de savoir comment composer une phrase mais dans une copie de philo il y a un plan aussi et alors justement comment passe-t-on de la phrase au plan puisque dans tous les textes tant soit peu complexe il faut une capacité de planifier un texte peut-être même qu'on peut parler d'une pensée je ne sais pas ce que le linguiste en pense mais précisément lorsqu'on doit déployer un certain nombre de phrases on arrive à ce qu'on appelle une pensée et là comment Chad Gipiti fait-il pour passer de la structure de phrases à la structure de texte alors je vais répondre d'abord sur la question de la planification est-ce que Chad Gipiti est capable de planification la réponse très très claire c'est oui comment on le voit il y a des exemples très simples c'est si on demande à Chad Gipiti de faire un poème il va effectivement faire un poème avec des choses qui riment et pour faire des rimes il faut planifier d'une certaine façon comment on va finir le poème et c'est comme ça qu'on décide comment on le commence donc la planification elle existe l'autre question que vous posez c'est comment utiliser dans des tâches complexes Chad Gipiti si on veut un plan plutôt que simplement un paragraphe etc et là je trouve que c'est une question très intéressante qui rejoint la discussion que nous avions juste avant qui est une utilisation hybride du système le système il a ses limites on commence tous à les connaître on peut tous les toucher du doigt il nous fait une proposition et on peut nous demander une autre proposition ou ajuster la proposition donc c'est l'idée d'utiliser Chad Gipiti comme on utilise le reste comme une certaine source de texte une certaine source de fait en tant que journaliste vous vérifiez vos sources qu'elles viennent de Chad Gipiti ou qu'elles viennent d'ailleurs vous les vérifiez il va falloir apprendre aujourd'hui à vérifier nos sources à vérifier Chad Gipiti à augmenter Chad Gipiti si on n'est pas satisfait on va lui demander tu vas me faire d'abord la première partie du plan ça va être ça la deuxième partie et on verra ce que lui arrive à faire et ce que nous on devra complémenter et la direction que ça indique c'est qu'il faut apprendre à s'en servir et à s'en servir de façon intelligente et productive

Bertrand Braunschweig oui je voudrais ajouter mais un petit peu dans un autre domaine dans le domaine du code informatique parce que ces systèmes là Chad Gipiti puis d'autres ils sont aussi capables de produire du code informatique ça c'est Chad Gipiti 4 qui produit du code code notamment disons pas toujours de très bonne qualité au début mais avec des essais erreurs on finit par avoir un code tout à fait utilisable

alors ça c'est quelque chose là aussi de très surprenant à voir et de très inquiétant pour les programmeurs parce que ça veut dire qu'a priori vous pouvez demander à Chad Gipiti en langage naturel de développer par exemple une application

alors une application c'est un peu gros mais disons un module oui un petit module et il y a quelque temps une personne dont l'office entamait des études de programmation me demandait si c'était un bon choix si ce métier n'allait pas disparaître bonne question qu'est-ce que vous avez répondu et bien j'ai répondu en fait le métier va changer le métier va changer parce que pour programmer un petit module simple on peut le demander pour programmer une application complexe il faut mettre de soi-même mais ce qui va changer c'est la manière dont on va le faire c'est-à-dire que la difficulté va être de spécifier correctement la demande et donc il y a un métier comme le prompt engineering est en train de devenir un métier rappelez-nous ce qu'est le prompt engineering c'est la façon de rédiger les questions de manière à ce que chaque GPT et ses collègues répondent correctement et en fait aujourd'hui les gens qui savent faire ça sont ceux qui obtiennent les meilleurs salaires dans le monde

et justement lorsque l'on aborde ces questions-là ces questions de remplacement vous nous avez évoqué il y a quelques instants avant le journal la distinction entre deux systèmes de pensée système 1 système 2 de Daniel Kahneman dites-nous en quelques mots ce que sont ces deux systèmes de pensée et la manière dont finalement l'intelligence artificielle peut tenter de remplacer l'un

et ou l'autre alors effectivement dans la théorie de Daniel Kahneman notre cerveau fonctionne de deux manières il y a une manière rapide qui est plutôt du niveau perception ou de la manière dont on comprend la langue c'est quelque chose qui on se fait à toute vitesse si je vois votre visage Guillaume je sais que c'est vous j'ai pas besoin de réfléchir pendant longtemps donc tout ça c'est ce qu'on appelle le système 1 réaction rapide perception compréhension des scènes etc et par contre si je vous demande de faire 553 multiplié par 428 ou de faire un plan pour aller d'un endroit à un autre et bien il va falloir réfléchir un petit peu et donc ce sont des mécanismes plus lents des mécanismes qui font appel à d'autres fondements et qui sont ce qu'on appelle ce que Daniel Kahneman a appelé le système 2 et en fait dans notre cerveau l'analyse c'est que ces deux systèmes sont en permanence en interaction et que l'un alimente l'autre très réciproquement alors au niveau intelligence artificielle aujourd'hui tous ces logiciels basés sur les données sur la perception sont en fait du système 1 et il y a très peu de choses qui existent au niveau du système 2 quand on fait ce qu'on appelle de la planification automatique on s'en rapproche un petit peu mais on en est vraiment très loin en tout cas aujourd'hui on n'a aucun système qui fonctionne avec les deux ensemble c'est encore au niveau des recherches j'ai vu l'année dernière pour la première fois une chercheuse d'IBM présenter une articulation entre le système 1 et le système 2 mais c'était vraiment sur des problèmes joués mais c'est très

contre-intuitif ce que vous dites parce qu'on aurait tendance à dire que le système 2 c'est ce qui relève de la raison ce qui relève du calcul est beaucoup plus facile à opérer sur un ordinateur

c'est un petit peu ce qu'on essayait quand on faisait la représentation des connaissances du raisonnement il y avait il y a même eu un projet assez ambitieux qui consistait à en gros faire la base de connaissances de bon sens de l'ensemble de nos connaissances ça a duré une dizaine d'années mais au bout du compte toutes ces choses là ont été jetées parce que ça ne fonctionnait pas pour les problèmes que j'ai déjà mentionnés pour des questions de cohérence de performance de passage à l'échelle et donc ça a été un petit peu abandonné est-ce que c'est la manière d'arriver à faire du système 2 on n'en est d'ailleurs pas complètement sûr quand vous discutez avec deux des trois les deux francophones qui ont été lauréats du prix Turing il y a quelques années Yann Lequin et Joshua Bengio le troisième est un anglophone Geoffrey Hinton le prix Turing c'est le prix Nobel de l'informatique eux ont une vision de la manière d'arriver à système 2 avec des interactions entre des modèles qui représentent certaines façons du fonctionnement de notre cerveau mais qui sont en interne basées sur des réseaux de neurones et pas sur des raisonnements logiques donc on se pose encore la question on n'est pas sûr d'y arriver et c'est vraiment un sujet qui démarre

mais alors pour continuer à parler de Turing Emmanuel Schemmler vous qui êtes linguiste Turing le vrai Turing pas celui du prix Turing l'homme Turing se posait la question de savoir comment on pouvait distinguer un homme d'une machine et il imaginait un être humain conversant avec une machine ce qu'aujourd'hui on peut faire tous les jours avec ChatGPT et il disait en substance il faudrait imaginer une machine suffisamment habile à singer l'être humain une machine qui saurait se tromper alors ça par exemple est-ce que c'est envisageable aujourd'hui est-ce que ChatGPT est cette machine-là est-il possible pour vous qui êtes linguiste par exemple si vous deviez deviner si vous avez affaire à ChatGPT ou pas réussiriez-vous à le faire alors c'est une très bonne question et il y a deux façons de détecter ChatGPT dans un test de Turing ça s'appelle comme ça l'une des façons c'est d'essayer de voir les erreurs qu'il va faire et effectivement il va faire certaines erreurs que les humains ne feront pas soit au niveau linguistique comme je le disais tout précédemment il y a des phrases qui va construire d'une façon qui va nous sembler pas la façon que nous préférerions nous donc on peut aller chercher ou alors dans le raisonnement il y a des raisonnements assez simples que ChatGPT n'est pas en fait capable de suivre aujourd'hui je dis ChatGPT mais c'est un terme générique ici par exemple quel type de raisonnement ?

des raisonnements simples on peut voir des raisonnements de transitivité du type le gobelet est à gauche de la boîte la boîte est à gauche de la bouteille est-ce que le gobelet est à gauche de la bouteille on voit des tests très simples qui sont faits aujourd'hui chez Emmanuel Dupont par exemple on démontre que ChatGPT se trompe sur ces choses-là mais est-ce qu'on comprend pourquoi il se trompe ?

alors de la même façon qu'on ne comprend pas pourquoi il y arrive on ne comprend pas pourquoi il se trompe donc ça c'est une bonne question l'autre aspect du test de Turing qui est l'effet miroir qui est souvent moins mis en avant c'est que ChatGPT va faire des choses mieux que nous c'est un peu comme les machines qui jouent aux échecs en fait elles sont meilleures que les humains et d'une certaine façon on peut les détecter comme ça donc si on va poser des questions à ChatGPT dans une variété de domaines très très large qu'aucun humain ne maîtrise dans je ne sais plus combien de langues en fait ChatGPT va répondre très bien et ça c'est aussi la preuve qu'on n'a pas une machine qui est humaine on a autre chose que ça qui a des avantages et des inconvénients par rapport à un être humain Bertrand Brunschweg l'autre enjeu aujourd'hui enjeu qui est particulièrement à l'honneur avec l'ouverture du salon VivaTech c'est l'intelligence artificielle à la française vous dirigez l'institut de recherche de l'INRIA à Saclay justement y a-t-il aujourd'hui une voie française vers l'intelligence artificielle est-ce que l'on est bien doté en matière de start-up ou d'entreprise dans ce domaine

plutôt oui et en fait quand on a lancé le premier plan national d'intelligence artificielle qui s'appelait AI for Humanity l'intelligence artificielle pour l'humanité on était quand même le premier pays à lancer un programme qui avait cette vision humaniste que n'ont pas forcément tous les autres donc à l'époque c'était un milliard et demi d'euros qui avaient été injectés beaucoup dans la recherche et dans d'autres secteurs et là il y a eu une deuxième une deuxième relance avec un programme qui est de l'ordre de deux milliards d'euros sur le développement et notamment avec beaucoup d'aspects formation donc on fait ce qu'il faut je pense pour que la recherche l'économie les start-up se développent on a quand même une politique de start-up qui marche assez bien on a un grand nombre de start-up qui démarrent et qui sont de très bonne qualité donc on peut dire qu'on est dans la course mondiale sur le sujet quand on a lancé le premier plan la volonté était d'être le premier européen sachant que la concurrence est rude à l'époque il y avait le Royaume-Uni et l'Allemagne et puis d'autres pays comme l'Espagne et l'Italie qui sont très actifs et donc on est toujours un peu dans ces ambitions-là évidemment au niveau mondial il y a les mastodontes que sont les Etats-Unis la Chine et quelques autres

c'est un peu ça on a toujours peur que l'on crée des start-up et qu'ensuite ces start-up ou les dirigeants de ces start-up ou les ingénieurs de ces start-up aillent aux Etats-Unis pour profiter d'un écosystème peut-être plus favorable

ça s'est passé dans un certain nombre de cas effectivement nous on se place plutôt en fait au niveau européen puisque on est comme je l'ai dit on est fort individuellement en France et on veut être aussi fort collectivement et je pense que c'est cette action globale européenne accompagnée de la réglementation qu'il faut qui continuera de positionner la France comme un des acteurs majeurs en Europe et l'Europe comme l'acteur majeur un des acteurs majeurs au niveau mondial

et alors quelles sont les entreprises qui aujourd'hui sont ou apparaissent particulièrement prometteuses en France on a parlé d'un Open AI à la française est-ce qu'on a raison par exemple d'en parler ?

effectivement on n'a pas encore ça aujourd'hui

alors il y a une société qui s'appelle Mistral AI qui a bénéficié de 105 millions d'euros alors c'est beaucoup d'euros et c'est très peu par rapport à l'équivalent américain

oui oui moi je suis aussi je travaille dans le comité d'investissement du fonds de la région Île-de-France pour les start-up et on en voit passer beaucoup donc on pense effectivement qu'il y en a beaucoup qui sont prometteuses et c'est pas seulement dans la région Île-de-France c'est un peu sur tout le territoire maintenant lesquels seront les gagnants au bout du compte c'est difficile à dire

mais par rapport à la technologie qu'utilise ChatGPT au Mines Journées est-ce qu'il s'agit de singer cette technologie d'essayer de créer donc des programmes parallèles qui fassent la même chose qui le fassent mieux plus vite ou est-ce qu'il s'agit de prendre d'autres chemins ?

On a aussi des start-up ou des labos qui ont des approches un petit peu différentes notamment sur la partie consommation énergétique parce qu'on n'en a pas du tout parlé mais tous ces systèmes demandent des capacités de calcul phénoménales et donc de la consommation énergétique également phénoménale et donc en utilisant des approches basées sur notamment nos connaissances mathématiques l'école mathématique française qui est de très très bonne qualité on a des gens qui travaillent sur des nouvelles représentations des nouvelles approches qui permettent de faire ce qu'on appelle dans l'intelligence artificielle frugale et qui a un avenir très important je pense frugal frugal c'est-à-dire qui ne consomme pas particulièrement les ressources énergétiques de la planète ce qui est quand même important

parce que c'est une autre préoccupation effectivement Emmanuel Schemla est-ce que des modèles linguistiques peuvent permettre de faire ce que fait Tchad GPT en le faisant mieux plus rapidement quelles sont les recherches dans ce domaine question compliquée c'est l'avenir qui nous dira quelles sont les bonnes directions dans le domaine linguistique encore une fois tous les deux ou trois mois on a une révolution on a des choses aussi rapide que cela oui c'est vraiment de cet ordre là et d'ailleurs c'est même quand on essaye d'étudier les propriétés de ces systèmes très vite ça devient obsolète parce que c'est des nouvelles propriétés qui deviennent importantes ce qui est intéressant aussi ce qui permet de faire avancer la recherche parce qu'on pousse les limites en fait d'un côté il y a les testeurs et de l'autre côté il y a les gens qui vont dire ok on a ce problème de test donc on va améliorer mais ce sont des innovations des innovations de rupture c'est-à-dire tous les trois mois on ne peut pas découvrir malgré tout il y a différentes sortes d'innovations il y a des innovations qui se font d'ailleurs souvent par tâtonnement on va trouver une nouvelle architecture une nouvelle façon d'agencer notre réseau de neurones pour que ça marche mieux et on ne sait pas toujours pourquoi d'ailleurs cette nouvelle façon d'agencer marche mieux mais comme on en essaye plein en parallèle et ça pour le coup ça consomme pas mal de ressources effectivement et bien il y en a une qui va faire mieux et on va progressivement trouver la meilleure un peu par un système d'évolution c'est la meilleure qui survit et donc on va de l'avant de cette façon là donc il y a différentes pistes qui sont suivies il y a différentes pistes qui sont suivies celle de la réduction de taille est une piste intéressante donc on en parlait faire frugal faire frugal il y a deux arguments à ça il y a évidemment l'argument de la consommation énergétique mais il y a aussi potentiellement un argument de qualité c'est à dire peut-être qu'avec des systèmes plus simples on va mieux généraliser c'est à dire qu'on va arrêter d'apprendre par coeur un corpus mais apprendre à généraliser le corpus parce qu'on a moins de ressources moins de mémoire et on va se rapprocher peut-être de choses plus abstraites qui vont avoir des compétences encore plus grandes merci à tous les deux merci Emmanuel Schemla vous êtes chercheur en sciences cognitives et linguistiques merci Bertrand Braunschweig ancien directeur du centre de recherche de l'INRIA Saclay dans quelques secondes le point sur l'actualité le 8.45 de France Culture merci à tous

merci à tous merci à tous merci à tous