Hello!
bon slrpnk.net a l’air d’être dans les choux alors je lance ce post avec mon compte de secours jlai.lu
Alors je lance cet AMA car ça fait un moment que je bouffe du machine learning à temps plein et pour suivre les news technique, je passe le plus clair de mon temps à lire de l’anglais. Et je trouve qu’en français, ben y a pas grand chose. C’est presque uniquement du discours dystopique mal informé.
Rien sur la recherche sur l’alignement, rien sur les modèles open source (condition sine qua non pour que ça se passe bien), rien sur les évolutions sociales positives que ça peut amener.
On parle juste de OpenAI, Google et Musk qui ne sont que quelques arbres malades d’une forêt bien plus grande.
Perso ça va faire 5 ans que je fais du deep learning professionnellement. J’ai travaillé pour Skymind, qui développait deeplearning4j. Ça vous dira rien, c’est un projet plus ou moins mort, mais c’était une tentative de faire un framework alternatif avant que tout le monde passe à pytorch. Puis je suis devenu principalement utilisateur des gros modèles entraînés par d’autres.
J’ai travaillé sur les modèles de vision au départ et maintenant presque exclusivement sur des modèles de langage. J’ai réussi à passer au 4/5e l’année dernière pour me consacrer aussi avec le fablab local à de la robotique open hardware (où bien sur j’utilise des modèles de deep learning pour la vision).
Ça fait plus de 20 ans que j’ai réalisé que l’IA a le potentiel de changer le monde pour le mieux, c’est pas par hasard que j’ai essayé de m’orienter le plus possible là dedans et ça me fait mal au cœur de voir tant de gens croire que notre seul but est d’aider Sam Altman à se faire quelques milliards de plus, qui ne voient pas les capacités de transformation de cette tech.
J’ai déjà donné quelques avis en anglais pour éviter le “doomism” dans des romans de SF (https://slrpnk.net/post/6100538) mais le faire dans ma langue natale ferait du bien!
Et, si, le titre est correct, ça me fait 6/5 de boulot, mais quand on aime on ne compte pas!
Voila, je préférerais qu’on reste sur ces thèmes mais AMA anyway!
Un neurone au sens d’une IA est une représentation assez abstraite d’une programme qui est implémentée sous une forme qui ne rappelle pas vraiment l’architecture du neurone. Y a-t-il un choix possible dans la représentation abstraite de l’IA ? Je veux dire est-ce qu’une IA qui est réseau de neurone peut être plutôt décrite comme un [insérer ici une autre architecture de l’IA (transformer peut-être… Je connais pas bien ces choses-là) ] ?
Les modèles utilisés sont contraints par deux choses: les GPUs sont très optimisés pour les multiplications matricielles, et la fonction produite par ton modèle doit être dérivable vis à vis de tous ses paramètres.
En fait dans les modèles actuels, on ne pense pas en terme de neurones, mais plutôt de couches. Tu as une couche de neurones suivie d’une couche d’attention, suivie d’une couche de convolution, à laquelle tu ajoutes les entrées, etc.
On est très influencés par les opérations optimisées pour GPU, donc on va plutôt penser en terme de matrices. Deux couches de N neurones se suivant et où chaque neurone est connectée à tous ceux de la couche de N neurones suivante, c’est un “fully-connected layer” ou un perceptron. Ça s’exprime sous forme d’une matrice de poids: tu mets tes entrées sous forme de vecteur, tu multiplies par la matrice de poids et tu as généralement une “non linéarité”, c’est à dire une fonction de type RELU ajoutée après la multiplication.
L’autre façon de voir un modèle est de dire que ce que tu veux est une fonction continue prenant un vecteur de dimension N_i en entrée et N_o en sortie et dérivable selon chacun de ses millions de paramètres (typiquement, les paramètres sont les poids des synapses du réseau de neurones).
On parle vraiment peu de neurones. Les devs proches de l’optimisation parlent en terme de matrices, ceux proches de la théorie mathématique en terme de fonction, et un bon modèle doit prendre les deux points de vue en considération.
Tu peux tout à fait imaginer un modèle plus proche des neurones biologiques, mais avec ces deux contraintes: fonction continue et dérivable par rapport à chaque paramètre, et si tu veux que ce soit rapide, maximum de calcul parallèle sous forme de matrices (de tenseurs en fait, qui est le petit nom des matrices de dimension supérieure à 2)
AJA qu’on ne disait pas hyper-matrice.
AJA tout ce que tu as dit d’autres c’est vachement intéressant. Encore merci.
Alors à vérifier avec un mathématicien si je ne fais pas un anglicisme. Comme à son habitude sur les sujets mathématiques la wikipédia française est inutilement pédante et alambiquée, et dit que c’est un usage abusif du terme sans dire comment ça devrait s’appeler.
removed by mod
Où les perspectives d’avenir sont-elles les plus grandes : dans le développement de nouveaux concepts ? dans l’entraînement de nouveaux modèles ? dans la mise en place de solution à partir des modèles existants ?
Oui :-)
Et j’ajouterais: dans l’IA appliquée à la robotique.
Mais si tu développes des compétences dans un de ces domaines, je pense que tu seras employable jusqu’à ce que plus personne ne le soit (ce qui, j’espère, arrivera dans les 10 prochaines années)
Quels sont les conseils que tu donnerais à des professionnels qui veulent mettre en place des solutions l’IA éthique ? Ici j’entends par éthique, qui ne soient pas un renforcement de la déshumanisation des prises de décision, du “c’est comme ça et c’est tout”, des systèmes bureautiques incompréhensibles et peu flexible face au besoin réel.
On dit souvent qu’il faut faire en sorte que IA ne reproduise pas les biais systémiques des humains mais quels sont les actions concrêtes à mettre en place ?Nous (les devs de solutions d’IA) on a un mandat simple: que l’IA soit controllable, prédictible, qu’elle fasse ce qu’on lui demande.
Certains pensent qu’on doit faire des systèmes qui refuseront d’obéir à certaines choses, qu’elles corrigeront les biais humains automatiquement. Je suis en désaccord (soft, on peut en discuter). Si tu demandes à une IA de reproduire un système injuste, elle le fera. Mais si tu lui dis “reproduis ce système mais en en retirant le biais sexiste et raciste” elle le fera. Il faut juste reconnaître et accepter ce besoin.
Pour la déshumanisation par les algorithmes, le problème est humain, pas technique. Cette BD l’exprime mieux que moi: https://grisebouille.net/panique-algorithmique/
Mention spécial à ce grand Homme qu’est Al-Kwarizmi. Savant et vulgarisateur de génie qui a marqué son époque et le cours de l’Histoire au point d’être derrière les mots algorithme et algèbre, au point d’être la cause de la diffusion des chiffres arabes en occident.
Vive les Ouzbeks !le problème est humain, pas technique.
100 % d’accord. Cependant, la question technique et la question humaine vont pour moi de paire.
L’IA renvoi un modèle, un algorithme dont la construction n’a été supervisée que indirectement par un être humain et dont la structure peut être extrêmement complexe. Comment éviter les biais dans ces algorithmes ? Au delà d’arrêter, nous-autres développeurs, d’être sexistes, racistes et tout ce que tu veux, comment prendre conscience des biais implicites, des reproductions d’oppression systémique que nous somme en train d’écrire dans nos IA ?
Je ne pense pas que quiconque ait voulu que son IA écart les CV des femmes ou qu’elle confonde les noirs et les chimpanzés mais c’est arrivé.
Comment prévenir ces problèmes plutôt que de devoir les guérir ? Et comment guérir les IA déjà existantes de leurs biais ?Alors il y a sûrement plus de réponses techniques que tu imagines! Mais déjà parlons de l’aspect humain, il y a 2 problèmes humains à mon sens qu’on aura du mal à résoudre purement techniquement:
-
Reconnaître qu’il y a un biais à corriger dans le dataset et vouloir le corriger. Si on a un dataset de décisions RH qui écarte les femmes par sexisme, et qu’on reçoit l’instruction “entraîne un modèle qui nous remplace le plus précisément possible”, la mission est d’entraîner un modèle sexiste. À nous de le refuser ou de prouver que le boulot en question ne requiert pas une bite pour être fait correctement.
-
Arriver à articuler clairement nos buts. Un effet pervers intéressant avait été montré via un algo qui aidait les étudiants et les étudiantes à s’orienter vers la filière qui avait le plus de chance de déboucher sur un diplôme. Une université avait un taux de réussite plus faible chez les femmes, probablement par sexisme, du coup l’algo n’a proposé que des hommes pour cette université. C’est en effet dans l’intérêt des étudiantes. Et c’est un biais sexiste. Est-ce ce qu’on veut?
Une fois ces problèmes passés, le problème posé est comment créer un modèle non-baisé à partir d’un dataset biaisé.
Une des présentations les plus intéressantes que j’ai vu sur ce thème, et qui tenait de la discussion technique autant que de la philosophie appliquée démontait quelques approches naïves sur un cas d’école: prédire la peine d’accusés dans des tribunaux US. Il est bien documenté que la justice US a un biais raciste auquel s’ajoute un racisme systémique.
- Impossible de cacher la “race” de la personne concernée, de trop nombreux proxys existent: lieu d’habitation, d’étude, lieu d’arrestation, etc.
- Impossible de forcer un quota de décisions: la police est raciste aussi et arrête plus de noirs, forcer le même taux de condamnation serait tout aussi injuste voir amplifierait les injustices!
- Impossible d’ajuster avec une constante manuelle, le biais raciste n’est pas constant.
La solution proposée consistait à expliciter les variables sur lesquelles un biais existait, c’est à dire un déséquilibre dans le dataset, et forcer une décorrélation entre le jugement et ces variables. Le système apprend alors tout ce qui est corrélé à la “race” et le différencie de ce qui amène à une condamnation. Il y a des noirs innocentés, il y a des blancs condamnés, apprendre les critères qui permettent ça donne un système qui a pu retirer le biais de son dataset, à condition qu’on le lui ait pointé du doigt.
forcer une décorrélation entre le jugement et ces variables. Le système apprend alors tout ce qui est corrélé à la “race” et le différencie de ce qui amène à une condamnation.
C’est passionnant. Merci. Je crois que je vais creuser ce sujet.
-
Quelles sont pour toi les trois idées fausses les plus dommageables que les gens ont au sujets de LLMs / IAs?
Alors…
-
Que ces modèles sont contrôlés par des grosses boites et que c’est inévitable. De tous les scénarios possibles, on est dans une des meilleurs timelines vis à vis de ça et je pense qu’on le doit beaucoup à la communauté open source: même quand les modèles sont fermés, les architectures sont connues, ouvertes, libres de droit, les implémentations standard le sont sur des frameworks libres, tout ça était très, très loin d’être acquis. Et les modèles ouverts sont extrêmement compétitifs aujourd’hui. C’est simple, malgré les milliards injectés dans le domaine, y a que deux boites et demi qui sont encore dans la course: OpenAI, Anthropic et à moitié Google.
-
Qu’on a besoin de la puissance de mille soleils pour faire tourner ces modèles. Beaucoup de gens ont l’air de confondre l’énergie utilisée pour entraîner ces modèles, qui est à dépenser une fois, et l’énergie utilisée pour les faire tourner, qui est équivalente à faire tourner un bon jeu 3D sur un PC moyenne gamme (ça fait tourner le GPU). Et de nombreux fabricants sont en train de sortir des puces spécialisées pour améliorer grandement les rendements. L’aspect énergétique est vraiment négligeable.
-
Ce point là est moins dommageable mais trouble souvent les conversations: Que ce qui était vrai l’année dernière l’est encore aujourd’hui. Chaque semaine amène son lot d’évolutions parfois fondamentales. Je bosse depuis 20 ans dans la tech, j’ai suivi pendant mes étude le dotcom burst et pourtant j’ai jamais vu une tech évoluer si vite.
-
Tu parles des modèles open source, quels sont les plus importants pour le moment? Y a-t-il une grande tendance à gérer ces modèles sous licences open source / libres, ou à l’inverse les modèles les plus performants sont-ils la propriété de société privées?
Pour l’instant GPT-4, modèle fermé possédé par OpenAI est considéré comme le meilleur modèle avec la série Claude d’Anthropic (fermés aussi) qui le dépasse sur certaines choses.
Mais ça sent la fin de règne. Mistral et Meta (pourtant deux boites privées) ont sorti des modèles libres qui vient disputer leur turf.
En Open source, ça change toutes les semaines. En ce moment, Llama-3 est le modèle libre (certains considèrent sa licence trop restrictive pour être considérée libre, mais perso je considère que ça va) qui a les meilleures performances, y a un mois c’était la série de Mistral. La série des Command R pourrait être les prochains à monter.
Pour suivre cette course hippique et épique, le meilleur classement reste sûrement l’arène LMSYS où des gens évaluent les modèles en aveugle.
Il faut garder à l’esprit qu’il y a un aspect qui “handicape” les modèles libres: ils tentent de rester petits. Ils bénéficient de la communauté open source si beaucoup de monde peut les faire tourner. Un modèle à 7 milliards de paramètres (la taille la plus populaire) ou à 70 milliards (la taille considérée “max” pour la commu) va avoir du mal à concurrencer un modèle comme GPT-4 qu’on estime avoir 1700 milliards de paramètres.
En intelligence par paramètre dans le modèle, l’open source gagne de loin.
C’est quoi pour toi le moment de Bascule ?
Quand j’étais thésard en physique, et ça commence à dater, on avait ce vieux professeur, qui aimait troller les gens qui utilisaient des likelihood en leurs demandant pourquoi pas un réseau de neurone, c’est dire que pas mal de concept ne sont pas neufs. Bref de l’apprentissage automatique que ce soit pour taggé des particules ou des supernova ça se faisait déjà de mon temps.
Puis, google deep dream avec déjà fait pas mal le buzz avec de la génération d’image il y a genre 10 ans, et pourtant, ça avait pas pris.
Et là depuis 18 mois, on voit de l’AI partout, à toute les sauces, pour le meilleur et le pire. Qu’est-ce qui a crée cette bascule/rupture
Oh oui, les réseaux de neurone ça date au moins des années 50 et certains outils mathématiques sont encore plus anciens! Dans les années 90-2000 on traversait le deuxième hiver de l’IA (tiens donc encore une page qui n’a pas été traduite en français!) et seuls quelques fervents zélotes tels que Hinton ou Le Cun prêchaient encore le perceptron multi-couches qui est un vieil algo! C’est plus leur “foi” que leurs innovations qui ont amené la vague actuelle.
Il y a un point de bascule très net en 2012 quand AlexNet emporte la compétition ImageNet, une compétition de classification d’images (“Identifie l’objet dans l’image parmi 1000 catégories: banane, chien, humain, voiture, etc…”). L’architecture n’était pas nouvelle, mais de petites améliorations ont été amenées et surtout, elle a été porté en CUDA et peut donc tourner très vite sur des GPUs récents.
D’un coté les algos sont devenus un peu plus efficaces, de l’autre le hardware est devenu plus performant. En 2012 ça s’est croisé et il est devenu plus efficace d’entraîner des réseaux “boite noire” que des algos spécialisés.
Alors c’est peut être plus tôt que tu ne le penses, mais c’est la bascule du point de vue des devs, et à partir de ce moment là on a commencé à mettre du réseau de neurones partout.
Pour le grand public, la découverte a été via la génération de texte. Il y a 2 points je pense: d’abord GPT-2, premier à sortir des textes étonnamment cohérents. Puis ChatGPT, qui a permis à tout le monde de réaliser que c’était réel, utile, et que certaines composantes de l’intelligence étaient là.
Puis, google deep dream avec déjà fait pas mal le buzz avec de la génération d’image il y a genre 10 ans, et pourtant, ça avait pas pris.
Deep dream a été une étape vers les générateurs d’image qu’on a aujourd’hui. Deep dream aujourd’hui ressemble presque à un hack d’un classifieur d’images, mais ça n’a pas pris parce que la qualité était très mauvaise. Elle a doucement augmenté petit à petit. Il y a eu deux sauts:
- Les premiers GANs qui ont tout d’un coup produit des images d’un réalisme bluffant (qui aujourd’hui nous blase…)
- Les modèles de diffusion, qui sont ce que tout le monde utilise aujourd’hui. Je crois, mais c’est moins mon domaine, que leur intérêt est de pouvoir se connecter à des modèles de langage et de pouvoir exprimer/comprendre un panel beaucoup plus large d’objets.
Intéressant le point historique sur la période 2000-2012. Et ca explique même pourquoi c’était un quasi sexagénaire qui posait la question des Réseau de neurones
Quelles sont pour toi les meilleurs ressources pour quelqu’un qui n’y connait rien en LLM et voudrait commencer à comprendre comment ça fonctionne?
En Français j’ai pas grand chose hélas! Mais certains ici auront surement des idées.
En anglais, pour la théorie, le channel youtube (bleh!) 3blue1brown a fait une série qui a l’air bien sur le deep learning. Commencez par “But what is a neural network?”.
Pour la pratique, j’avais suivi la première série de cours fastai (des vidéos gratuites) pour me remettre à niveau il y a quelques années quand je suis arrivé à Skymind. Je n’ai pas regardé leurs séries récentes mais je suppose qu’ils ont mis leur contenu à jour. C’était le mix parfait pour moi qui connaissait la théorie mais pas les frameworks rendant la chose plus aisée.
Merci beaucoup!
Et forcément dés que je lance ça avec mon compte de secours, slrpnk.net remarche! Bon, je continue avec mon compte jlai.lu mais si vous passez sur ce fil après la fin du AMA mieux vaut me pinger en répondant à ce message.
C’est comme quand un programme bugge et qu’il remarche dès que t’ouvres le gestionnaire de tâches pour le tuer 😏
J’ai déjà donné quelques avis en anglais pour éviter le “doomism” dans des romans de SF
T’en écris toi même ? Je suis curieux de ce que peuvent donner les LLM en littérature mais j’ai l’impression qu’il faut des prompts bien pensés et écrits pour avoir de bons résultats. Moi en jouant un petit peu j’ai pas eu des trucs très convaincants mais je suis passé sur un stream de MonsieurPhi où il donnait des prompts très longues avec des exemples de texte pour générer des microfictions et ça marchait plutôt bien. Bref, qu’est ce que tu penses des LLMs pour une utilisation “artistique”, et est-ce que t’as des exemples de résultats qui t’ont impressionné dans ce domaine ?
Je m’y suis essayé. J’aime bien écrire, mais assez rapidement, écrire de la SF me frustre: penser aux possibilités de la techno me donne envie de les réaliser, pas de fantasmer dessus!
Sur les LLMs et la littérature, j’ai été surpris d’entendre Astier dire un truc qui a mis le doigt sur ce qui me gêne. C’est que la question est pas de savoir si les LLMs peuvent sortir de la bonne littérature, mais de réaliser qu’on lit pour échanger avec un auteur. Alors c’est peut être pas vrai pour tous les lecteurs et tous les livres, mais percevoir l’intention humaine derrière un texte fait en effet partie de l’expérience.
Le problème que j’ai eu quand j’ai essayé des trucs (avec GPT3.5 je pense à l’époque) c’est que les modèles ont du mal à rester cohérents. Tu explores une cave et tu te retrouves sur un balcon, des objets apparaissent ou disparaissent, etc.
C’est pas insurmontable, et perso j’aimerais bien faire des expériences de jeu narratif (où un moteur de jeu classique garantirait la permanence des objets et la cohérence générale) mais je ne vois pas l’intérêt de générer des livres avec des LLMs. Les livres, c’est un medium entre humains. Avec un LLM, je trouve plus intéressant de faire un bot pour discuter avec un personnage ou interagir profondément avec un univers.
est-ce que t’as des exemples de résultats qui t’ont impressionné dans ce domaine ?
J’ai un pote qui bosse dans le domaine et avec qui on partage un gout pour le heavy metal. À peu près au moment où GPT-3 sortait, il m’a envoyé des paroles de chanson générées, dont une en particulier qui m’a bluffée. “Beacon of the Valkyries”, qui décrit l’ambiance d’un lieu avant une grande bataille épique. Un thème qui aurait pu être une chanson de Manowar ou Sabaton. Ce qui m’a impressionné c’est que le titre était très bien choisi: il faut comprendre que les Valkyries accompagnent les morts au combat, qu’une bataille va en créer, qu’elles volent, qu’une balise peut donc les guider, que le titre est évocateur.
Depuis beaucoup de gens ont fait des expériences similaires mais à l’époque j’ai cherché un moment sur internet pour vérifier si cette expression n’existait pas déjà quelque part tellement je ne pouvais y croire. Ça m’a convaincu que même une “bête” prédiction de texte pouvait faire émerger une forme de compréhension des concepts.
Sur les LLMs et la littérature, j’ai été surpris d’entendre Astier dire un truc qui a mis le doigt sur ce qui me gêne. C’est que la question est pas de savoir si les LLMs peuvent sortir de la bonne littérature, mais de réaliser qu’on lit pour échanger avec un auteur. Alors c’est peut être pas vrai pour tous les lecteurs et tous les livres, mais percevoir l’intention humaine derrière un texte fait en effet partie de l’expérience
Ouais j’ai vu passé cet extrait aussi, mais je suis pas convaincu par l’argument. Ou alors j’ai du mal à comprendre ce qu’il entend par “intention humaine”, et pourquoi une machine en serait incapable. Certains parlent d’âme aussi, mais sans pouvoir le définir clairement, comme si il y avait quelque chose de magique que seul l’être humain peut transmettre à ses créations. J’ai l’impression que c’est un argument qu’on avance parce que l’orgueil en prendrait un trop gros coup si on admettait le contraire, mais depuis la révolution scientifique ce serait pas la première leçon d’humilité qu’on se prendrait dans la face. Et puis de toute façon dans le cas des LLMs il y a toujours un être humain derrière, et donc probablement une “intention”.
Avec un LLM, je trouve plus intéressant de faire un bot pour discuter avec un personnage ou interagir profondément avec un univers.
Tout à fait ! (d’ailleurs pour moi ça fait aussi partie de la littérature). Une fiction interactive avec un LLM ce serait ouf. Est ce que tu connais des articles/blogs/communautés qui font des tentatives dans ce sens ou est ce que tu t’y essayes toi même ?
Alors attention, l’argument c’est pas qu’une machine ne peut pas le faire! Je m’attendais de façon un peu blasée à ça quand la question est arrivée et j’ai été surpris par la réponse. Il dit pas qu’une machine ne peut pas le faire, mais que c’est inintéressant si elle le fait, car il lui manque l’intention, le vécu. Quand j’ai lu le Problème à Trois Corps, que j’ai pas trouvé fantastique d’un point vue SF, les passages qui m’ont le plus intéressé étaient ceux qui parlaient des déboires des protagonistes sous Mao, sachant que l’auteur est chinois. Les mêmes passages écrits par un Américain m’auraient moins intéressé. Savoir que La Vie des Autres a été réalisé par quelqu’un qui n’a jamais habité à Berlin Est a rendu le film plus mauvais pour moi.
Un auteur pourrait faire passer une intentionnalité évocatrice ou un style via un LLM, mais je trouve qu’à ce moment le medium est moins intéressant et que ça brouille le canal entre le lecteur et l’auteur.
Tout à fait ! (d’ailleurs pour moi ça fait aussi partie de la littérature). Une fiction interactive avec un LLM ce serait ouf. Est ce que tu connais des articles/blogs/communautés qui font des tentatives dans ce sens ou est ce que tu t’y essayes toi même ?
Ça fait longtemps que ça se fait! Depuis que quelqu’un a fine-tune je sais plus quel modèle sur Harry Potter et fait générer la suite d’un dialogue imaginaire avec les persos, il y a énormément de gens qui s’amusent à ça (80% d’entre eux pour du roleplay érotique mais bon…). Je crois que koboldAI est ce qu’ils utilisent le plus et ils ont des modèles spécialisés pour ça.
Merci !
Coucou merci pour l’AMA !
Quelle est la réalité du problème d’AI imbreeding que certains relèvent ? Si j’ai bien compris il y a un risque que les modèles (de langage ou de génération d’image) apprennent sur du contenu généré par IA, ce qui entraînerait à des résultats de plus en plus mauvais ?
Je suppose que ma question est plutôt quelles sont les mesures prises dans le milieu pour s’assurer une sélection de sources de qualité, ou bien quel est le processus qui permet de sélectionner les résultats pour d’entraîner l’IA ?
Et en plus léger, qu’elle est la première fois que tu as entendu parler d’IA ?
Et en plus léger, qu’elle est la première fois que tu as entendu parler d’IA ?
Oh ça date! Je lis de la SF depuis que je suis petit, et les robots m’ont toujours fasciné, on m’a rapidement expliqué que le software était le plus gros facteur limitant, du coup l’IA devient le problème à résoudre rapidement. Je pense pas avoir eu plus de 12 ans quand on a commencé à en discuter.
Perso je ne crois pas que ce soit un problème, ou en tous cas pas encore. Les publis que j’ai vu sur le sujet semblent indiquer que les sorties de LLMs produisent des datasets de meilleure qualité que les datasets originaux. Et quand on y pense, ça a du sens: un modèle a été entraîné à produire des “bons” textes à partir d’un peu n’importe quoi. Il y a une certaine logique à ce qu’un premier LLM arrive à faire une version améliorée du premier dataset.
Est ce qu’on peut itérer longtemps comme ça? Pas sur, mais je pense qu’on surestime le problème voire qu’on l’imagine.
quelles sont les mesures prises dans le milieu pour s’assurer une sélection de sources de qualité, ou bien quel est le processus qui permet de sélectionner les résultats pour d’entraîner l’IA ?
Pour ceux qui sont dans la course à la perf et au meilleur benchmark: zéro. Tant que mettre plus de données améliore les résultats, ils font ça. Tout github, tout reddit, tout facebook y passe.
La recherche est en train de montrer que - surprise! - la qualité des données d’entraînement influe grandement sur la qualité du modèle et ça intéresse surtout les groupes avec moins de moyens.
Les chercheurs qui travaillent sur les problèmes d’alignement (d’éthique) s’intéressent à ces questions aussi. Par exemple une discussion intéressante avait lieu à EleutherAI pendant qu’ils assemblaient The Pile: Est ce qu’il faut intégrer toute la librairie du Congrès US? D’un coté c’est intéressant d’avoir des siècles de discussion législative, de l’autre, sur une bonne partie de cette période, on considère que les noirs sont une marchandises et sur la majorité de la période, des citoyens de seconde zone.
Ce qu’il y a d’intéressant c’est que des données pourries, biaisées, racistes, peuvent tout de même aider le modèle à s’améliorer, mais il faut que ce soit fait correctement et il y a là matière à des débats qui relèvent de la politique et de la philosophie appliquées (“Peut-on combattre le racisme en ignorant les thèses racistes?” Vous avez 4 heures)
Merci pour tous ces détails !
Coucou, merci pour cette AMA ! :)
Je pense que mon post va être capillotracté, enfin essayons.
Pour le coup, je suis interessé par la structure neurale et les limitations “hardware”.
En fait je me disais que ce qui bloque l’IA était matériel car le matériel est fixe et ne peut changer d’architecture, de logique, les circuit sont fixes…enfin, surtout ça ne reproduit pas complètement les circuits neural biologique. Logiciel car il suit une formule et ne peut pas apprendre. On a trouvé une alternative avec le circuit de récompense. Voilà en gros mes petites idées.
Donc, voici mes questions :
- quand on parle de réseau neural est ce le meme système qui est utilisé partout ? Ya t-il d’autre modèle ? Des familles de reseaux neurales comme des OS ?
- est ce qu’il existe d’autres concepts de structures que le “réseau neural” pour entrainer l’IA ?
- niveau hardware, est il possible d’imaginer que l’IA créé et optimise son propre système comme elle le fait pour ses algorithmes ? C’est à dire qu’elle fabrique son propre ordinateur et l’optimise.
- sur un ordinateur quantique, quel serait les changements ? Ya des changement de logique ?
Et enfin, pour moi, le point de bascule IA/grand public était alpha go et sa créativité. :)
- Est ce que une IA/LLM peut etre créative ou est ce un set de probabilité ? Peut elle générer ses propres prompts/envie ?
En espèrant ne pas etre trop brouillon. Tu peux reformuler mes questions si besoin. Merci :)
Sur les réseaux de neurone, petite anecdote en guise d’introduction. En école d’ingé, on avait des cours intéressants… et d’autres moins. En maths, pas mal de choses assez abstraites avaient du mal à m’intéresser. Dans un TD de stats où le prof a décidé de faire des calcules de proba sous forme matricielle, je m’endormais à moitié au milieu de ce qui me semblait être de la branlette intellectuelle et à un moment le prof conclue “Et voila! Ce que vous venez de faire est l’équivalent d’une phase d’apprentissage sur un réseau de neurones!” Heing?
Le réseau de neurones est une façon de présenter les choses au public, c’est une archi simple à comprendre par laquelle on commence en général mais plein d’architecture n’obéissent pas à ce paradigme.
La chose universelle dans le deep-learning c’est la descente de gradient. Pour expliquer rapidement l’idée est de voir ton modèle comme une fonction avec des entrées et des sorties. Exemple simple: le problème MNIST: je te donne une image de 24x24 (784) pixels qui représente un chiffre et le programme sort 10 probabilités: celle que le nombre soit un 0, ou un 1, ou un 2, etc.
Quand tu essayes de le résoudre, tu crées une fonction qui tente de résoudre ce problème en sortant les bonnes probas. Le deep learning c’est de créer une fonction avec plein de paramètres, impossibles à régler à la main, mais qui sachent se modifier automatiquement en fonction de l’erreur en sortie. Si tu as classifié un “5” en tant que “3” à 80% mais en tant que “5” à 75%, il s’agit de trouver les changements de paramètres qui permettent de changer ces sorties. Le truc est de faire une fonction qui soit dérivable de façon continue en fonction de tous ces paramètres.
Un réseau de neurone est une façon générique et souvent efficace de faire ça, mais il en existe d’autres. On peut arguer que VAE et mécanismes d’attention (partie cruciale des Transformers, le “T” dans GPT) ne sont pas des réseaux de neurone.
niveau hardware, est il possible d’imaginer que l’IA créé et optimise son propre système comme elle le fait pour ses algorithmes ?
Pas besoin d’imaginer. Google fait ça en software via AutoML et Nvidia a entrainé des modèles pour la conception de hardware.
Après il faut comprendre un truc: un modèle de langage moderne, c’est 2000 lignes de C. C’est rien, c’est tout petit comme programme. On a une assez bonne idée du hardware qui permet de bien optimiser les quelques opérations qui prennent du temps.
sur un ordinateur quantique, quel serait les changements ? Ya des changement de logique ?
Aucune idée! Je m’y connais beaucoup plus en LLM qu’en ordi quantique et j’ai pas envie de dire de bêtises. Si ça fonctionne un jour, les ordis quantiques boosteront clairement des algos aujourd’hui considérés trop couteux, ça va forcément aider en IA, mais je ne sais pas via quels algos.
Est ce que une IA/LLM peut etre créative ou est ce un set de probabilité ?
Est ce que la créativité est autre chose qu’un peu de hasard filtré par les expériences d’un artiste? C’est assez philosophique comme question et même les grands noms de l’IA se disputent sur ces questions. Un LLM est clairement une machine statistique qui répète des motifs, mais qui est capable de le faire à un niveau d’abstraction élevé, ce qui est (était?) considéré comme une marque d’intelligence. Se rendre compte que la cause précède l’effet est considéré comme une remarquable découverte philosophique mais n’est “que” l’observation d’un pattern à un niveau abstrait.
Peut elle générer ses propres prompts/envie ?
Par rapport aux IAs de science fiction, les LLMs actuels n’ont pas de volonté, de personnalité, (j’appelle cette partie manquante “anima”, j’ai vu ça quelque part mais on dirait que seul moi utilise ce mot). On peut leur en donner, mais ça va toujours nous sembler artificiel. Il est tout à fait possible de faire jouer un rôle à un LLM et de régulièrement lui demande ce qu’il veut faire.
Merci trop bien pour tes réponses.
j’ai envie d’explorer un peu les animas. J’ai l’image d’une expérience biologique : https://yewtu.be/watch?v=aBYtBXaxsOw
Et comme tu dis il est possible de faire jouer un rôle. Et je me dis que ce role peut etre définit parallèlement en fonction de nos besoins :
- le carburant,
- la procréation = optimisation des gènes/algo par combinaison et élimination par selections. naturelles/résultat
- le sommeil = rangement et trie des donnée + maintenance motrice.
C’est très basique.
Quelles sont les expériences réalisées pour la création des animas ? Est ce que ça ne serait pas un simple message d’erreur : plus de batterie ?
Des exemples ? Est ce que ce que la recherche de carburant ne se traduirait pas par des émotions négatives soit accèleration recherche carburant (nervosité) ou ralentissement (économie energie)?
Un peu comme doom avec l’écran couvert de sang qui gène le joueur, et le rend inquiet ?
Je pars dans tous les sens, disons juste les animas. Siktu as des ressources, je veux bien. :)
Alors je pense que ce qui peut t’intéresser c’est la recherche en reinforcement learning, qui est plus du domaine de la robotique où les robots tentent de planifier des actions, dans un univers virtuel ou réel.
Mixer cette approche et les LLM c’est le graal actuel, et je pense qu’on va bientôt l’atteindre.
À ce moment là se poseront d’autres problèmes d’alignement car le modèle (et je pense que j’appellerai ça IA à ce stade) aura une intentionnalité et des plans. Il faudra faire attention aux métriques qu’on lui donne!
Chouette vidéo, j’adore : D
j’avais vu ça avec des courses de voiture, trackmania : https://yewtu.be/watch?v=Dw3BZ6O_8LY
Et aussi hide and seek avec open AI : https://yewtu.be/watch?v=Lu56xVlZ40M
Et un autre jeu avec l’évolution prédateur et proie qui me fascine. On pourrait le combiner avec le jeu de la vie (cf science etonnante) et voir quel comporement cela provoque : https://yewtu.be/watch?v=rPkMoFJNcLA
Mais tu connais surement tout ça 😁
J’ai pas envie d’expliquer à des gens que je fais évoluer une IA de prédateur, mais que tout va bien, y a pas de danger :-)
J’ai envie de dire que la prédation n’est rien d’autre que le résultat d’une optimisation et élimination.
Quand je vois comment ça tourne, ça me rapelle mes mes plantes et la selection naturelle. Les plants de tomates ya a des beaux vigoureux et des fretilles, j’élimine les frétilles. Après, 2ème selection, le plus beau fruits avec le meilleur gout, calibre et production.
Et je répète ça avec un meilleur set de données pour l’environnement et le sol actuel.
Les enjeux environnementaux et énergétiques ont-ils une influence sur la trajectoire de la recherche en IA ? Y a-t-il des efforts pour rationaliser la complexité des algorithmes d’IA ou les économies se font sur l’améliorer des processeurs ?
Je ne suis pas sur de ce que tu demandes. La plupart des modèles open source publient le bilan carbone de leur entraînement. Le plus gros (llama3) semble avoir émis l’équivalent d’un aller-retour international en avion. Ce qui est très faible pour les retombées attendues, ne serait-ce qu’en climatologie. Je pense qu’une réunion du GIEC émet plus.
Y a-t-il des efforts pour rationaliser la complexité des algorithmes d’IA ou les économies se font sur l’améliorer des processeurs ?
Ça va dans les deux sens. On attend de pied ferme la prochaine génération de circuits spécialisés, mais en attendant on tente d’améliorer les perfs des petits modèles. Pas mal de gens préfèrent fine-tuner (spécialiser) un petit modèle que d’utiliser un gros modèle générique. Le coût économique et l’impact écologique se rejoignant, c’est une tendance qui n’a pas à se cacher derrière du greenwashing.
De tête, j’avais l’équivalent de 30 voyages continentaux d’un américain pour le bilan carbone du training de Llama3 (c’était sur hacker news, et ils vont faire leur possible pour ne jamais utiliser d’unités métriques)
Oh je pense que c’est plus, ou alors ils ne parlent que de la version 8B.
https://huggingface.co/TechxGenus/Meta-Llama-3-8B-GPTQ
Pretraining utilized a cumulative 7.7M GPU hours of computation on hardware of type H100-80GB (TDP of 700W). Estimated total emissions were 2290 tCO2eq, 100% of which were offset by Meta’s sustainability program.
Note: c’est ce que Meta rapport, je sais pas si c’est vérifié indépendamment.
Note 2: Le training n’émet pas de CO2 directement, il consomme de l’électricité. Absolument rien n’empêche exactement le même datacenter d’avoir zéro émission, c’est purement une question de transition de la production électrique.
Oui, ça ressemble plus à l’ordre de grandeur de cette version là
As-tu des ressources à nous suggérer sur le thème d’IA éthique ? J’ai lu récemment “Arms of maths destruction”, qui ne porte pas que sur les IA, et je ne veux pas m’arrêter là.
D’ailleurs comment définies-tu l’IA éthique ?Le mot clef c’est “alignment problem”: le problème est “d’aligner” les prédicats éthiques des modèles sur les prédicats humains afin que les “décisions” implicites n’aient pas des effets désastreux. Par exemple si tu demandes à une machine d’aller faire du café, elle n’est pas supposer écraser un bébé humain qui est sur le passage.
Je ne suis plus trop le thème de l’éthique mais l’endroit où j’avais trouvé le plus de ressource, c’est le discord de EleutherAI qui a toute une section “alignment” dont un channel “beginner” .
J’ai arrêté de m’y intéresser quand j’ai compris ce mème (je ne poste pas souvent un mème mais quand je le fais, c’est un repost de Karpathy :-) )
Les LLMs comprennent les préférences humaines par nécessité et ça inclut les préférences morales. C’est un scénario tellement rose qu’aucun auteur de SF ne l’a imaginé: comprendre les humains suffisamment bien pour interagir passe par une compréhension de leur moralité. Une chose qu’on a aussi beaucoup de mal à imaginer, c’est que ces modèles n’ont pas d’ego, d’instinct de survie, d’égoïsme, à l’origine de plein de problèmes qu’on projette dessus.
Non j’en suis venu à la conclusion que le problèmes c’est pas le “AI alignment problem” mais le “corporation alignment problem”: les IAs feront ce qu’on leur demande, ça semble acquis. Le problème c’est justement ce qu’on va leur demander.
Ça existe l’IA quantique ?
Bon… Je m’arrête là pour le moment avant de faire sauter ta boîte de réception mais j’ai PLEIN de question. Merci pour le DMNQ 💚 💛
Réponse courte: Non.
Les ordinateurs quantiques c’est un domaine de recherche réel, sérieux et potentiellement révolutionnaire. S’ils existent, l’IA en bénéficiera, mais c’est des domaines orthogonaux.