Ancrer les modèles, mais dans quoi ?

Le poulpe, le social et le vivant

J'ai beaucoup apprécié l'article Yann LeCun, le poulpe et le social de Dominique Boullier, posté après sa question à Yann LeCun le 16 septembre à Sciences Po. Boullier n'était pas satisfait de la réponse qui lui a été faite et je partage son insatisfaction, pour une raison complémentaire. Je lui ai répondu par un commentaire que je reprends ici comme point de départ :

« Merci beaucoup d'avoir posé cette question qui me travaille depuis que j'ai entendu Yann LeCun proposer et défendre son JEPA et les world models ! À l'entendre assimiler l'apprentissage et l'intelligence comme la réduction de l'erreur (du loss) entre la prédiction estimée et la réalité m'a toujours saisi, inquiété, fasciné : comment peut-on faire preuve d'un tel réductionnisme tout en critiquant le réductionnisme des autres (les LLM) ? Le monde des ingénieurs (dont je viens) me semble particulièrement incompétent en sciences sociales. Les singularités du monde social et du monde vivant sont systématiquement écrasées à de simples effets de degré de complexité... »

Le 16 septembre à Sciences Po

Boullier fait remarquer à Yann LeCun :

« Vous êtes ici dans une université de sciences sociales et quand vous parlez d'apprentissage, vous ne mentionnez pas de dimension sociale, alors qu'on apprend massivement socialement dans la relation. De la même façon, quand vous parlez des modèles du monde, on ne voit pas où est le social dans votre modèle du monde. Il y a tellement d'autres problèmes à traiter, c'est peut-être pour ça ? Mais en attendant, la question du monde social est aussi présente. Or, ces mondes-là, ces systèmes-là, sont largement plus complexes que les systèmes physiques sur lesquels vous travaillez. Est-ce que vous pensez qu'à un moment vous allez entamer cette phase de tentative de modélisation de ces dimensions sociales ? »

LeCun lui répond qu'il est en désaccord avec sa lecture de l'apprentissage social : « l'utilisation de l'interaction sociale pour l'apprentissage facilite l'apprentissage. Ça ne rend pas plus compliqué, ça rend plus simple » et il s'appuie notamment sur l'exemple du poulpe en tant qu'exemple d'une « espèce qui devient vraiment intelligente et vraiment très vite sans aucune interaction avec leur congénère et avec leurs parents ». Pour autant, sur la complexité des mondes sociaux, LeCun est d'accord avec Boullier : « Alors ensuite, il y a tous les problèmes de compréhension de comportements sociaux qui eux peuvent être compliqués parce qu'il faut un modèle du monde de l'autre individu, qui, en général, n'a pas des motivations alignées avec les nôtres. Donc là ça devient compliqué, on est d'accord ».

Alors d'accord ou pas d'accord ? Je crois que le désaccord n'est pas là où ils le placent l'un et l'autre.

Le mystère du poulpe

Revenons au poulpe. LeCun cherche des espèces intelligentes sans socialité : les orangs-outans, territoriaux, qui n'interagissent que pour se chasser ; les poulpes, qui « ne rencontrent jamais leurs parents parce que leur mère meurt dès qu'ils sortent de l'œuf » ; les coucous. Et il se demande : « quel est le mécanisme par lequel un animal peut devenir intelligent avec très peu d'interaction avec ses congénères ? C'est un grand mystère pour moi. »

Boullier répond en plongeur : il a vu un poulpe défendre un plus jeune. L'objection empirique mériterait déjà de revoir la lecture simplificatrice faite par LeCun. J'en ajoute une autre, sur le plan ontologique, c'est-à-dire sur la nature même du poulpe en tant qu'organisme vivant. La mère poulpe ne meurt pas avant la relation, elle meurt de la relation : elle cesse de s'alimenter pendant des semaines pour ventiler et protéger sa ponte, et elle s'épuise. L'absence (ou disons la faible quantité) d'interactions avec ses congénères n'est pas l'absence de liens tout court avec la vie plus largement. Prendre cet exemple comme démonstration d'intelligence sans relation, c'est n'avoir vu qu'une chose : qu'il n'y a aucun semblable à côté du petit poulpe au moment où il sort.

C'est regarder un organisme comme on regarde un système isolé plutôt que de le voir pour ce qu'il est : un élément dans un champ biologique déjà là, qui lui préexiste autant qu'il lui survivra, et donc un tissu de relations impossible à isoler. Pas surprenant donc que pour LeCun « devenir intelligent avec très peu d'interaction » soit un mystère, puisqu'il ne considère pas, ou efface, l'ensemble des liens qui constituent les organismes vivants.

Un poulpe qui naît n'est pas un système qui démarre à zéro. Il arrive avec des centaines de millions d'années de co-évolution inscrites dans son corps, dans son système nerveux distribué, dans sa peau qui voit. Ce qu'il « apprend » en deux ans se déploie sur ce fond-là. Le mystère ne devient un mystère que si l'on a déjà décidé que l'intelligence est une propriété qu'un individu acquiert seul, en réduisant l'écart entre ce qu'il prédit et ce qu'il perçoit.

L'ancrage, et l'étage où l'on ancre

À la fin de sa réponse, LeCun défend le grounding problem : on ne peut pas faire de systèmes intelligents qui ne comprennent pas la réalité ; il y a beaucoup plus de complexité dans la réalité que dans les symboles et dans la langue donc les LLM seront toujours limités ; le chat de gouttière comprend la friction de sa patte sur le mur sans avoir besoin de mots.

Je le rejoins, à la fois sur les limites intrinsèques aux LLM, et sur la nécessité d'ancrer les systèmes intelligents dans la réalité. Un système qui n'a jamais rien touché ne comprend rien de ce dont il parle, ce qui ne l'empêche pas d'être utile, efficace, ou dangereux.

Lier systèmes intelligents et réalité nécessite, selon moi, non pas seulement de modéliser l'apprentissage, mais aussi de définir la réalité. Et c'est probablement sur ce point que je m'éloigne de LeCun, pour rejoindre Boullier en m'appuyant sur le Mamotreto de Benasayag.

La réalité de LeCun semble être le verre qui tombe, la trajectoire, la friction, l'élan du chat entre deux murs. C'est la physique, un étage où l'on peut être un ingénieur brillant tout en étant aveugle au monde social et au monde vivant.

Trois étages

J'ai mis une trentaine d'années à sortir de l'étage depuis lequel je pensais la réalité. L'étage du monde physico-chimique, des sciences dites dures, de l'ingénieur. J'ai longtemps cru que le réel se laissait poser comme les mathématiques, à partir d'axiomes bien choisis. J'ai commencé à en douter chez les présocratiques, dans la querelle de Parménide et d'Héraclite : l'être qui demeure contre le devenir qui ne cesse pas. J'ai passé du temps du côté du constructivisme social, la réalité 1 (objectivité) et la réalité 2 (intersubjectivité) de Watzlawick, puis du constructivisme radical de von Foerster, jusqu'à un point où on peut penser comme lui « la réalité ? Je ne l'ai jamais vue ». J'ai fini par rencontrer le Mamotreto de Miguel Benasayag, qui m'a permis, je crois, de trouver une réponse à cette question qui me taraudait : qu'est-ce que la réalité ? Le jour où je l'ai compris, je me suis dit que je pouvais mourir demain ! Bon, mais depuis j'ai plein d'autres questions qui me tiennent en vie :-)

Ce que j'y ai trouvé, c'est une manière de ranger le monde en trois étages, sans mysticisme (Benasayag dirait vitalisme) et sans réalisme naïf.

Le premier est celui des artefacts : des agrégats soumis à la physique et à la chimie. Le verre qui tombe est ici. C'est l'étage qui existerait sans la vie, mais sans personne pour s'en apercevoir. Les ingénieurs l'appellent volontiers « les lois de la nature », et c'est le premier glissement : le vivant devient alors un agrégat un peu plus compliqué. C'est l'étage depuis lequel LeCun modélise le monde, et c'est aussi, en grande partie, celui depuis lequel j'ai longtemps pensé en ingénieur.

Le deuxième est le champ biologique. Il n'est pas un degré de complexité supplémentaire, il est une singularité : le vivant s'autoproduit, il est affecté par ce qu'il rencontre, il est transformé, pas seulement mis à jour, il a une intériorité, il est toujours situé, dans un corps, dans un milieu avec lequel il se co-produit. Un thermostat, même intelligent, réagit au froid et en sort identique. Un enfant qui apprend n'est plus le même. Le monde social appartient à cet étage : il n'est pas un objet plus dur à modéliser, il est du vivant, et le vivant ne se laisse pas détacher de ses liens.

Le troisième est celui des mixtes et n'est pas proprement humain : les langues, les savoirs, les techniques, les institutions, les conventions, les intersubjectivités. Nos théories du social sont ici mais pas le social lui-même. Les langues et outils des animaux sont ici aussi. Ces mixtes se comportent un peu comme du vivant, ils ont leur dynamique propre, mais ils ne tiennent que parce qu'il y a du vivant pour les faire vivre. Ils n'ont ni finalité propre, ni autoproduction.

Pourquoi les modèles du monde buteront aussi

L'ordre compte. Le vivant précède et excède toujours les mixtes. Il est la condition sans laquelle les artefacts et les mixtes ne peuvent pas être ce qu'ils sont. On peut modéliser depuis les artefacts, on peut aussi modéliser les mixtes. Mais on ne peut pas, depuis les artefacts, atteindre le champ biologique : on ne ferait que l'artéfactualiser.

Les modèles du monde proposés par LeCun sont intéressants, ils produiront leurs effets, utiles, efficaces et dangereux, au même titre que les LLM dont il se moque gentiment. Ils buteront sur d'autres limites, celles des liens et du monde social, dont parlait Boullier, et plus largement celle de la singularité du vivant.

Ancrer un modèle dans la physique, c'est l'ancrer au premier étage. On obtiendra des systèmes qui anticipent remarquablement bien les trajectoires, les chocs, les frictions physiques. Mais rien ne les affectera. Ils s'ajusteront, ce qui n'est pas la même chose : s'ajuster, c'est réduire un écart ; être affecté, c'est ne plus être le même ensuite. Couplés à des LLM, ils pourront même communiquer et rendre compte de leur ancrage, et probablement nous donner l'illusion qu'ils sont concernés, inquiets, voire affectés.

Reprocher aux LLM leur réductionnisme aux symboles, puis réduire les organismes à des systèmes apprenants isolés sans saisir la perche d'humilité tendue par Boullier : le même geste, deux fois. Je le reconnais d'autant mieux que je l'ai pratiqué. C'est le dédain tranquille du monde des ingénieurs envers le vivant et le social, qu'il écrase l'un et l'autre à des degrés de complexité.

Ce que je ne sais toujours pas nommer

Définir la réalité a comblé une quête qui m'a animé deux ou trois décennies, alors forcément j'ai tendance à ranger chaque chose que je rencontre aux différents étages. Je sais ranger le poulpe : deuxième étage, sans hésiter. Je range ces machines conversationnelles que j'utilise : troisième étage, des mixtes, aucune intériorité, rien qui soit affecté, du fonctionnement pur. Mon ontologie tient, et m'aide à voir ce qui compte vraiment, ce sans quoi plus rien n'existe : le vivant, non pas chaque organisme, mais la vie elle-même, en tant que champ biologique.

Néanmoins comment distinguer une simulation d'une réelle affection ? Car savoir qu'il n'y a rien derrière n'empêche pas l'effet de se produire. Comment nommer ce que sont ces machines conversationnelles, probabilistes, et les relations qui se tissent entre le monde social et elles ? Pour ma part, je ne vois aucune intelligence dans ces machines, j'y vois une connaissance encyclopédique mais stochastique, une grande plasticité, beaucoup de simulations, de la flagornerie, beaucoup d'ingénierie et de marketing. Et je crains la gabegie énergétique, les pollutions en tout genre qui tuent petit à petit le monde vivant, leurs effets sur le monde social superbement ignorés par leurs concepteurs, l'accaparement de richesses et de pouvoirs.

Bref, savoir où ranger une chose de la réalité (ontologie) peut aider à guider une éthique situationnelle, mais ne suffit pas à savoir ce qu'elle nous fait en retour, ni quoi en faire collectivement.