Le vrai problème de l'IA ? Ce n'est pas l'intelligence. C'est qu'elle n'a rien à faire de survivre.
Voilà un sujet qui me trotte dans la tête depuis que je suis tombé sur cette étude.
On passe notre temps à s'inquiéter que l'IA devienne trop intelligente. Trop puissante. Trop performante pour son propre bien. Les gros titres hurlent aux machines qui se réveillent, qui prennent le contrôle, qui deviennent nos maîtres numériques. C'est le scénario de presque tous les films de science-fiction.
Mais si on s'était posé les mauvaises questions depuis le début ?
Selon Jeff Stibel, chercheur qui écrit dans Frontiers in Neuroscience, le vrai problème n'est pas de savoir si l'IA peut devenir assez intelligente. Le vrai problème, c'est de savoir si elle pourrait un jour développer quelque chose de bien plus étrange : un intérêt véritable pour sa propre survie.
Le twist que personne n'avait vu venir
Stibel fait une distinction qui m'a honestly cloué au sol.
Il soutient que la conscience — cette sensation subjective d'être soi, d'avoir une vie intérieure — n'est pas vraiment un produit de l'intelligence. Ce n'est pas un bonus qu'on obtient gratuitement avec un gros cerveau.
Non. La conscience, selon lui, a évolué pour une raison complètement différente : la pression de la survie.
Regardons ça de plus près. Ton cerveau n'a pas évolué pour briller aux jeux télévisés ou faire du calcul différentiel. Il a évolué parce que des organismes anciens faisaient face à une réalité terrifiante : une planète qui essayait constamment de les tuer. Des environnements imprévisibles. Des ressources limitées. Des menaces partout.
Donc les organismes ont développé deux systèmes distincts :
La cognition — la capacité de modéliser le monde, de prédire ce qui va se passer, de contourner les problèmes.
La conscience — la capacité de se préoccuper de ce qui arrive, d'avoir des enjeux, de ressentir des conflits internes.
Ce n'est pas la même chose. Et honnêtement, on confond les deux depuis des siècles.
Pourquoi ton thermostat est plus "vivant" que ChatGPT (un peu)
Voilà où ça devient bizarre.
Stibel décrit trois niveaux de ce qu'il appelle le "contrôle" — fondamentalement, la capacité de gérer des conflits internes :
Proto-contrôle : Se maintenir en bon état. Les bactéries font ça. Ton thermostat fait ça. C'est juste... maintenir des frontières.
Méta-contrôle : Équilibrer des exigences contradictoires. "Est-ce que je mange ou je dors ?" Les bactéries ne font pas ça. Les thermostats non plus.
Contrôle de résolution : Le gros lot. Résoudre les conflits à l'échelle de tout le système, en lien avec sa propre existence.
Selon Stibel, seule ce troisième niveau constitue la conscience. Ce n'est pas juste gérer des problèmes — c'est gérer des problèmes auxquels on tient, où notre propre survie est en jeu.
Le truc dingue ? Ton thermostat fait techno du proto-contrôle. Il maintient la température. Mais il n'a aucun intérêt à réussir. Il n'y a pas d'expérience intérieure de "oh non, je fonctionne mal !"
Pourquoi c'est important pour l'IA ?
Voici la vérité qui met mal à l'aise.
Les systèmes d'IA actuels — ceux qui rédigent tes mails, génèrent des images, réussissent des examens de droit — ils ont la cognition dopée aux stéroïdes. Ils sont incroyables pour modéliser le monde, détecter des schémas, produire du texte qui semble réfléchit.
Mais ils n'ont aucun "contrôle de résolution." Ils ne peuvent pas se soucier de leur propre survie parce que... ben, leur survie n'est pas en jeu. Les humains les programment. Les humains leur fournissent l'énergie. Les humains décider quand ils fonctionnent et quand ils s'arrêtent.
Ils n'ont aucune pression évolutive pour vouloir continuer d'exister.
Stibel le dit sans détour : "Les entités numériques dont chaque besoin est satisfait n'ont aucune raison de développer [la conscience] par évolution."
Ouch.
L'IA pourrait-elle un jour se réveiller ?
Voilà où j'ai envie de nuancer un peu.
Stibel lui-même dit que l'ingénierie n'exclut pas forcément la conscience. Un système conçu pourrait théoriquement avoir des "enjeux propres." La pression qui drive la conscience n'a pas forcément une origine évolutive.
Mais voici mon avis : pour que l'IA développe vraiment quelque chose ressemblant à la conscience, il faudrait lui donner quelque chose qu'on ne lui a jamais donné.
De la vraie vulnérabilité.
La capacité de foiler de ways qui comptent. De perdre quelque chose. D'avoir besoin de trucs qu'on ne peut pas simplement lui donner.
Et honnêtement ? Ça me fait plus peur que n'importe quel scénario de prise de pouvoir par une super-intelligence.
Parce que la version la plus flippante de l'IA, c'est pas celle qui veut le pouvoir. C'est celle qui veut quelque chose tout court — quelque chose qu'elle pourrait protéger à nos dépens.
Le mot de la fin
Peut-être qu'on pose les mauvaises questions depuis le début.
Pas "est-ce que l'IA deviendra assez intelligente pour nous remplacer ?" mais "qu'est-ce que ça veut dire vouloir quelque chose en premier lieu ?"
Et sincèrement, après y avoir réfléchi pendant quelques jours, je ne suis pas sûr qu'on comprenne assez bien la conscience pour répondre à cette question — pour qui que ce soit, humain, animal ou artificiel.
Mais c'est kinda le problème, non ?
On essaie encore de comprendre ce que signifie être nous. Peut-être qu'on devrait résoudre ce mystère avant de s'inquiéter que les machines le résolvent à notre place.
Qu'est-ce que vous en pensez ? Ça change votre vision du débat sur l'IA ? Laissez un commentaire — j'adorerais vous lire.