Vous tapez une question dans ChatGPT, vous appuyez sur Entrée, et deux secondes plus tard une réponse apparaît — fluide, structurée, presque trop propre. On me demande souvent, en formation ou autour d'un café, ce qui se passe exactement dans cet intervalle de deux secondes. La réponse courte, c'est que le modèle ne « cherche » rien. Il n'ouvre pas une encyclopédie, il n'interroge pas un moteur de recherche interne. Il devine le mot suivant, encore et encore, jusqu'à ce que la phrase ressemble à quelque chose.
Ça paraît décevant dit comme ça. Pourtant, quand on comprend vraiment le mécanisme — l'architecture Transformer, l'attention, la tokenisation, l'alignement — on comprend aussi pourquoi l'outil excelle sur certaines tâches et se plante lamentablement sur d'autres. C'est ce que je veux démonter ici, étape par étape, sans jargon inutile.
Points clés à retenir
- Un modèle de langage comme ChatGPT ne consulte aucune base de faits : il calcule une probabilité sur le prochain mot.
- L'architecture Transformer et le mécanisme d'attention sont ce qui a rendu cette prouesse possible à grande échelle.
- Trois phases distinctes : pré-entraînement massif, ajustement supervisé, puis alignement par retours humains.
- Le texte est découpé en tokens — pas en mots — avant tout traitement.
- La « température » et le sampling expliquent pourquoi la même question donne deux réponses différentes.
- Ses limites (hallucinations, coupure de contexte) découlent directement du mécanisme, pas d'un bug.
Comment fonctionne un modèle de langage comme ChatGPT en pratique
Première chose à évacuer : le mot « compréhension ». Un LLM ne comprend pas votre question au sens où vous et moi l'entendons. Il établit des régularités statistiques sur des suites de symboles, et il a vu tellement de suites qu'il reproduit des patterns extrêmement fins — y compris des patterns de raisonnement court, d'ironie, de nuance juridique.
J'ai fait une démonstration en atelier il y a quelques mois qui marche à tous les coups. Je demande au modèle de compléter « Le chat dort sur le… ». Réponse quasi instantanée : « canapé », « tapis », « toit », selon le contexte. Puis je remplace « chat » par « avion » : « L'avion dort sur le… ». Là, quelque chose de bizarre se produit. Le modèle hésite, propose des choses bancales, parfois se rabat sur une tournure générique. Il n'a pas de « modèle du monde » solide pour un avion qui dort. Ce petit test révèle tout : la qualité de la sortie dépend de la densité de ce qu'il a vu pendant l'entraînement, pas d'une compréhension réelle.
Le principe du token suivant
Ce qu'un LLM produit n'est pas un mot, c'est un token. Un token, c'est un morceau de texte : parfois un mot entier, parfois un fragment (« ant », « isation »), parfois un signe de ponctuation. En français, comptez grossièrement un token pour 0,75 mot — donc « bonjour » tient en un token, mais « anticonstitutionnellement » en explose plusieurs.
À chaque étape, le modèle reçoit la séquence de tokens déjà présente et produit une distribution de probabilité sur l'ensemble de son vocabulaire. Ensuite, il en tire un token, l'ajoute à la séquence, et recommence. La réponse entière se construit token par token, en boucle. C'est pour ça qu'un long paragraphe peut démarrer brillamment et finir par déraper sans raison apparente : chaque nouveau token dépend du précédent, et une petite erreur en début de route s'amplifie.
L'architecture Transformer et l'attention
Avant 2017, les modèles lisaient le texte mot après mot, dans l'ordre, comme un lecteur avec un doigt posé sur la page. Lent, et surtout incapable de relier un pronom en fin de paragraphe à son antécédent situé cinq phrases plus haut. L'architecture Transformer, décrite dans l'article « Attention Is All You Need », change la donne : elle traite toute la séquence en parallèle et calcule, pour chaque token, à quel autre token il doit prêter attention.
Ce mécanisme s'appelle le self-attention. Concrètement : quand le modèle traite le mot « elle » dans « Marie a posé son sac puis elle est partie », il pondère fortement sa relation avec « Marie ». Rien de magique — juste un calcul de similarité entre vecteurs. Mais multiplié par des dizaines de couches empilées, ça donne ce qui ressemble, de l'extérieur, à de la compréhension contextuelle.
Les trois phases d'entraînement que personne n'explique
C'est la partie qui manque le plus souvent dans les vulgarisations, et c'est justement celle qui explique le comportement final. On ne fabrique pas ChatGPT d'un seul coup. On le fabrique en trois temps, et ces trois temps ont des rôles très différents.
Phase 1 : le pré-entraînement
Le modèle brut avale des quantités de texte astronomiques — pages web, livres numérisés, code source, articles, forums. Il ne « lit » pas, il ingère. Sa seule tâche à ce stade : prédire le mot masqué, ou le mot suivant. Il se trompe, on corrige ses poids, il recommence. Des milliers de milliards de fois.
Le volume est difficile à représenter mentalement. Disons que la fenêtre de contexte — la quantité de texte que le modèle peut garder en tête simultanément — se compte aujourd'hui en dizaines de milliers de tokens pour les versions grand public, et bien plus pour les modèles longs. Mais attention : ce n'est pas de la mémoire. Une fois la conversation fermée, il ne reste rien de votre échange dans le modèle.
Phase 2 : l'ajustement supervisé
Le modèle brut est un perroquet savant qui complète n'importe quoi, y compris des insanités ou des instructions dangereuses, parce qu'il a vu les deux dans ses données. On lui donne alors des milliers d'exemples de dialogues corrects, question bien posée / réponse souhaitable. Il apprend à se comporter comme un assistant plutôt que comme un prolongateur de texte.
Phase 3 : l'alignement par retours humains
Dernière couche : des humains classent plusieurs réponses produites pour une même question, du meilleur au pire. On entraîne un second modèle à reproduire ces préférences, puis on s'en sert pour affiner le premier. C'est cette étape, souvent appelée RLHF, qui transforme un modèle brut en outil poli, qui refuse certaines demandes et formule des phrases utiles. C'est aussi là que se joue une partie des biais que vous observez au quotidien : si les annotateurs préfèrent les réponses longues et prudentes, le modèle devient long et prudent.
| Phase | Ce qu'on donne au modèle | Ce que ça produit |
|---|---|---|
| Pré-entraînement | Des téraoctets de texte brut | Un compléteur statistique surpuissant |
| Ajustement supervisé | Des paires question / bonne réponse | Un assistant qui suit la consigne |
| Alignement | Des classements humains | Un ton utile, prudent, formaté |
Comment fonctionne ChatGPT gratuit par rapport à la version payante
La mécanique interne est la même. Ce qui change, c'est la taille du moteur qu'on met derrière, la vitesse, et surtout la priorité d'accès. Les serveurs qui font tourner ces modèles coûtent cher à chaque requête — un appel à un grand modèle consomme réellement de l'électricité et de la bande passante GPU. La version gratuite vous met dans une file d'attente partagée, avec parfois un modèle plus léger et des quotas.
En clair : vous ne payez pas pour une intelligence supérieure, vous payez pour moins d'attente, plus de volume, et des capacités annexes — analyse de fichiers, génération d'images, accès à des outils. Le cœur de l'algorithme reste identique d'un onglet à l'autre.
Pourquoi le même prompt donne deux réponses différentes
Question que j'entends à chaque session. Vous posez deux fois la même chose, les réponses diffèrent légèrement.
Le modèle ne choisit pas systématiquement le token le plus probable. Il prélève dans la distribution avec un paramètre appelé température. Température basse : il prend presque toujours le token en tête de liste, donc sorties reproductibles et un peu plates. Température haute : il accepte des tokens moins probables, donc réponses plus variées mais parfois incohérentes. Entre les deux, le réglage par défaut que vous subissez sans le voir.
Ajoutez à ça un autre phénomène : le point de départ. Selon la formulation exacte de votre question, l'ensemble des probabilités se décale légèrement, et deux chemins qui démarrent à un token d'écart peuvent finir très loin l'un de l'autre. Une virgule déplacée peut suffire.
Quelles sont les limites de ChatGPT
Ces limites ne sont pas des bugs temporaires qu'une mise à jour corrigera. Elles découlent directement du fonctionnement décrit plus haut.
- Les hallucinations : le modèle génère une suite de tokens plausible, pas vraie. Une référence bibliographique inventée est statistiquement plausible, donc il la produit avec la même assurance qu'une vraie. C'est le revers exact de sa force.
- La coupure de contexte : au-delà de la fenêtre maximale, les informations les plus anciennes sortent du champ. Le modèle ne « se souvient » pas, il recalcule — et s'il n'a plus l'élément en entrée, il ne peut plus s'y référer.
- Une dépendance lourde à la formulation de la consigne. Reformulez votre demande, vous changez la réponse.
- Une fraîcheur des connaissances figée à la date d'entraînement. Tout ce qui s'est passé après n'existe pas pour lui, sauf s'il est branché à une recherche externe.
- Et une difficulté chronique sur le raisonnement long en plusieurs étapes, où chaque erreur intermédiaire contamine la suite.
Ce qu'il faut vraiment comprendre
Un modèle de langage comme ChatGPT n'est pas une base de connaissances consultable. C'est un moteur de complétion textuelle, entraîné sur une fraction gigantesque de ce que l'humanité a écrit, puis dressé par des humains à adopter un ton serviable.
Savoir ça change la façon de s'en servir. On ne lui demande pas « quelle est la capitale de tel pays » en espérant une encyclopédie fiable ; on lui demande de reformuler, de structurer, de proposer des angles, de dégrossir un brouillon — des tâches où être plausible suffit largement. La frontière entre les deux usages est mince, et je vois régulièrement des collègues la franchir sans s'en rendre compte, jusqu'au jour où une source inventée se retrouve citée dans un document client.
Le vrai enjeu, en 2026, n'est plus de comprendre l'outil. Il est de savoir, à chaque requête, dans quel camp on se trouve : celui où le modèle complète, ou celui où il affirme. Cette distinction, aucune interface ne vous la donnera — il faut la garder en tête soi-même.
