Bon, j’vais pas y aller par quatre chemins, l’architecture des Transformers qu’on utilise tous (GPT, Claude, Llama…) repose sur une brique qui n’a pas bougé depuis 2015 et qui s’appelle la connexion résiduelle. C’est le fameux x + F(x) qui permet aux gradients de circuler sans mourir étouffés (…)