SUPERCALCULATEURS
Ce sont les gigantesques et coûteuses machines grâce auxquelles sont entraînés les grands modèles de langues. Les progrès dans le calcul, ces dix dernières années, notamment grâce aux puces graphiques (GPU), ont permis de construire des LLM plus massifs et, donc, plus riches en vocabulaire. La machine Jean Zay, près de Paris, en est un exemple. Les plus puissantes réalisent plus de 1 milliard de milliards d’opérations à la seconde.