Le test public majeur évaluant la capacité des systèmes informatiques à former des réseaux neuronaux d’apprentissage automatique a franchi un nouveau palier dans la course à la suprématie de l’IA générative. MLPerf, ayant déjà introduit un test pour la formation de grands modèles de langage (LLM) tels que GPT-3 plus tôt cette année, a récemment intégré Stable Diffusion, un générateur de texte en image, dans ses références. Les géants de l’informatique, Intel et Nvidia, ont répondu à l’appel en utilisant des ordinateurs massifs pour relever ce nouveau défi. Tandis que Google s’est joint à la bataille déjà intense dans la formation GPT-3.
Dans cette compétition, où la taille compte, Nvidia a maintenu sa suprématie avec ses systèmes basés sur les GPU H100. Il dépasse même ses propres réalisations avec le supercalculateur Eos, alimenté par 10 752 GPU. Cette machine monumentale a accompli la tâche du benchmark de formation GPT-3 en moins de 4 minutes. Elle surpasse de peu le système équivalent d’Azure, la branche cloud computing de Microsoft. Ces résultats mettent en lumière la nécessité cruciale de la mise à l’échelle efficace dans le domaine de l’IA générative, dont la croissance exponentielle atteint une multiplication par dix chaque année.
Intel redéfinit les performances de l’IA avec Gaudi 2
Intel, de son côté, a présenté des résultats impressionnants dans cette course à la suprématie de l’IA générative. Il a utilisé la puce accélératrice Gaudi 2 et en activant les capacités à virgule flottante (FP8). Avec cette nouvelle puce, Intel a réussi à réduire de 103 % le temps de formation pour un cluster de 384 accélérateurs.
Cette avancée place le Gaudi 2 à environ un tiers de la vitesse d’un système Nvidia par puce. Cela tout en offrant un avantage considérable en termes de prix et de performances.
Intel prévoit cependant d’accentuer cet avantage avec la prochaine génération de sa puce accélératrice, le Gaudi 3, attendu en 2024.
Les systèmes basés sur Xeon accélèrent le raffinement des réseaux neuronaux
Au-delà des benchmarks MLPerf, Intel a également démontré que ses systèmes basés uniquement sur des processeurs, tels que le Xeon de quatrième génération, peuvent réaliser des temps de formation impressionnants.
La société a également partagé des données montrant qu’un système Xeon à 4 nœuds, doté du moteur matriciel AMX, peut affiner le générateur d’images à diffusion stable en moins de 5 minutes. Ce processus est alors essentiel pour spécialiser les réseaux neuronaux dans des tâches spécifiques.
Au total, les résultats de plus de 200 essais provenant de 19 entreprises et institutions ont été soumis à MLPerf. Ce qui a permis de révéler une amélioration de la performance de 2,8 fois au cours des cinq derniers mois. Mais aussi de 49 fois depuis les débuts de l’organisation il y a cinq ans.
- Partager l'article :
