Intel, Arm et NVIDIA ont publié un brouillon de la spécification du format numérique FP8 pour les nombres à virgule flottante 8 bits. Tel que conçu par les entreprises, ce format devrait devenir une représentation unique des nombres utilisés dans la résolution des problèmes d’IA tant dans la formation des réseaux de neurones que dans leur fonctionnement (inférence).

Nvidia

Selon les entreprises, l’utilisation de nombres réels 8 bits lors du calcul des poids dans les réseaux de neurones optimisera l’utilisation des ressources informatiques matérielles. De tels nombres occupent moins de mémoire et sont plus faciles à traiter, ce qui augmentera les performances des accélérateurs matériels lors de la résolution de problèmes d’IA.

Les formats à virgule flottante traditionnels actuellement utilisés sont FP32 (simple précision) et FP16 (demi-précision). Lors de la résolution de problèmes d’apprentissage automatique, le deuxième format est désormais principalement utilisé. Cependant, selon Intel, Arm et NVIDIA, les nombres sous une forme encore plus courte, bien qu’avec une précision moindre, sont tout à fait applicables dans les tâches d’IA, alors qu’ils peuvent être traités plus rapidement et avec moins d’énergie.

Par exemple, dans un article de blog, le CMO de NVIDIA, Shar Narasimhan, note que le format FP8 présente une « fidélité comparable » à la précision 16 bits dans des applications telles que la vision par ordinateur et les systèmes d’imagerie, tout en offrant une accélération « significative ».

Le format FP8 sera accessible à tous sans licence, sous forme ouverte. Les spécifications seront ensuite soumises à l’IEEE, un organisme de normalisation de l’industrie pour un certain nombre de domaines techniques. « Nous pensons que le fait d’avoir un format d’échange de données commun garantira une progression rapide et la compatibilité des plates-formes matérielles et logicielles pour l’avancement de l’informatique », a déclaré Narasimhan.

Il convient de noter que la prise en charge des numéros FP8 est déjà implémentée dans l’architecture GH100 Hopper de NVIDIA, ainsi que dans les accélérateurs Intel Gaudi2 AI.

Le format FP8 unifié profitera non seulement aux trois sociétés qui ont proposé la norme, mais également à d’autres acteurs proposant des accélérateurs pour travailler avec l’IA. D’une manière ou d’une autre, ils prennent tous en charge leurs propres versions de nombres à virgule flottante à précision réduite, et l’émergence d’un seul standard ouvert au lieu de plusieurs formats concurrents simplifiera le développement de solutions matérielles et de bibliothèques logicielles.

Si vous remarquez une erreur, sélectionnez-la avec la souris et appuyez sur CTRL + ENTRÉE.

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée.