Qu'est-ce que l'Intel® Advanced Matrix Extensions (Intel® AMX) ?

Processeurs Intel® Xeon® Scalable et Intel® Advanced Matrix Extensions

Les charges de travail de Deep Learning, telles que celles qui reposent sur l'IA générative, les grands modèles de langage (LLM) et la vision par ordinateur, peuvent être incroyablement gourmandes en calcul, nécessitant des niveaux de performances élevés et, souvent, du matériel spécialisé supplémentaire pour garantir un déploiement réussi de l'IA. Les coûts associés à ces exigences peuvent rapidement augmenter, et l'ajout de solutions matérielles dédiées peut créer des couches inutiles de complexité et de problèmes de compatibilité.

Pour vous aider à rendre vos charges de travail de Deep Learning plus efficaces et rentables, et plus faciles à former et à déployer, Intel® AMX sur les processeurs Intel® Xeon® Scalable offre une accélération pour l'inférence et la formation tout en minimisant le besoin de matériel spécialisé.

Intel® AMX est l'un des deux Intel® AI Engines® intégrés aux processeurs Intel® Xeon® Scalable qui vous permettent d'exploiter au mieux votre processeur afin d'alimenter les charges de travail d'entraînement et d'inférence IA à grande échelle pour améliorer l'efficacité, réduire les coûts d'inférence, de formation, d'entraînement, et réduire le coût total de possession (TCO). En tant qu'accélérateur intégré qui réside sur chaque cœur du processeur et placé à proximité de la mémoire vive, Intel® AMX est souvent moins complexe à utiliser que les accélérateurs dédiés, ce qui permet un délai de rentabilité plus rapide.

Bien qu'il existe de nombreuses façons pour les entreprises de prendre en charge des charges de travail d'IA avancées, une base qui repose sur des processeurs Intel® Xeon® Scalable avec des accélérateurs d'IA puissants et intégrés vous permet d'atteindre vos objectifs de performance en matière de formation et d'inférence tout en réduisant la complexité du système et les coûts de déploiement et d'exploitation pour un meilleur rendement commercial.

Comment fonctionne Intel® AMX

Intel® AMX est un bloc matériel dédié présent sur le cœur du processeur Intel® Xeon® Scalable qui permet d'optimiser et d'accélérer les charges de travail de formation et d'inférence du Deep Learning qui s'appuient sur des mathématiques matricielles.

Intel® AMX permet aux charges de travail d'IA de s'exécuter sur le processeur au lieu de les décharger sur un accélérateur dédié, ce qui accroît considérablement les performances². Son architecture prend en charge les types de données BF16 (entraînement/inférence) et int8 (inférence), et comprend deux composants principaux :

• Tuiles : elles se composent de huit registres bidimensionnels, de 1 kilo-octet chacun qui stockent de grands morceaux de données.
• Multiplication matricielle par tuile (TMUL) : TMUL est un moteur d'accélérateur attaché aux tuiles qui effectue des calculs de solutions matricielles pour l'IA.

Ensemble, ces composants permettent à Intel® AMX de stocker plus de données dans chaque cœur et de calculer des matrices plus grandes en une seule opération. En outre, Intel® AMX est conçu pour être entièrement extensible et évolutif.

Avantages d'Intel® AMX pour de meilleurs résultats opérationnels

Intel® AMX permet aux processeurs Intel® Xeon® Scalable d'améliorer les performances des charges de travail de formation et d'inférence du Deep Learning en équilibrant l'inférence, le cas d'utilisation le plus important pour un processeur dans les applications d'IA, avec plus de capacités de formation.

De nombreux clients d'Intel tirent parti d'Intel® AMX pour améliorer les résultats de leur entreprise. Avec les processeurs Intel® Xeon® de 5ᵉ génération, les clients bénéficient de performances d'entraînement et d'inférence jusqu'à 14 fois supérieures à celles des processeurs Intel® Xeon® de 3ᵉ génération³.

Les principaux avantages d'Intel® AMX sont les suivants :

• Performances améliorées
  L'accélération basée sur le processeur peut améliorer l'efficacité de l'utilisation de l'énergie et des ressources, ce qui permet d'obtenir de meilleures performances pour le même prix.
  Par exemple, le processeur Intel® Xeon® Platinum 8592+ de 5ᵉ génération avec Intel® AMX BF16 a montré des performances d'inférence de reconnaissance vocale en temps réel (RNN-T) jusqu'à 10,7 fois supérieures et des performances/watt 7,9 fois supérieures à celles des processeurs Intel® Xeon® de 3ᵉ génération avec FP32⁴.
• Baisse du coût de revient total
  Les processeurs Intel® Xeon® Scalable dotés d'Intel® AMX permettent une série d'améliorations de l'efficacité qui contribuent à réduire les coûts, à réduire le coût total de possession et à faire progresser les objectifs de développement durable.
  En tant qu'accélérateur intégré aux processeurs Intel® Xeon® Scalable que vous possédez peut-être déjà, Intel® AMX vous permet de maximiser les investissements que vous avez déjà réalisés et d'obtenir plus de votre processeur, en supprimant le coût et la complexité généralement associés à l'ajout d'un accélérateur dédié.
  Les processeurs Intel® Xeon® Scalable dotés d'Intel® AMX peuvent également fournir une architecture de serveur plus rentable que les autres options disponibles, offrant des avantages en termes de réduction de la consommation d'énergie et des émissions.
  Les processeurs Intel® Xeon® Platinum de 5ᵉ génération avec Intel® AMX ont fourni des performances d'inférence de traitement du langage naturel par lots (BERT-Large) jusqu'à 2,69 fois supérieures et des performances par watt 2,96 fois supérieures à celles des serveurs AMD Genoa 9654⁵.
• Réduction du temps de développement
  Pour simplifier le processus de développement d'applications de Deep Learning, nous travaillons en étroite collaboration avec la communauté open source, notamment les projets TensorFlow et PyTorch, afin d'optimiser les infrastructures pour le matériel Intel®, en mettant en œuvre nos dernières optimisations et fonctionnalités afin qu'elles soient immédiatement disponibles pour les développeurs. Cela vous permet de profiter des avantages en matière de performances d'Intel® AMX grâce à l'ajout de quelques lignes de code, ce qui réduit le temps de développement global.
  Nous fournissons également l'accès aux outils de développement, des bibliothèques et des ressources Intel® gratuits.

Cas d'utilisation du Deep Learning Intel® AMX

Intel® AMX peut être déployé dans un large éventail de cas d'utilisation du Deep Learning afin de fournir une amélioration significative des performances qui se traduit par une plus grande valeur pour l'utilisateur final et l'entreprise.

• Systèmes de recommandation : utilisez Intel® AMX comme une solution plus rentable pour les modèles de recommandation d'IA qui améliorent la réactivité des recommandations de produits, de contenus et de services pour les cas d'utilisation, notamment le commerce électronique, les médias sociaux, le divertissement en streaming et la banque personnalisée. Par exemple, les fournisseurs de contenu utilisent souvent Intel® AMX pour accélérer la diffusion de recommandations et de publicités ciblées sur des films ou des livres, ou pour fournir un système de recommandation basé sur le Deep Learning qui tient compte des signaux de comportement en temps réel des utilisateurs et des fonctionnalités de conception, telles que l'heure et l'emplacement en temps quasi réel. Les processeurs Intel® Xeon® de 5ᵉ génération offrent des performances d'inférence du système de recommandation par lots (DLRM) jusqu'à 8,7 fois supérieures et des performances/watt 6,2 fois supérieures à celles des processeurs Intel® Xeon® de 3ᵉ génération avec FP32⁶.
• Traitement du langage naturel (NLP) : accélérer les cas d'utilisation basés sur le texte pour prendre en charge et faire évoluer les applications NLP, telles que celles utilisées dans les soins de santé et les sciences de la vie pour extraire des informations de notifications cliniques ou traiter de grandes quantités de données médicales afin de contribuer à la détection précoce des problèmes de santé et à l'amélioration de la prestation des soins. Dans les services financiers, Intel® AMX peut être utilisé pour améliorer la réactivité des chatbots en ligne afin d'aider les clients à obtenir plus rapidement les informations dont ils ont besoin, tout en libérant le personnel dont les effectifs sont limités pour répondre à des demandes plus complexes.
  Comme pour les systèmes de recommandation, Intel® AMX peut être une solution plus rentable pour la NLP. Par exemple, lorsqu'il a été utilisé pour déployer le modèle BERT-Large AI Natural Language, Intel® AMX sur des processeurs Intel® Xeon® de 4ᵉ génération a permis de réaliser jusqu'à 79 % d'économies par rapport à AMD Genoa 9354⁷.
• IA générative : tirez parti d'Intel® AMX pour accélérer les performances de charges de travail de formation et d'inférence du Deep Learning pour les cas d'utilisation de l'IA générative tels que la génération de contenus, notamment les images, les vidéos et l'audio, la traduction linguistique, l'augmentation des données et la création des résumés. Par exemple, une évaluation des performances des processeurs Intel® Xeon® Platinum 8480+ équipés de la technologie Intel® AMX pour les types de données BF16 par rapport aux processeurs Intel® Xeon® Platinum 8380 pour les types de données FP32 a permis de réduire le temps de génération du texte à l'image de Stable Diffusion à moins de cinq secondes et l'ajustement des modèles de Stable Diffusion à moins de cinq minutes⁸.
• Vision par ordinateur : réduisez le temps écoulé entre la capture de vidéos et d'images et la prise de décision, afin d'offrir à vos clients une expérience exceptionnelle et de permettre à votre entreprise d'améliorer son efficacité et de réduire ses coûts d'exploitation. Par exemple, dans les magasins de vente au détail, Intel® AMX permet de contribuer à réduire le temps de transaction pour les clients grâce à un système de passage en caisse fluide basé sur la vision par ordinateur, et prendre en charge la surveillance en temps quasi réel des étagères pour suivre les données d'inventaire et informer instantanément le personnel lorsqu'un article est en rupture de stock. Dans le secteur manufacturier, l'analyse accélérée de vidéos provenant de caméras de vision par ordinateur sur des bras robotisés permet de réduire le temps et les coûts grâce à des capacités de détection automatisée des défauts.

Pour plus d'exemples sur la façon dont les clients d'Intel® utilisent Intel® AMX pour améliorer leurs résultats commerciaux, rendez-vous dans notre bibliothèque d'actualités client.

Démarrez avec Intel® AMX

Nous offrons une grande variété de ressources de développement pour vous permettre de profiter de l'accélérateur Intel® AMX intégré dans vos processeurs Intel® Xeon® Scalable.

Pour commencer, passez en revue les instructions étape par étape présentées dans les guides suivants afin d'améliorer les performances avec Intel® AMX :

• Guide de démarrage rapide des optimisations d'Intel® AI : fournit des instructions pour améliorer les performances des charges de travail d'IA grâce aux bibliothèques et aux infrastructures d'IA optimisées Intel®. Ce guide comprend des instructions étape par étape pour TensorFlow, XGBoost, PyTorch et bien plus encore.
• Guide de réglage pour améliorer les performances de l'IA du Deep Learning : offre des recommandations pour le réglage des processeurs pour les kits d'outils d'IA optimisés par Intel® afin d'obtenir les meilleures performances possibles.

Pour obtenir des informations techniques plus détaillées, des tutoriels, des exemples de code et des modules de test, accédez à :

• Infrastructures d'IA Intel® AMX
• Kits de référence d'IA Intel® AMX
• Guide de référence du développeur Intel® AMX
• Exemple de code Intel® AMX

Vous pouvez accéder à tous nos guides de réglage pour les processeurs Intel® Xeon® Scalable dans notre catalogue d'outils logiciels pour développeurs.

Pour vous aider à rationaliser vos efforts de développement de l'IA, nous offrons nos kits d'outils Intel® oneAPI, nos composants et nos optimisations, notamment :

• Kit d'outils d'analytique IA Intel® oneAPI
• Intel® oneAPI Math Kernel Library
• Intel® Extension for Scikit-learn*
• Optimisations PyTorch d'Intel

Expérimentez avec Intel® AMX aujourd'hui

En plus de consulter nos documents de référence, vous pouvez tester le matériel Intel®, Intel® AMX et d'autres fonctionnalités d'accélération intégrées à l'aide d'Intel® Developer Cloud.

Cette plateforme en ligne gratuite pour l'apprentissage, le prototypage, les tests et l'exécution des charges de travail comprend également la prise en charge d'un certain nombre de kits d'outils de développement de logiciels Intel®, d'outils et de bibliothèques.

Développer et améliorer les capacités d'IA de votre processeur à l'aide d'Intel® AMX

À mesure que votre entreprise cherche des solutions pour répondre aux exigences de calcul croissantes afin de prendre en charge les charges de travail de formation et d'inférence du Deep Learning, Intel® AMX vous permet d'améliorer les performances en utilisant le matériel Intel® que vous possédez peut-être déjà en utilisant les optimisations Intel® dans les infrastructures open source populaires et en accédant aux outils et aux ressources de développement Intel® gratuits, ce qui vous évite les coûts et la complexité qui découlent de l'acquisition de matériel spécialisé supplémentaire et réduit comparativement le temps de développement.