ChatGPT : les investissements IT hors normes de Microsoft dans Azure

Outre les milliards investis dans OpenAI, Microsoft a également dépensé des centaines de millions en hardware sur son cloud Azure. Nvidia est le grand gagnant de cette architecture accompagnant l'engouement pour les IA génératives.

Les investissements de Microsoft dans ChatGPT ne concernent pas seulement OpenAI. La firme américaine a aussi dépensé énormément d’argent dans le matériel pour ses datacenters Azure, preuve que, pour l'instant, les solutions d'IA sont réservées aux très grosses entreprises

Microsoft a expliqué en détail dans un blog ce qu’elle a fait pour construire l'infrastructure d'IA sur laquelle fonctionne ChatGPT dans le cadre du service Bing. Le fournisseur proposait déjà des machines virtuelles ND A100 v4 pour le traitement de l'IA basées sur les accélérateurs basé sur des GPU A100 de Nvidia. Il propose désormais l’instance ND H100 v5 basée sur du matériel plus récent dont les tailles de VM varient de huit à des milliers d’accélérateurs GPU H100. Matt Vegas, chef de produit Azure HPC+AI, écrit que, par rapport aux instances ND A100 v4, les performances des v5 seront nettement plus rapides pour les modèles d'IA.

Les dernières VM sont alimentées par des H100 Tensor Core (génération « Hopper ») interconnectés via la dernière génération de NVSwitch et NVLink 4.0 (avec des débits de 3,6 Tbt/s entre 8 GPU locales dans chaque VM), le réseau InfiniBand Quantum-2 CX7 de Nvidia à 400 Gb/s, des puces Intel Xeon Scalable de 4ème génération (« Sapphire Rapids ») avec des interconnexions PCIe Gen5 et de la mémoire DDR5 (avec 16 canaux de 4800 MHz). Matt Vegas n'a pas précisé la quantité de hardware, mais il a indiqué que Microsoft mettait à la disposition des clients Azure plusieurs exaflops de calcul intensif.

En savoir plus: https://www.lemondeinformatique.fr/actualites/lire-chatgpt-les-investissements-it-hors-normes-de-microsoft-dans-azure-89886.html