Jump to content

NVIDIA A100 - Tensor Core GPU


Recommended Posts

Nvidia Previews Ampere Architecture With A100 Data Center Graphics ...

NVIDIA A100 TENSOR CORE GPU

Accelerare fără precedent la fiecare scară
 

GPU NVIDIA A100 Tensor Core oferă o accelerare fără precedent la orice scară pentru AI, analize de date și calcule de înaltă performanță (HPC) pentru a face față celor mai dificile provocări de calcul din lume. Ca motor al platformei pentru centrele de date NVIDIA, A100 poate face o scară eficientă la mii de GPU-uri sau, cu ajutorul tehnologiei NVIDIA Multi-Instance GPU (MIG), să fie partiționat în șapte instanțe GPU pentru a accelera sarcinile de lucru de toate dimensiunile. Și Tensor Cores de a treia generație accelerează orice precizie pentru sarcini diverse de muncă, grăbind timpul de intuiție și timpul de introducere pe piață.

A100 face parte din soluția completă a centrului de date NVIDIA care încorporează blocuri de construcție în hardware, rețea, software, biblioteci și modele și aplicații AI optimizate de la NGC ™. Reprezentând cea mai puternică platformă AI și HPC end-to-end pentru centrele de date, permite cercetătorilor să furnizeze rezultate din lumea reală și să implementeze soluții în producție la scară.

Modelele de AI explodează în complexitate, deoarece își asumă provocări la nivelul următor, cum ar fi AI conversaționale precise și sisteme de recomandare profundă. Pregătirea lor necesită putere de calcul masiv și scalabilitate.

Coresor de tensiune de a treia generație NVIDIA A100 cu precizie Tensor Float (TF32) oferă o performanță mai mare de 20X față de generația anterioară, cu modificări de cod zero și un spor suplimentar de 2X cu precizie mixtă automată și FP16. Când este combinat cu NVIDIA® NVLink® de a treia generație, NVIDIA NVSwitch ™, PCI Gen4, NVIDIA Mellanox InfiniBand și software-ul NVIDIA Magnum IO ™ SDK, este posibil să se extindă la mii de GPU A100. Aceasta înseamnă că modele AI mari precum BERT pot fi instruite în doar 37 de minute pe un grup de 1.024 A100s, oferind performanțe și scalabilitate fără precedent.

Conducerea instruirii NVIDIA a fost demonstrată în MLPerf 0.6, primul punct de referință din întreaga industrie pentru instruirea AI.

A100 introduce noi caracteristici inovatoare pentru a optimiza sarcinile de lucru inferențiale. Acesta aduce o versatilitate fără precedent prin accelerarea unei game complete de precizii, de la FP32 la FP16 la INT8 și până la INT4. Tehnologia GPU Multi-Instance (MIG) permite rețelelor multiple să funcționeze simultan pe o singură GPU A100 pentru utilizarea optimă a resurselor de calcul. Și asistența structurală de dispersie oferă cu până la 2 de ori mai multe performanțe, în plus față de celelalte câștiguri ale performanței inferenței A100.
NVIDIA oferă deja performanțe de inferență lider pe piață, așa cum s-a demonstrat într-o operațiune extinsă de MLPerf Inference 0,5, primul punct de referință pentru industrie la nivel mondial. A100 aduce 20X mai multe performanțe pentru a extinde și mai mult această conducere.

Clienții trebuie să poată analiza, vizualiza și transforma seturi de date masive în informații. Dar soluțiile de extindere sunt adesea blocate pe măsură ce aceste seturi de date sunt împrăștiate pe mai multe servere.

Serverele accelerate cu A100 furnizează puterea de calcul necesară - împreună cu 1,6 terabiți pe secundă (TB / sec) de lățime de bandă a memoriei și scalabilitate cu NVLink și NVSwitch de a treia generație - pentru a face față acestor sarcini masive de lucru. În combinație cu NVIDIA Mellanox InfiniBand, Magnum IO SDK și suita RAPIDS de biblioteci software open source, inclusiv RAPIDS Accelerator pentru Apache Spark pentru analizele de date accelerate GPU, platforma de centru de date NVIDIA este capabilă să accelereze aceste sarcini uriașe de muncă la niveluri fără precedent. de performanță și eficiență.

High-Performance Data Analytics

A100 cu MIG maximizează utilizarea infrastructurii accelerate GPU ca niciodată. MIG permite repartizarea unui GPU A100 în șapte instanțe independente, oferind utilizatorilor multipli accesul la accelerarea GPU pentru aplicațiile și proiectele de dezvoltare ale acestora. MIG funcționează cu Kubernetes, containere și virtualizare a serverului bazat pe hipervisor cu NVIDIA Virtual Compute Server (vComputeServer). MIG permite administratorilor de infrastructură să ofere un GPU de dimensiuni corecte, cu o calitate garantată a serviciului (QoS) pentru fiecare loc de muncă, optimizând utilizarea și extindând la îndemâna resurselor de calcul accelerate pentru fiecare utilizator.

Specificatii

Peak FP64  9.7 TF
Peak FP64 Tensor Core  19.5 TF
Peak FP32  19.5 TF
Peak FP32 Tensor Core  156 TF | 312 TF*
Peak BFLOAT16 Tensor Core  312 TF | 624 TF*
Peak FP16 Tensor Core  312 TF | 624 TF*
Peak INT8 Tensor Core  624 TOPS | 1,248 TOPS*
Peak INT4 Tensor Core  1,248 TOPS | 2,496 TOPS*
GPU Memory  40 GB
GPU Memory Bandwidth  1,555 GB/s
Interconnect  NVIDIA NVLink 600 GB/s
 PCIe Gen4 64 GB/s
Multi-instance GPUs  Various instance sizes with up to 7MIGs @5GB
Form Factor  4/8 SXM on NVIDIA HGX™ A100
Max TDP Power  400W

 

Sursa

Link to comment
Share on other sites

Guest
This topic is now closed to further replies.
 Share

×
×
  • Create New...

Important Information

We have placed cookies on your device to help make this website better. You can adjust your cookie settings, otherwise we'll assume you're okay to continue.