«Отец всех чипов» — топовый GPU линейки Intel Xe, фотография которого недели две назад обошла страницы всех тематических изданий, возможно, является самым большим с учетом каких-то оговорок. Но среди 7-нанометровых микросхем «отцом», безусловно, можно назвать микросхему Nvidia GA100. На кристалле этого GPU поколения Ampere насчитывается 54 миллиарда транзисторов (не считая транзисторов в стеках памяти HBM2E).
По словам Nvidia, новый GPU в 20 раз превосходит по производительности в задачах ИИ и вычислениях с одинарной точностью (FP32) своего предшественника — Tesla V100. Nvidia планирует предложить новый числовой формат для вычислений ИИ, названный TF32 (32-разрядный тензорный с плавающей запятой). В TF32 используется 10-битная мантисса из FP16 и 8-битный порядок из FP32. Такой формат позволит существенно повысить производительность.
Еще одна особенность GA100 — «многоэкземплярный» графический процессор, который позволяет нескольким сложным приложениям работать на одном физическом графическом процессоре без совместного использования ресурсов, таких как пропускная способность памяти. Пользователь может разделить физический GA100 на несколько виртуальных (до семи) с различными характеристиками. Неудивительно, что для реализации таких возможностей понадобилось 54 миллиарда транзисторов.