Помогите разобраться.
В архитектуре Вольта на один SM приходится 64 ядра FP32 (4шт по 16 ядер), в Ампере тоже на SM 64 ядра FP32. С учётом более низкой частоты чипа А100 и большего количества SM на кристалле (108 против 80), коэффициент увеличения производительности чипа А100 относительно чипа V100 получается 1.25. (без учёта тензорных ядер).
Однако производительность FP16 на один SM выросла вдвое, а пиковая проиизводительность FP16 выросла в 2.5 раза, V100 — 31,4 террафлопс, A100 — 78 террафлопс. Не понятно за счёт чего.
Поясните пожалуйста, сколько операций умножения и сложения-FMA ядра FP32 (или специализированные ядра, не указанные на схеме) выполняют за такт и сколько этих ядер приходится на SM (без учёта тензорных ядер). Я о FP16, BF16.
Nvidia указала пиковую производительность (без тензорных ядер-ТСore) FP16 — 78 террафлопс, BF16 — 39 террафлопс, FP32 — 19,5 террафлопс, FP64 — 9,7 террафлопс. С количеством ядер FP32, и FP64 приходящихся на один SM понятно, они показаны на схеме мультипроцессоров SM, BF и FP16 ядра на схеме не показаны.
Хочу уточнить по поводу ТСore. Теперь, как я понял, тензорное ядро содержит 256 ядер половинной точности, т.е. такое ядро выполняет FMA операцию умножения и сложения чисел половинной точности за 1 такт. За 1 такт выполняется FMA операция со смешанной точностью FP16/FP32, за такт выполняется FMA операция в формате BF16. Но операция в формате TF32 выполняется уже за 2 такта, я предполагаю нужно два такта на считывание всех данных в формате FP32.
Буду крайне признателен за пояснение. Если нет точных данных, то хотябы простое пояснение на пальцах.
В архитектуре Вольта на один SM приходится 64 ядра FP32 (4шт по 16 ядер), в Ампере тоже на SM 64 ядра FP32. С учётом более низкой частоты чипа А100 и большего количества SM на кристалле (108 против 80), коэффициент увеличения производительности чипа А100 относительно чипа V100 получается 1.25. (без учёта тензорных ядер).
Однако производительность FP16 на один SM выросла вдвое, а пиковая проиизводительность FP16 выросла в 2.5 раза, V100 — 31,4 террафлопс, A100 — 78 террафлопс. Не понятно за счёт чего.
Поясните пожалуйста, сколько операций умножения и сложения-FMA ядра FP32 (или специализированные ядра, не указанные на схеме) выполняют за такт и сколько этих ядер приходится на SM (без учёта тензорных ядер). Я о FP16, BF16.
Nvidia указала пиковую производительность (без тензорных ядер-ТСore) FP16 — 78 террафлопс, BF16 — 39 террафлопс, FP32 — 19,5 террафлопс, FP64 — 9,7 террафлопс. С количеством ядер FP32, и FP64 приходящихся на один SM понятно, они показаны на схеме мультипроцессоров SM, BF и FP16 ядра на схеме не показаны.
Хочу уточнить по поводу ТСore. Теперь, как я понял, тензорное ядро содержит 256 ядер половинной точности, т.е. такое ядро выполняет FMA операцию умножения и сложения чисел половинной точности за 1 такт. За 1 такт выполняется FMA операция со смешанной точностью FP16/FP32, за такт выполняется FMA операция в формате BF16. Но операция в формате TF32 выполняется уже за 2 такта, я предполагаю нужно два такта на считывание всех данных в формате FP32.
Буду крайне признателен за пояснение. Если нет точных данных, то хотябы простое пояснение на пальцах.