Альфапедия

CUDA

редактировать
Платформа параллельных вычислений и модель программирования
CUDA
Nvidia CUDA Logo.jpg
Разработчик (и) Nvidia Corporation
Первый выпуск23 июня 2007 г.; 13 лет назад (2007-06-23)
Стабильный выпуск 11.1.0 / 23 сентября 2020 г.; 39 дней назад (2020-09-23)
Операционная система Windows, Linux
Платформа Поддерживаемые графические процессоры
Тип GPGPU
Лицензия Собственный
Веб-сайтразработчик.nvidia.com / cuda-zone

CUDA (Compute Unified Device Architecture) - это параллельные вычисления платформа и интерфейс прикладного программирования (API), созданная Nvidia. Он позволяет разработчикам программного обеспечения и программистам использовать графический процессор (GPU) с поддержкой CUDA для обработки общего назначения - подход, названный GPGPU (Универсальные вычисления на графических процессорах). Платформа CUDA - это программный уровень, который предоставляет прямой доступ к виртуальному набору команд графического процессора и параллельным вычислительным элементам для выполнения вычислительных ядер.

Платформа CUDA предназначена для работы с языками программирования такие как C, C ++ и Fortran. Эта доступность упрощает специалистам по параллельному программированию использование ресурсов графического процессора, в отличие от предшествующих API, таких как Direct3D и OpenGL, которые требовали продвинутых навыков программирования графики. Графические процессоры на базе CUDA также поддерживают среды программирования, такие как OpenACC и OpenCL ; и HIP путем компиляции такого кода в CUDA. Когда Nvidia впервые представила CUDA, это название было аббревиатурой от Compute Unified Device Architecture, но впоследствии Nvidia отказалась от общего использования этого акронима.

Содержание
  • 1 Предпосылки
  • 2 Возможности программирования
  • 3 Преимущества
  • 4 Ограничения
  • 5 Поддерживаемые графические процессоры
  • 6 Функции и характеристики версии
  • 7 Пример
  • 8 Тесты
  • 9 Языковые привязки
  • 10 Текущее и будущее использование архитектуры CUDA
  • 11 См. Также
  • 12 Ссылки
  • 13 Внешние ссылки
Предпосылки

Графический процессор (GPU), как специализированный компьютерный процессор, отвечает требованиям реального времени высокого разрешения трехмерной графики ресурсоемких вычислений. К 2012 году графические процессоры превратились в высокопараллельные многоядерные системы, позволяющие очень эффективно манипулировать большими блоками данных. Эта конструкция более эффективна, чем центральный процессор (ЦП) общего назначения для алгоритмов в ситуациях, когда обработка больших блоков данных выполняется параллельно, например:

Возможности программирования
Пример потока обработки CUDA
  1. Копирование данных из основной памяти в память GPU
  2. CPU запускает GPU вычисляет ядро ​​
  3. Ядра CUDA GPU выполняют ядро ​​параллельно
  4. Скопируйте полученные данные из памяти GPU в основную память

Платформа CUDA доступна разработчикам программного обеспечения через библиотеки с ускорением CUDA, директивы компилятора, такие как OpenACC и расширения для стандартных языков программирования, включая C, C ++ и Fortran. Программисты C / C ++ могут использовать CUDA C / C ++, скомпилированный в PTX с помощью nvcc, компилятор C / C ++ на основе LLVM от Nvidia. Программисты Fortran могут использовать CUDA Fortran, скомпилированный с помощью компилятора PGI CUDA Fortran из The Portland Group.

Помимо библиотек, директив компилятора, CUDA C / C ++ и CUDA Fortran, платформа CUDA поддерживает другие вычислительные интерфейсы, включая OpenCL от Khronos Group, DirectCompute от Microsoft, OpenGL Compute Shaders и C ++ AMP. Сторонние оболочки также доступны для Python, Perl, Fortran, Java, Ruby, Lua, Common Lisp, Haskell, R, MATLAB, IDL, Julia и встроенная поддержка в Mathematica.

В индустрии компьютерных игр графические процессоры используются для рендеринга графики и для вычислений физики игр (физических эффектов, таких как мусор, дым, огонь, жидкости); примеры включают PhysX и Bullet. CUDA также использовался для ускорения неграфических приложений в вычислительной биологии, криптографии и других областях на порядок или более.

CUDA предоставляет как низкоуровневый API (CUDA Driver API, не с одним источником), так и API более высокого уровня (CUDA Runtime API, с одним источником). Первоначальный CUDA SDK был обнародован 15 февраля 2007 года для Microsoft Windows и Linux. Поддержка Mac OS X была позже добавлена ​​в версии 2.0, которая заменяет бета-версию, выпущенную 14 февраля 2008 г. CUDA работает со всеми графическими процессорами Nvidia от серии G8x и далее, включая GeForce, Quadro и линейку Tesla. CUDA совместим с большинством стандартных операционных систем. Nvidia заявляет, что программы, разработанные для серии G8x, также будут работать без изменений на всех будущих видеокартах Nvidia из-за бинарной совместимости.

CUDA 8.0 поставляется со следующими библиотеками (для компиляции и выполнения в алфавитном порядке):

  • cuBLAS - библиотека подпрограмм базовой линейной алгебры CUDA, см. main и docs
  • CUDART - библиотека времени выполнения CUDA, см. docs
  • cuFFT - библиотека быстрого преобразования Фурье CUDA, см. main и docs
  • cuRAND - Библиотека генерации случайных чисел CUDA, см. main и docs
  • cuSOLVER - основанная на CUDA коллекция плотных и разреженных прямых решатели, см. main и docs
  • cuSPARSE - Библиотека разреженных матриц CUDA, см. main и docs
  • NPP - NVIDIA Performance Primitives library, см. main и docs
  • nvGRAPH - библиотека NVIDIA Graph Analytics, см. main и docs
  • NVML - NVIDIA Management Library, см. main и документы
  • NVRTC - NVIDIA Runtime Co Библиотека mpilation для CUDA C ++, см. docs

CUDA 8.0 поставляется с этими другими программными компонентами:

  • nView - программное обеспечение для управления настольным ПК NVIDIA nView, см. main и docs (pdf)
  • NVWMI - NVIDIA Enterprise Management Toolkit, см. main и docs (chm)
  • GameWorks PhysX - - мультиплатформенный игровой движок физики, см. main и docs

CUDA 9.0–9.2 поставляется с другими компонентами:

CUDA 10 поставляется с другими компонентами:

Преимущества

CUDA имеет несколько преимуществ перед традиционными вычислениями общего назначения на графических процессорах (GPGPU) с использованием графических API:

  • Разрозненное чтение - код может считываться с произвольных адресов в памяти.
  • Унифицированная виртуальная память (CUDA 4.0 и выше)
  • Унифицированная память (CUDA 6.0 и выше)
  • Общая память - CUDA предоставляет быструю разделяемую память регион, который может использоваться потоками. Его можно использовать как управляемый пользователем кеш, обеспечивая более высокую пропускную способность, чем это возможно при поиске текстур.
  • Более быстрая загрузка и обратное считывание в и из GPU
  • Полная поддержка целочисленных и побитовых операций, включая поиск целочисленных текстур
Ограничения
  • Будь то главный компьютер или устройство GPU, весь исходный код CUDA теперь обрабатывается в соответствии с правилами синтаксиса C ++. Так было не всегда. Ранние версии CUDA были основаны на правилах синтаксиса C. Как и в более общем случае компиляции кода C с помощью компилятора C ++, поэтому возможно, что старый исходный код CUDA в стиле C либо не скомпилируется, либо будет вести себя не так, как предполагалось изначально.
  • Взаимодействие с языками визуализации например, OpenGL является односторонним, при этом OpenGL имеет доступ к зарегистрированной памяти CUDA, но CUDA не имеет доступа к памяти OpenGL.
  • Копирование между памятью хоста и устройства может привести к снижению производительности из-за пропускной способности системной шины и задержки ( это можно частично уменьшить с помощью асинхронной передачи памяти, обрабатываемой механизмом DMA графического процессора).
  • Для обеспечения максимальной производительности потоки должны выполняться группами по крайней мере по 32, с общим числом потоков, исчисляемым тысячами. Ветви в программном коде не оказывают существенного влияния на производительность при условии, что каждый из 32 потоков выполняет один и тот же путь выполнения; Модель выполнения SIMD становится существенным ограничением для любой изначально расходящейся задачи (например, прохождение структуры данных с разделением пространства во время трассировки лучей ).
  • Для современные версии.
  • Допустимый C ++ иногда может быть помечен и предотвращать компиляцию из-за того, как компилятор подходит к оптимизации для ограничений целевого устройства GPU.
  • C ++ информация о типе времени выполнения (RTTI) и обработка исключений в стиле C ++ поддерживаются только в коде хоста, а не в коде устройства.
  • В одинарной точности на устройствах 1.x с вычислительными возможностями CUDA первого поколения, денормальные числа не поддерживаются и вместо этого сбрасываются до нуля, а точность операций деления и извлечения квадратного корня немного ниже, чем точность вычислений с одинарной точностью, совместимая с IEEE 754. Устройства, поддерживающие вычислительные возможности 2.0 и выше, поддерживают денормальные числа, а операции деления и извлечения квадратного корня соответствуют стандарту IEEE 754 по умолчанию. Однако пользователи могут получить предыдущую более быструю математику вычислительных возможностей устройств 1.x игрового уровня, если это необходимо, установив флаги компилятора, чтобы отключить точное деление и точные квадратные корни, а также включить сброс денормальных чисел в ноль.
  • В отличие от OpenCL, графические процессоры с поддержкой CUDA доступны только от Nvidia. Попытки реализовать CUDA на других графических процессорах включают:
    • Project Coriander: конвертирует исходный код CUDA C ++ 11 в OpenCL 1.2 C. Форк CUDA-on-CL, предназначенный для запуска TensorFlow.
    • CU2CL: Преобразование CUDA 3.2 C ++ в OpenCL C.
    • GPUOpen HIP: тонкий слой абстракции поверх CUDA и ROCm, предназначенный для графических процессоров AMD и Nvidia. Имеет инструмент преобразования для импорта исходного кода CUDA C ++. Поддерживает CUDA 4.0 плюс C ++ 11 и float16.
Поддерживаемые графические процессоры

Поддерживаемый уровень CUDA для графического процессора и карты. См. Также Nvidia :

  • Поддержка CUDA SDK 1.0 для вычислительных возможностей 1.0 - 1.1 (Tesla)
  • Поддержка CUDA SDK 1.1 для вычислительных возможностей 1.0 - 1.1 + x (Tesla)
  • Поддержка CUDA SDK 2.0 для вычислительных возможностей 1.0 - 1.1 + x (Tesla)
  • CUDA SDK 2.1 - 2.3.1 поддержка вычислительных возможностей 1.0 - 1.3 (Tesla)
  • Поддержка CUDA SDK 3.0 - 3.1 для вычислительных возможностей 1.0 - 2.0 (Tesla, Fermi)
  • Поддержка CUDA SDK 3.2 для вычислительных возможностей 1.0 - 2.1 (Tesla, Fermi)
  • CUDA SDK 4.0 - 4.2 поддержка вычислительных возможностей 1.0 - 2.1 + x (Tesla, Fermi, еще?).
  • CUDA SDK 5.0 - 5.5 поддержка вычислительных возможностей 1.0 - 3.5 (Tesla, Fermi, Kepler).
  • Поддержка CUDA SDK 6.0 для вычислительных возможностей 1.0 - 3.5 (Tesla, Fermi, Kepler).
  • CUDA SDK 6.5 поддерживает вычислительные возможности 1.1 - 5.x (Tesla, Fermi, Kepler, Maxwell). Последняя версия с поддержкой вычислительных возможностей 1.x (Tesla)
  • CUDA SDK 7.0 - 7.5 поддержка вычислительных возможностей 2.0 - 5.x (Fermi, Kepler, Maxwell).
  • CUDA SDK 8.0 поддержка вычислительных возможностей 2.0 - 6.x (Ферми, Кеплер, Максвелл, Паскаль). Последняя версия с поддержкой вычислительных возможностей 2.x (Fermi) (Pascal GTX 1070Ti не поддерживается)
  • CUDA SDK 9.0 - 9.2 поддержка вычислительных возможностей 3.0 - 7.2 (Kepler, Maxwell, Pascal, Volta) (Pascal GTX 1070Ti Не поддерживается. CUDA SDK 9.0 и поддержка CUDA SDK 9.2).
  • CUDA SDK 10.0–10.2 поддерживает вычислительные возможности 3.0–7,5 (Kepler, Maxwell, Pascal, Volta, Turing). Последняя версия с поддержкой вычислительных возможностей 3.x (Kepler). 10.2 - последний официальный выпуск для macOS, так как поддержка для macOS в более новых выпусках не будет.
  • CUDA SDK 11.0–11.1 поддержка вычислительных возможностей 3.5–8.6 (Kepler (частично), Maxwell, Pascal, Volta, Turing, Ampere) Новые типы данных: Bfloat16 и TF32 на тензорных ядрах третьего поколения.

.

Compute. возможность. (версия)Micro-. архитектура GPUGeForceQuadro, NVSTeslaTegra,. Jetson,. DRIVE
1.0Tesla G80GeForce 8800 Ultra, GeForce 8800 GTX, GeForce 8800 GTS (G80)Quadro FX 5600, Quadro FX 4600, Quadro Plex 2100 S4Tesla C870, Tesla D870, Tesla S870
1.1G92, G94, G96, G98, G84, G86GeForce GTS 250, GeForce 9800 GX2, GeForce 9800 GTX, GeForce 9800 GT, GeForce 8800 GTS (G92), GeForce 8800 GT, GeForce 9600 GT, GeForce 9500 GT, GeForce 9400 GT, GeForce 8600 GTS, GeForce 8600 GT, GeForce 8500 GT,. GeForce G110M, GeForce 9300M GS, GeForc e 9200M GS, GeForce 9100M G, GeForce 8400M GT, GeForce G105MQuadro FX 4700 X2, Quadro FX 3700, Quadro FX 1800, Quadro FX 1700, Quadro FX 580, Quadro FX 570, Quadro FX 470, Quadro FX 380, Quadro FX 370, Quadro FX 370 Low Profile, Quadro NVS 450, Quadro NVS 420, Quadro NVS 290, Quadro NVS 295, Quadro Plex 2100 D4,. Quadro FX 3800M, Quadro FX 3700M, Quadro FX 3600M, Quadro FX 2800M, Quadro FX 2700M, Quadro FX 1700M, Quadro FX 1600M, Quadro FX 770M, Quadro FX 570M, Quadro FX 370M, Quadro FX 360M, Quadro NVS 320M, Quadro NVS 160M, Quadro NVS 150M, Quadro NVS 140M, Quadro NVS 135M, Quadro NVS 130M, Quadro NVS 450, Quadro NVS 420, Quadro NVS 295
1.2GT218, GT216, GT215GeForce GT 340 *, GeForce GT 330 *, GeForce GT 320 *, GeForce 315 *, GeForce 310 *, GeForce GT 240, GeForce GT 220, GeForce 210,. GeForce GTS 360M, GeForce GTS 350M, GeForce GT 335M, GeForce GT 330M, GeForce GT 325M, GeForce GT 240M, GeForce G210M, GeForce 310M, GeForce 305MQuadro FX 380 Low Profile, Quadro FX 1800M, Quadro FX 880M, Quadro FX 380M,. Nvidia NVS 300, NVS 5100M, NVS 3100M, NVS 2100M, ION
1.3GT200, GT200bGeForce GTX 295, GTX 285, GTX 280, GeForce GTX 275, GeForce GTX 260Quadro FX 5800, Quadro FX 4800, Quadro FX 4800 для Mac, Quadro FX 3800, Quadro CX, Quadro Plex 2200 D2Tesla C1060, Tesla S1070, Tesla M1060
2.0Fermi GF100, GF110GeForce GTX 590, GeForce GTX 580, GeForce GTX 570, GeForce GTX 480, GeForce GTX 470, GeForce GTX 465,. GeForce GTX 480MQuadro 6000, Quadro 5000, Quadro 4000, Quadro 4000 для Mac, Quadro Plex 7000,. Quadro 5010M, Quadro 5000MTesla C2075, Tesla C2050 / C2070, Tesla M2050 / M2070 / M2075 / M2090
2,1GF104, GF106 GF108, GF114, GF116, GF117, GF119GeForce GTX 560 Ti, GeForce GTX 550 Ti, GeForce GTX 460, GeForce GTS 450, GeForce GTS 450 *, GeForce GT 640 (GDDR3), GeForce GT 630, GeForce GT 620, GeForce GT 610, GeForce GT 52 0, GeForce GT 440, GeForce GT 440 *, GeForce GT 430, GeForce GT 430 *, GeForce GT 420 *,. GeForce GTX 675M, GeForce GTX 670M, GeForce GT 635M, GeForce GT 630M, GeForce GT 625M, GeForce GT 720M, GeForce GT 620M, GeForce 710M, GeForce 610M, GeForce 820M, GeForce GTX 580M, GeForce GTX 570M, GeForce GTX 560M, GeForce GT 555M, GeForce GT 550M, GeForce GT 540M, GeForce GT 525M, GeForce GT 520MX, GeForce GT 520M, GeForce GTX 485M, GeForce GTX 470M, GeForce GTX 460M, GeForce GT 445M, GeForce GT 435M, GeForce GT 420M, GeForce GT 415M, GeForce 710M, GeForce 410MQuadro 2000, Quadro 2000D, Quadro 600,. Quadro 4000M, Quadro 3000M, Quadro 2000M, Quadro 1000M,. NVS 310, NVS 315, NVS 5400M, NVS 5200M, NVS 4200M
3.0Kepler GK104, GK106, GK107GeForce GTX 770, GeForce GTX 760, GeForce GT 740, GeForce GTX 690, GeForce GTX 680, GeForce GTX 670, GeForce GTX 660 Ti, GeForce GTX 660, GeForce GTX 650 Ti BOOST, GeForce GTX 650 Ti, GeForce GTX 650,. GeForce GTX 880M, Ge Force GTX 780M, GeForce GTX 770M, GeForce GTX 765M, GeForce GTX 760M, GeForce GTX 680MX, GeForce GTX 680M, GeForce GTX 675MX, GeForce GTX 670MX, GeForce GTX 660M, GeForce GT 750M, GeForce GT 650M, GeForce GT 745M, GeForce GT 645M, GeForce GT 740M, GeForce GT 730M, GeForce GT 640M, GeForce GT 640M LE, GeForce GT 735M, GeForce GT 730MQuadro K5000, Quadro K4200, Quadro K4000, Quadro K2000, Quadro K2000D, Quadro K600, Quadro K420,. Quadro K500M, Quadro K510M, Quadro K610M, Quadro K1000M, Quadro K2000M, Quadro K1100M, Quadro K2100M, Quadro K3000M, Quadro K3100M, Quadro K4000M, Quadro K5000M, Quadro K41100M, Quadro K510298>, Quadro 410Tesla K10, GRID K340, GRID K520, GRID K2
3.2GK20ATegra K1,. Jetson TK1
3.5GK110, GK208GeForce GTX Titan Z, GeForce GTX Titan Black, GeForce GTX Titan, GeForce GTX 780 Ti, GeForce GTX 780, GeForce GT 640 (GDDR5), GeForce GT 630 v2, GeForce GT 730, GeForce GT 720, GeForce GT 710, Ge Force GT 740M (64-бит, DDR3), GeForce GT 920MQuadro K6000, Quadro K5200Tesla K40, Tesla K20x, Tesla K20
3,7GK210Tesla K80
5.0Maxwell GM107, GM108GeForce GTX 750 Ti, GeForce GTX 750, GeForce GTX 960M, GeForce GTX 950M, GeForce 940M, GeForce 930M, GeForce GTX 860M, GeForce GTX 850M, GeForce 845M, GeForce 840M, GeForce 830M, GeForce GTX 870MQuadro K1200, Quadro K2200, Quadro K620, Quadro M2000M, Quadro M1000M, Quadro M600M, Quadro K620M, NVS 810Tesla M10
5.2GM200, GM204, GM206GeForce GTX Titan X, GeForce GTX 980 Ti, GeForce GTX 980, GeForce GTX 970, GeForce GTX 960, GeForce GTX 950, GeForce GTX 750 SE,. GeForce GTX 980M, GeForce GTX 970M, GeForce GTX 965MQuadro M6000 24GB, Quadro M6000, Quadro M5000, Quadro M4000, Quadro M2000, Quadro M5500,. Quadro M5000M, Quadro M4000M, Quadro M3000MTesla M4, Tesla M40, Tesla M6, Tesla M60
5,3GM20BTegra X1,. Jetson TX1,. Jetson Nano,. DRIVE CX,. DRIVE PX
6.0Pascal GP100Quadro GP100Tesla P100
6.1GP102, GP104, GP106, GP107, GP108Nvidia TITAN Xp, Titan X,. GeForce GTX 1080 Ti, GTX 1080, GTX 1070 Ti, GTX 1070, GTX 1060,. GTX 1050 Ti, GTX 1050, GT 1030,. MX350, MX330, MX250, MX230, MX150, MX130, MX110Quadro P6000, Quadro P5000, Quadro P4000, Quadro P2200, Quadro P2000, Quadro P1000, Quadro P400, Quadro P500, Quadro P520, Quadro P600,. Quadro P5000 (мобильный), Quadro P4000 (мобильный), Quadro P3000 (мобильный)Tesla P40, Tesla P6, Tesla P4
6.2GP10BTegra X2, Jetson TX2, DRIVE PX 2
7.0Volta GV100NVIDIA TITAN VQuadro GV100Tesla V100, Tesla V100S
7.2GV10BTegra Xavier,. Jetson Xavier NX,. Jetson AGX Xavier, DRIVE AGX Xavier, ПРИВОД AGX Pegasus
7.5Тьюринг TU102, TU104, TU106, TU116, TU117NVID IA TITAN RTX,. GeForce RTX 2080 Ti, RTX 2080 Super, RTX 2080, RTX 2070 Super, RTX 2070, RTX 2060 Super, RTX 2060,. GeForce GTX 1660 Ti, GTX 1660 Super, GTX 1660, GTX 1650 Super, GTX 1650, MX450Quadro RTX 8000, Quadro RTX 6000, Quadro RTX 5000, Quadro RTX 4000,. Quadro T2000, Quadro T1000Tesla T4
8.0Ампер GA100A100
8,6GA102, GA104GeForce RTX 3090, RTX 3080, RTX 3070RTX A6000, A40

'*' - Продукты только OEM

Функции и спецификации версии
Поддержка функций (неуказанные функции поддерживаются для всех вычислительных возможностей)Возможности вычислений (версия)
1.01.11.21.32.x3.03,23,5, 3,7, 5,0, 5,25,36.x7.x8,08.6
Целочисленные атомарные функции, работающие с 32-битными словами в глобальной памятиНетДа
atomicExch (), работающие с 32-битными числами с плавающей запятой Значения точки g в глобальной памяти
Целочисленные атомарные функции, работающие с 32-битными словами в общей памятиНетДа
atomicExch (), работающий с 32-битными значениями с плавающей запятой в разделяемая память
Целочисленные атомарные функции, работающие с 64-битными словами в глобальной памяти
Функции голосования деформации
Операции с плавающей запятой двойной точностиНетДа
Атомарные функции, работающие с 64-битными целыми числами в общей памятиНетДа
Атомарное сложение с плавающей запятой, работающее с 32-битными словами в глобальной и совместно используемой памяти
_ballot ()
_threadfence_system ()
_syncthreads_count (), _syncthreads_and (), _syncthreads_or ()
Поверхностные функции
Трехмерная сетка блока потоков
Функции перестановки деформации, Единая памятьНетДа
Сдвиг воронкиНетДа
Динамический параллелизмНетДа
Половина- прецизионные операции с плавающей запятой:. сложение, вычитание, умножение, сравнение, функции перемешивания деформации, преобразованиеНетДа
Атомарное сложение, работающее с 64-битными значениями с плавающей запятой в глобальной памяти и общей памятиНетДа
Тензорное ядро ​​НетДа
Функции матрицы деформации смешанной точностиНетДа
Аппаратное ускорение async-copyНетДа
Аппаратно-ускоренный барьер прибытия / ожидания разделенияНетДа
Управление резидентностью кэша L2НетДа
Тип данныхОперацияПоддерживается сПоддерживается с. для глобальной памятиПоддерживается с. для разделяемой памяти
16-битное целое числообщие операции
32-битное целое числоатомарные функции1.11,2
64-битное целое числоатомарные функции1,22,0
16-битное число с плавающей запятойсложение, вычитание,. умножение, сравнение,. функции перемешивания деформации, преобразование5,3
32-битное с плавающей точкой точкаatomicExch ()1.11.2
32-битная плавающая точкаатомарное сложение2.02.0
64-битная плавающая точкаобщие операции1.3
64-битная плавающая точкаатомарное сложение6.06.0
тензорное ядро ​​7.0

Примечание: любые недостающие строки или пустые записи действительно отражают некоторую нехватку информации об этом конкретном элементе..

Технические характеристикиВозможности вычислений (версия)
1,01,11,21,32.x3,03,23,53,75,05,25,36,06,16,27,07,27,58,08,6
Максимальное количество резидентных гридов на устройство. (одновременное выполнение ядра)tbd1643216128321612816128
Максимальный размер сетки резьбовых блоков23
Максимальный x-размер сетки резьбовых блоков655352 - 1
Максимальный размер y- или z сетки блоков резьбы65535
Максимальный размер кадра резьбы3
Максимальный размер x или y кадра5121024
Максимальный размер блока по оси Z64
Максимальное количество потоков на блок5121024
Размер искажения32
Максимальное количество резидентных блоков на мультипроцессор81632163216
Максимальное количество резидентных деформаций на мультипроцессор24324864326448
Максимальное количество резидентных потоков на мультипроцессор768102415362048102420481536
Количество 32-битных регистров на мультипроцессор8 K16 K32 K64 K128 K64 K
Максимальное количество 32-битных регистров на блок потокаН / Д32 K64 K32 K64 K32 K64 K32 K64 K
Максимальное количество 32-битных регистров на поток12463255
Максимальный объем разделяемой памяти на мультипроцессор16 КБ48 КБ112 КБ64 КБ96 КБ64 КБ96 КБ64 КБ96 КБ. (из 128)64 КБ. (из 96)164 КБ. ( из 192)100 КБ. (из 128)
Максимальный объем разделяемой памяти на блок потока48 КБ96 КБ48 КБ64 КБ163 КБ99 КБ
Количество банков разделяемой памяти1632
Объем локальной памяти на поток16 КБ512 КБ
Постоянный размер памяти64 КБ
Рабочий набор кэша на мультипроцессор для постоянной памяти8 КБ4 КБ8 КБ
Рабочий набор кэша на мультипроцессор для текстурной памяти6-8 КБ12 КБ12-48 КБ24 КБ48 КБН / Д24 КБ48 КБ24 КБ32 - 128 КБ32 - 64 КБ28 - 192 КБ28 - 128 КБ
Максимальная ширина для ссылки на 1D текстуру, привязанную к массиву CUDA.819265536131072
Максимальная ширина ссылки на одномерную текстуру, привязанную к линейной памяти.222222
Максимальная ширина и количество слоев для одномерного слоя. ссылка на текстуру8192 × 51216384 × 204832768 x 2048
Максимальная ширина и высота для ссылки на 2D текстуру, привязанной. к CUDA array65536 × 3276865536 × 65535131072 x 65536
Максимальная ширина и высота для двумерной ссылки текстуры bou nd. в линейную память65000 x 6500065536 x 65536131072 x 65000
Максимальная ширина и высота для границы ссылки 2D-текстуры. в массив CUDA, поддерживающий сборку текстурН / Д16384 x 1638432768 x 32768
Максимальная ширина, высота и количество слоев для 2D. ссылка на слоистую текстуру8192 × 8192 × 51216384 × 16384 × 204832768 x 32768 x 2048
Максимальная ширина, высота и глубина для 3D ссылка на текстуру. привязана к линейной памяти или массиву CUDA2048409616384
Максимальная ширина (и высота) ссылки на текстуру кубической картыН / Д1638432768
Максимальная ширина (и высота) и количество слоев. для ссылки на многослойную текстуру кубической картыН / A16384 × 204632768 × 2046
Максимальное количество текстур, которые могут быть привязаны к. ядру128256
Максимальная ширина для 1D поверхности опорной Boun d в. массив CUDAНе. поддерживается655361638432768
Максимальная ширина и количество слоев для 1D слоистая. привязка поверхности65536 × 204816384 × 204832768 × 2048
Максимальная ширина и высота для 2D-привязки поверхности. привязан к массиву CUDA65536 × 3276816384 × 65536131072 × 65536
Максимальная ширина, высота и количество слоев для 2D. Ссылка на слоистую поверхность65536 × 32768 × 204816384 × 16384 × 204832768 × 32768 × 2048
Максимальная ширина, высота и глубина для трехмерной поверхности. ссылка, привязанная к массиву CUDA65536 × 32768 × 20484096 × 4096 × 409616384 × 16384 × 16384
Максимальная ширина (и высота) для ссылки на поверхность кубической карты, привязанной к массиву CUDA327681638432768
Максимальная ширина и количество слоев для кубической карты. ссылка на слоистую поверхность32768 × 204616384 × 204632768 × 2046
Максимальное количество поверхностей, которые могут быть связаны с ядром.81632
Максимальное количество инструкций на ядро ​​2 миллиона512 миллионов
Спецификации архитектурыВычислительные возможности (версия)
1.01.11,21,32,02,13,03,53,75,05,26,06,1, 6,27,0, 7,27,58,08.6
Количество дорожек ALU для целочисленных арифметических операций с плавающей запятой и одинарной точности832481921286412864
Количество модулей специальных функций для трансцендентных функций с плавающей запятой одинарной точности24832163216
Количество блоков фильтрации текстур для каждого блока адресации текстуры или блока вывода рендеринга (ROP)248168
Количество планировщиков деформации12424
Максимальное количество инструкций, выполняемых одновременно одним планировщиком121
Количество тензорных ядерН / Д84
Размер в КБ единой памяти для кэша данных и общей памяти на мультипроцессорнет данных12896192128

Для получения дополнительной информации см. Статью: «Сравнительная таблица вычислительных возможностей NVIDIA CUDA» и прочтите Руководство по программированию Nvidia CUDA.

Пример

Этот пример кода на C ++ загружает текстуру из изображения в массив на GPU:

texture tex ; void foo () {cudaArray * cu_array; // Выделить массив cudaChannelFormatDesc description = cudaCreateChannelDesc (); cudaMallocArray (cu_array, описание, ширина, высота); // Копировать данные изображения в массив cudaMemcpyToArray (cu_array, image, width * height * sizeof (float), cudaMemcpyHostToDevice); // Устанавливаем параметры текстуры (по умолчанию) tex.addressMode [0] = cudaAddressModeClamp; tex.addressMode [1] = cudaAddressModeClamp; tex.filterMode = cudaFilterModePoint; tex.normalized = false; // не нормализовать координаты // привязываем массив к текстуре cudaBindTextureToArray (tex, cu_array); // Запускаем ядро ​​dim3 blockDim (16, 16, 1); dim3 gridDim ((ширина + blockDim.x - 1) / blockDim.x, (height + blockDim.y - 1) / blockDim.y, 1); ядро <<< gridDim, blockDim, 0>>>(d_data, высота, ширина); // Отключаем массив от текстуры cudaUnbindTexture (tex); } // конец foo () __global__ void kernel (float * odata, int height, int width) {unsigned int x = blockIdx.x * blockDim.x + threadIdx.x; беззнаковый int y = blockIdx.y * blockDim.y + threadIdx.y; if (x < width y < height) { float c = tex2D(tex, x, y); odata[y*width+x] = c; } }

Ниже приведен пример, приведенный в Python, который вычисляет произведение двух массивов на GPU. Неофициальные привязки языка Python можно получить из PyCUDA.

import pycuda.compiler as comp import pycuda.driver as drv import numpy import pycuda.autoinit mod = comp.SourceModule( """ __global__ void multiply_them(float *dest, float *a, float *b) { const int i = threadIdx.x; dest[i] = a[i] * b[i]; } """) multiply_them = mod.get_function("multiply_them") a = numpy.random.randn(400).astype(numpy.float32) b = numpy.random.randn (400).astype(numpy.float32) dest = numpy.zeros_like(a) multiply_them(drv.Out(dest), drv.In(a), drv.In(b), block=(400, 1, 1)) print(dest - a * b)

Additional Python bindings to simplify matrix multiplication operations can be found in the program pycublas.

import numpy from pycublas import CUBLASMatrix A = CUBLASMatrix(numpy.mat([[1, 2, 3], [4, 5, 6]], numpy.float32)) B = CUBLASMatrix(numpy.mat([[2, 3], [4, 5], [6, 7]], numpy.float32)) C = A * B print(C.np_mat())

while CuPy directly replaces NumPy:

import cupy a = cupy.random.randn(400) b = cupy.random.randn(400) dest = cupy.zeros_like(a) print(dest - a * b)
Benchmarks

There are some open-source benchmarks containing CUDA codes:

Language bindings
Current and future usages of CUDA architecture
See also
References
External links
Последняя правка сделана 2021-05-13 12:27:58
Содержание доступно по лицензии CC BY-SA 3.0 (если не указано иное).
Обратная связь: support@alphapedia.ru
Соглашение
О проекте