DeepSpeed ​​

DeepSpeed ​​- это библиотека оптимизации с открытым исходным кодом глубокого обучения для PyTorch. Библиотека разработана для уменьшения вычислительной мощности и использования памяти, а также для обучения больших распределенных моделей с улучшенным параллелизмом на существующем компьютерном оборудовании. DeepSpeed ​​оптимизирован для обучения с низкой задержкой и высокой пропускной способностью. Он включает оптимизатор нулевой избыточности (ZeRO) для обучения моделей со 100 миллиардами параметров или более. Возможности включают обучение со смешанной точностью, обучение с использованием одного графического процессора, нескольких графических процессоров и нескольких узлов, а также параллелизм пользовательских моделей. Исходный код DeepSpeed ​​под лицензией MIT License и доступен на GitHub.

• 1 См. Также
• 2 Ссылки
• 3 Дополнительная литература
• 4 Внешние ссылки

• Портал бесплатного программного обеспечения с открытым исходным кодом

• Глубокое обучение
• Машинное обучение
• Сравнение программ для глубокого обучения

• Rajbhandari, Samyam ; Расли, Джефф; Рувасе, Олатунджи; Он, Юйсюн (2019). «ZeRO: Оптимизация памяти для обучения триллиону моделей параметров» (PDF). Для цитирования журнала требуется | journal =()

• Масштаб ИИ - Microsoft Research
• GitHub - microsoft / DeepSpeed ​​
• ZeRO и DeepSpeed: новые оптимизации системы позволяют модели обучения с более чем 100 миллиардами параметров - Microsoft Research