Войти
 Титан в 2013 г. | |
| Активный | Вступил в строй с октября 29, 2012; выведен из эксплуатации 2 августа 2019 г. |
|---|---|
| Спонсоры | Министерство энергетики США и NOAA (<10%) |
| Операторы | Cray Inc. |
| Местоположение | Национальная лаборатория Ок-Ридж |
| Архитектура | 18,688 AMD Opteron 6274 16-ядерных процессоров. 18,688 Nvidia Tesla графических процессоров K20X |
| Мощность | 8,2 MW |
| Операционная система | Cray Linux Environment |
| Пространство | 404 м (4352 фута) |
| Память | 693,5 TiB (584 ТиБ ЦП и 109,5 ТиБ графический процессор) |
| Хранилище | 40 PB, 1,4 ТБ / с IO Файловая система Lustre |
| Скорость | 17,59 петафлопс (LINPACK ). Теоретический пик 27 петафлопс |
| Стоимость | 97 миллионов долларов США (эквивалент 108 миллионов долларов США в 2019 году) |
| Рейтинг | TOP500 : 4 июня 2017 года |
| Цель | Научные исследования |
| Наследие | Занял 1-е место в TOP500 при создании.. Первый суперкомпьютер на базе графического процессора, производящий более 10 петафлопс |
| Интернет site | www.olcf.ornl.gov / titan / |
Titan или OLCF-3 был суперкомпьютером построено Cray в Национальной лаборатории Ок-Ридж для использования в различных научных проектах. Titan был обновлением Jaguar, предыдущего суперкомпьютера в Oak Ridge, который использует графические процессоры (графические процессоры) в дополнение к обычным центральным процессорам (CPU).. Titan был первым таким гибридом, который показал производительность более 10 петафлопс. Обновление началось в октябре 2011 года, тестирование стабильности началось в октябре 2012 года, и оно стало доступно исследователям в начале 2013 года. Первоначальная стоимость обновления составляла долларов США, 60 миллионов долларов США, в основном финансируемые США. Министерство энергетики.
Titan затмило в Ок-Ридже Summit в 2019 году, который был построен IBM и имеет меньшее количество узлов с гораздо большей пропускной способностью графического процессора на узел, а также локальный -node энергонезависимое кэширование файловых данных из параллельной файловой системы.
Titan использовал процессоры AMD Opteron в сочетании с Графические процессоры Nvidia Tesla для повышения энергоэффективности, обеспечивая при этом увеличение вычислительной мощности на порядок по сравнению с Jaguar. Он использовал 18 688 процессоров в паре с равным количеством графических процессоров для достижения теоретической пиковой производительности 27 петафлопс; в тесте LINPACK, используемом для оценки скорости суперкомпьютеров, он составил 17,59 петафлопс. Этого было достаточно, чтобы занять первое место в списке ноября 2012 года организацией TOP500, но в списке июня 2013 года его обогнала Тяньхэ-2.
Титан был доступен для любых научных целей; доступ зависит от важности проекта и его потенциала для использования гибридной архитектуры. Любые выбранные программы также должны выполняться на других суперкомпьютерах, чтобы не зависеть исключительно от Titan. Первыми были отобраны шесть авангардных программ. Они имели дело в основном с физикой молекулярного масштаба или климатическими моделями, а за ними стояли еще 25 человек. Включение графических процессоров вынудило авторов изменить свои программы. Модификации обычно повышали степень параллелизма, учитывая, что графические процессоры предлагают намного больше одновременных потоков, чем процессоры. Изменения часто приводят к повышению производительности даже на машинах с центральным процессором.
Планы по созданию суперкомпьютера с производительностью 20 петафлопс в Oak Ridge Leadership Computing Facility (OLCF) в Oak Ridge National Laboratory (ORNL) возникли еще в 2005 году, когда был построен Jaguar. Сам Titan будет заменен системой примерно на 200 петафлопс в 2016 году в рамках плана ORNL по эксплуатации машины экзафлопс (от 1000 петафлопс до 1 экзафлопс) к 2020 году. Первоначальный план строительства нового здания площадью 15000 квадратных метров ( 160 000 футов) здание для Титана, было отказано в пользу использования существующей инфраструктуры Jaguar. Точная архитектура системы не была доработана до 2010 года, хотя сделка с Nvidia на поставку графических процессоров была подписана в 2009 году. Впервые о Titan было объявлено на частной конференции ACM / IEEE Supercomputing (SC10) 16 ноября 2010 года., и было публично объявлено 11 октября 2011 года, когда началась первая фаза модернизации Titan.
Jaguar получил различные обновления с момента своего создания. Все началось с платформы Cray XT3, которая выдавала 25 терафлопс. К 2008 году Jaguar был расширен дополнительными шкафами и модернизирован до платформы XT4, достигнув 263 терафлопс. В 2009 году он был модернизирован до платформы XT5, достигнув 1,4 петафлопс. Его последние обновления довели Jaguar до 1,76 петафлопс.
Titan финансировался в основном Министерством энергетики США через ORNL. Финансирования было достаточно для покупки процессоров, но не всех графических процессоров, поэтому Национальное управление океанических и атмосферных исследований согласилось профинансировать оставшиеся узлы в обмен на время вычислений. Руководитель отдела научных вычислений ORNL Джефф Николс отметил, что Titan обошелся авансом примерно в 60 миллионов долларов, из которых вклад NOAA был меньше 10 миллионов долларов, но точные цифры были охвачены соглашениями о неразглашении. Полный срок контракта с Cray включал 97 миллионов долларов, не считая потенциальных обновлений.
Конверсия в течение года началась 9 октября 2011 года. С октября по декабрь 96 из 200 шкафов Jaguar, каждый из которых содержит 24 XT5 блейд-серверов (два 6-ядерных процессора на узел, четыре узла на блейд-сервер) были обновлены до блейд-сервера XK7 (один 16-ядерный ЦП на узел, четыре узла на блейд-сервер), в то время как остальная часть машины оставалась в эксплуатации. В декабре вычисления были перенесены на 96 шкафов XK7, а остальные 104 шкафа были модернизированы до блейд-серверов XK7. Внешнее соединение ORNL ESnet было обновлено с 10 Гбит / с до 100 Гбит / с, а также обновлено системное соединение (сеть, по которой процессоры связываются друг с другом). Конструкция Seastar, используемая в Jaguar, была модернизирована до межсоединения Gemini, используемого в Titan, которое соединяет узлы в прямую трехмерную сеть межсоединения тора. Gemini внутренне использует контроль потока червоточины. Объем системной памяти был увеличен до 584 ТиБ. 960 узлов XK7 (10 шкафов) были оснащены графическим процессором на базе Fermi, поскольку графические процессоры Kepler тогда не были доступны; эти 960 узлов назывались TitanDev и использовались для тестирования кода. На первом этапе модернизации пиковая производительность Jaguar увеличилась до 3,3 петафлопс. Начиная с 13 сентября 2012 года графические процессоры Nvidia K20X были установлены на все вычислительные блейд-серверы Jaguar XK7, включая 960 узлов TitanDev. В октябре задача была завершена, и компьютер был окончательно переименован в Titan.
В марте 2013 года Nvidia выпустила GTX Titan, потребительскую видеокарту, которая использует тот же кристалл графического процессора, что и графические процессоры K20X в Titan. Titan прошел приемочные испытания в начале 2013 года, но выполнил только 92% испытаний, меньше необходимых 95%. Проблема была обнаружена в избытке золота в концевых гнездовых разъемах на разъемах материнских плат 'PCIe, вызывающих трещины в припое материнских плат. Стоимость ремонта оплачивала Cray, и каждую неделю ремонтировалось от 12 до 16 шкафов. Во время ремонта пользователям был предоставлен доступ к имеющимся процессорам. 11 марта они получили доступ к 8 972 графическим процессорам. 8 апреля ORNL объявил, что ремонт завершен, а 11 июня 2013 года было объявлено о завершении приемочных испытаний.
Аппаратное обеспечение Titan имеет теоретическую пиковую производительность 27 петафлопс с «идеальным» программным обеспечением. 12 ноября 2012 года организация TOP500, оценивающая суперкомпьютеры в мире по производительности LINPACK, поставила Titan на первое место с 17,59 петафлопс, вытеснив IBM Sequoia. Titan также занял третье место в рейтинге Green500, тех же 500 суперкомпьютеров, которые оцениваются с точки зрения энергоэффективности. В рейтинге TOP500 за июнь 2013 года Titan опустился на второе место после Tianhe-2 и на двадцать девятое место в списке Green500. Titan не проводил повторных тестов для рейтинга за июнь 2013 года, потому что он все равно занял бы второе место с 27 петафлопс.
Titan использует 200 шкафов Jaguar, занимающих 404 квадратных метра (4352 фута).) с замененными внутренними компонентами и обновленной сетью. Повторное использование систем питания и охлаждения Jaguar позволило сэкономить около 20 миллионов долларов. Электропитание подается на каждый шкаф при трехфазном 480 В. Для этого требуются более тонкие кабели, чем стандартный 208 В США, что позволяет сэкономить 1 миллион долларов на меди. На пике своей мощности Titan потребляет 8,2 МВт, что на 1,2 МВт больше, чем Jaguar, но работает почти в десять раз быстрее с точки зрения вычислений с плавающей запятой. В случае сбоя питания углеродное волокно накопитель энергии с маховиком может поддерживать работу сетевой инфраструктуры и инфраструктуры хранения до 16 секунд. Через 2 секунды без питания дизельные генераторы запускаются, и требуется около 7 секунд для достижения полной мощности. Они могут обеспечивать власть бесконечно. Генераторы предназначены только для питания сетевых компонентов и компонентов хранилища, поэтому перезагрузка выполняется намного быстрее; генераторы не могут обеспечивать питание инфраструктуры обработки.
Titan имеет 18 688 узлов (4 узла на blade-сервер, 24 blade-сервера на шкаф), каждый из которых содержит 16-ядерный AMD Opteron 6274 ЦП с 32 ГБ памяти DDR3 ECC и графическим процессором Nvidia Tesla K20X с 6 ГБ памяти GDDR5 ECC. Всего имеется 299008 процессорных ядер и 693,6 ТБ ОЗУ ЦП и ГП.
Первоначально Titan использовала 10 ПБ хранилища Lustre от Jaguar со скоростью передачи 240 ГБ. / с, но в апреле 2013 года объем хранилища был увеличен до 40 ПБ со скоростью передачи 1,4 ТБ / с. Графические процессоры были выбраны из-за их значительно более высокой эффективности параллельной обработки по сравнению с процессорами. Хотя графические процессоры имеют более низкую тактовую частоту, чем процессоры, каждый графический процессор содержит 2688 ядер CUDA с частотой 732 МГц, что приводит к более быстрой работе системы. Следовательно, ядра ЦП используются для распределения задач между ГП, а не для прямой обработки данных, как в обычных суперкомпьютерах.
Titan запускает среду Cray Linux, полную версию Linux на узлах входа, к которым пользователи имеют прямой доступ, но более компактная и более эффективная версия на вычислительных узлах.
Компоненты Titan охлаждаются воздухом с помощью радиаторов, но воздух охлаждается перед его прокачкой через шкафы. Шум вентилятора настолько громкий, что людям, проводящим в машинном отделении более 15 минут, требуются средства защиты органов слуха. Система имеет охлаждающую способность 23,2 МВт (6600 тонн) и работает за счет охлаждения воды до 5,5 ° C (42 ° F), которая, в свою очередь, охлаждает рециркулирующий воздух.
Исследователи также имеют доступ к ЭВЕРЕСТУ (исследовательская визуализация). Environment for Research and Technology), чтобы лучше понимать данные, которые выводит Titan. ЭВЕРЕСТ - это комната для визуализации с экраном 10 на 3 метра (33 на 10 футов) и второстепенным экраном меньшего размера. Экраны имеют разрешение 37 и 33 мегапикселей соответственно с возможностью стереоскопического 3D.
В 2009 году ведущая вычислительная компания Oak Ridge, которая управляет Titan сузил пятьдесят приложений для первого использования суперкомпьютера до шести «авангардных» кодов, выбранных из-за важности исследования и их способности полностью использовать систему. Шесть передовых проектов по использованию Titan:
В 2013 году на Титане планировалось запустить тридцать один код, обычно четыре или пять одновременно.
Код многих проектов должен быть изменен, чтобы соответствовать обработке GPU Titan, но каждый код должен выполняться на CPU- системы, так что проекты не становятся полностью зависимыми от Titan. OLCF сформировал Центр ускоренной готовности приложений (CAAR), чтобы помочь в процессе адаптации. Он проводит семинары для разработчиков в штаб-квартире Nvidia, чтобы познакомить пользователей с архитектурой, компиляторами и приложениями на Titan. CAAR работает над компиляторами с Nvidia и поставщиками кода, чтобы интегрировать директивы для графических процессоров в свои языки программирования. Таким образом, исследователи могут выразить параллелизм в своем коде с помощью своего существующего языка программирования, обычно Fortran, C или C ++, и компилятор может выразить его для графических процессоров. Доктор Бронсон Мессер, вычислительный астрофизик, сказал об этой задаче: «приложение, максимально использующее Titan, должно также найти способ занять GPU, постоянно помня, что GPU работает быстро, но менее гибок, чем ЦП. "Moab Cluster Suite используется для приоритизации заданий по узлам, чтобы поддерживать высокую степень использования; он повысил эффективность тестируемого программного обеспечения с 70% до примерно 95%. Некоторые проекты обнаружили, что изменения повысили эффективность их кода на машинах без GPU; производительность Denovo увеличилась вдвое на машинах на базе ЦП.
Объем изменений кода, необходимых для работы на ГП, зависит от проекта. По словам доктора Мессера из NRDF, только небольшой процент его кода выполняется на графических процессорах, потому что вычисления относительно просты, но обрабатываются многократно и параллельно. NRDF написан на CUDA Fortran, версии Fortran с расширениями CUDA для графических процессоров. Третья «голова» Химеры была первой, которая работала на графических процессорах, поскольку ядерное горение легче всего было смоделировать с помощью архитектуры графического процессора. Со временем планировалось изменить другие аспекты кода. На Jaguar в рамках проекта было смоделировано 14 или 15 ядерных видов, но Мессер ожидал моделирования до 200 видов, что обеспечит гораздо большую точность при сравнении моделирования с эмпирическими наблюдениями.
Этот аудиофайл был создан на основе редакции этой статьи от 8 июля 2016 г. и не отражает последующих редакций. ()
Средства массовой информации, связанные с Titan (суперкомпьютер) на Wikimedia Commons| Записи | ||
|---|---|---|
| Предыдущие. IBM Sequoia. 16,325 петафлопс | Самый мощный в мире суперкомпьютер. ноябрь 2012 г. - июнь 2013 г. | На смену ему пришел. Tianhe-2. 33,9 петафлопс |
