Войти
В среде высокопроизводительных вычислений буфер пакетов представляет собой быстрый и промежуточный уровень хранения, расположенный между интерфейсными вычислительными процессами и внутренними системы хранения. Это своевременное решение для хранения данных, позволяющее преодолеть постоянно увеличивающийся разрыв в производительности между скоростью обработки вычислительных узлов и пропускной способностью ввода / вывода (I / O) систем хранения. Пакетный буфер состоит из массивов высокопроизводительных запоминающих устройств, таких как NVRAM и SSD. Обычно он предлагает на один-два порядка большую пропускную способность ввода-вывода, чем серверные системы хранения.
Появление импульсного буфера способствует появлению широкого спектра решений на основе импульсного буфера, которые ускоряют перемещение научных данных на суперкомпьютерах. Например, жизненные циклы научных приложений обычно чередуются между фазами вычислений и фазами ввода-вывода. А именно, после каждого цикла вычислений (т. Е. Фазы вычислений) все вычислительные процессы одновременно записывают свои промежуточные данные в серверные системы хранения (т. Е. Этап ввода-вывода), за которым следует еще один этап вычислений и операций перемещения данных. Благодаря развертыванию пакетного буфера процессы могут быстро записывать свои данные в пакетный буфер после одного раунда вычислений вместо записи в медленные системы хранения на основе жесткого диска, и немедленно переходить к следующему этапу вычислений, не дожидаясь перемещения данных. к внутренним системам хранения; затем данные асинхронно сбрасываются из буфера пакетов в системы хранения одновременно со следующим циклом вычислений. Таким образом, длительное время ввода-вывода, затрачиваемое на перемещение данных в системы хранения, скрывается за временем вычислений. Кроме того, буферизация данных в пакетном буфере также дает приложениям множество возможностей для изменения формы трафика данных на серверные системы хранения для эффективного использования полосы пропускания систем хранения. В другом распространенном случае научные приложения могут помещать свои промежуточные данные в буфер пакетов и из него, не взаимодействуя с более медленными системами хранения. Обход систем хранения позволяет приложениям реализовать большую часть выигрыша в производительности от буфера пакетов.
В среде высокопроизводительных вычислений есть две типичные архитектуры буфера пакетов: локальный буфер пакетов и удаленный общий буфер пакетов. В архитектуре буфера пакетов с локальным узлом хранилище буфера пакетов располагается на отдельном вычислительном узле, поэтому совокупная полоса пропускания буфера пакетов растет линейно с увеличением числа вычислительных узлов. Это преимущество масштабируемости хорошо задокументировано в недавней литературе. Это также связано с потребностью в масштабируемой стратегии управления метаданными для поддержания глобального пространства имен для данных, распределенных по всем пакетным буферам. В архитектуре удаленного общего буфера пакетов хранилище буферов пакетов располагается на меньшем количестве узлов ввода-вывода, расположенных между вычислительными узлами и внутренними системами хранения. Перемещение данных между вычислительными узлами и буфером пакетов должно происходить по сети. Размещение буфера пакетов на узлах ввода-вывода упрощает независимую разработку, развертывание и обслуживание службы буфера пакетов. Следовательно, для управления этим типом пакетного буфера было разработано несколько хорошо известных коммерческих программных продуктов, таких как DataWarp и Infinite Memory Engine. Поскольку будущие суперкомпьютеры будут развертываться с несколькими разнородными уровнями буфера пакетов, такими как NVRAM на вычислительных узлах и твердотельные накопители на выделенных узлах ввода-вывода, растет интерес к разработке и внедрению унифицированного программного решения, которое прозрачно перемещается. данные на нескольких уровнях хранения.
Благодаря своей важности пакетный буфер широко используется на ведущих суперкомпьютерах. Например, локальный для узла буфер пакетов был установлен на суперкомпьютере DASH в суперкомпьютерном центре Сан-Диего, на суперкомпьютерах Tsubame в Tokyo Institute of Technology, Theta и Aurora суперкомпьютеры в Аргоннской национальной лаборатории, суперкомпьютер Summit в Национальной лаборатории Ок-Ридж и суперкомпьютер Sierra в Lawrence Livermore Национальная лаборатория и т. Д. Удаленный общий пакетный буфер был принят суперкомпьютером Tianhe-2 в Национальном суперкомпьютерном центре в Гуанчжоу, суперкомпьютером Trinity в Los Alamos National Лаборатория, суперкомпьютер Cori в Национальной лаборатории Лоуренса Беркли и суперкомпьютер ARCHER2 в Эдинбургском центре параллельных вычислений.
