Войти
Иерархическое управление хранилищем (HSM ) - это метод хранения данных, который автоматически перемещает данные между дорогими и дешевыми носителями данных. Системы HSM существуют потому, что высокоскоростные устройства хранения, такие как массивы твердотельных накопителей , дороже (на байт хранимых данных), чем более медленные устройства, такие как жесткие диски, оптические диски и магнитные ленточные накопители. Хотя было бы идеально иметь все данные в постоянном доступе на высокоскоростных устройствах, для многих организаций это непомерно дорого. Вместо этого системы HSM хранят большую часть данных предприятия на более медленных устройствах, а затем при необходимости копируют данные на более быстрые диски. Фактически, HSM превращает быстрые диски в кеши для более медленных запоминающих устройств. Система HSM отслеживает способ использования данных и делает лучшие предположения о том, какие данные можно безопасно переместить на более медленные устройства, а какие данные следует оставить на быстрых устройствах.
HSM также можно использовать там, где для долгосрочного архивирования доступно более надежное хранилище, но это медленный доступ. Это может быть так же просто, как резервное копирование за пределами площадки для защиты от пожара в здании.
HSM - это давно устоявшаяся концепция, восходящая к истокам коммерческой обработки данных. Однако используемые методы значительно изменились по мере появления новых технологий как для хранения, так и для передачи больших наборов данных на большие расстояния. Масштаб таких показателей, как «размер» и «время доступа» сильно изменился. Несмотря на это, многие из основных концепций продолжают пользоваться популярностью спустя годы, хотя и в гораздо больших или более быстрых масштабах.
В типичном сценарии HSM часто используемые файлы данных хранятся на дисковых накопителях, но в конечном итоге переносятся на ленту, если они не используются в течение определенного периода времени, обычно несколько месяцев. Если пользователь повторно использует файл, который находится на ленте, он автоматически перемещается обратно в дисковое хранилище. Преимущество состоит в том, что общий объем хранимых данных может быть намного больше, чем емкость доступного дискового хранилища, но поскольку на ленте находятся только редко используемые файлы, большинство пользователей обычно не замечают замедления.
HSM иногда называют многоуровневым хранилищем.
HSM (первоначально DFHSM, теперь DFSMShsm) впервые был реализован IBM на их мэйнфреймах для снизить стоимость хранения данных и упростить получение данных с более медленных носителей. Пользователю не нужно знать, где хранятся данные и как их вернуть; компьютер извлечет данные автоматически. Единственная разница для пользователя заключалась в скорости возврата данных.
Австралийское подразделение компьютерных исследований CSIRO внедрило HSM в свою операционную систему DAD (барабаны и дисплей) с областью документа в 1960-х годах, при этом копии документов записывались на 7-дорожечную ленту и автоматически извлекались при доступе к документы.
HSM в форме IBM 3850 Mass Storage Facility был (по данным IBM) анонсирован в 1974 году.
Позже IBM перенесла HSM в свою операционную систему AIX, а затем в другие Unix-подобные операционные системы, такие как Solaris, HP-UX и Linux.
HSM, также был реализован на DEC Системы VAX / VMS и системы Alpha / VMS. Дата первого внедрения должна быть легко определена из Руководств по внедрению системы VMS или брошюр с описанием продуктов VMS.
В последнее время разработка дисков Serial ATA (SATA) создала значительный рынок для трехступенчатого HSM: файлы переносятся из высокопроизводительного Fibre Channel сетевые устройства хранения данных на несколько более медленные, но гораздо более дешевые дисковые массивы SATA общим объемом несколько терабайт и более, а затем, в конечном итоге, с дисков SATA на ленту.
Новейшая разработка HSM - это жесткие диски и флэш-память, причем флэш-память более чем в 30 раз быстрее дисков, но диски значительно дешевле.
Концептуально HSM аналогичен cache, который есть в большинстве компьютеров CPU, где небольшие объемы дорогостоящей памяти SRAM работают на очень высоких скоростях. используется для хранения часто используемых данных, но наименее недавно использовавшиеся данные вытесняются в более медленную, но гораздо большую основную память DRAM, когда должны быть загружены новые данные.
На практике HSM обычно выполняется с помощью специального программного обеспечения, такого как IBM Tivoli Storage Manager, Oracle SAM-QFS, Quantum, технология Novell Dynamic Storage Technology (DST) на платформе Open Enterprise Server (OES) Linux, HPE (DMF, ранее SGI Data Migration Facility), StorNext или EMC Legato OTG DiskXtender.
Удаление файлов с более высокого уровня иерархии (например, магнитного диска) после того, как они были перемещены на более низкий уровень (например, оптический носитель) иногда называется очисткой файлов .
HSM часто используется для глубокого архивного хранения данных с целью долгосрочного хранения с низкими затратами. Автоматизированные ленточные роботы могут эффективно хранить большие объемы данных с низким энергопотреблением.
Некоторые программные продукты HSM позволяют пользователю помещать части файлов данных в кэш высокоскоростного диска, а остальные - на ленту. Это используется в приложениях, которые транслируют видео через Интернет - начальная часть видео сразу же доставляется с диска, в то время как робот находит, монтирует и передает остальную часть файла конечному пользователю. Такая система значительно снижает стоимость диска для больших систем предоставления контента.
Ключевым фактором HSM является политика переноса данных, которая контролирует передачу файлов в системе. Точнее, политика определяет, на каком уровне должен храниться файл, чтобы вся система хранения могла быть хорошо организована и имела кратчайшее время ответа на запросы. Существует несколько алгоритмов, реализующих этот процесс, таких как замена наименее недавно использованных (LRU), замена размера-температуры (STP), эвристический порог (STEP) и т. Д. В исследованиях последних лет также появляются некоторые интеллектуальные политики, использующие технологии машинного обучения.
Многоуровневое хранилище - это среда хранения данных, состоящая из двух или более типов хранилищ, различающихся по крайней мере в одном из этих четырех атрибутов: цена, производительность., емкость и функция.
Любое существенное различие в одном или нескольких из четырех определяющих атрибутов может быть достаточным, чтобы оправдать отдельный уровень хранения.
Примеры:
Примечание. Уровни хранилища не разграничиваются различиями в поставщиках, архитектуре или геометрия, за исключением случаев, когда эти различия приводят к явным изменениям цены, производительности, емкости и функций.
