Кластерная файловая система

редактировать
Децентрализованная файловая система

A Кластерная файловая система - это файловая система который используется совместно, будучи одновременно смонтированным на нескольких серверах. Существует несколько подходов к кластеризации, большинство из которых не используют кластерную файловую систему (только хранилище с прямым подключением для каждого узла). Кластерные файловые системы могут предоставлять такие функции, как адресация, независимая от местоположения, и избыточность, которые повышают надежность или снижают сложность других частей кластера. Параллельные файловые системы - это тип кластерной файловой системы, которая распределяет данные по нескольким узлам хранения, обычно для обеспечения избыточности или производительности.

Содержание
  • 1 Файловая система с общим диском
    • 1.1 Примеры
  • 2 Распределенные файловые системы
    • 2.1 Цели проектирования
    • 2.2 История
    • 2.3 Примеры
  • 3 Сетевое хранилище
  • 4 Рекомендации по проектированию
    • 4.1 Избегание единой точки отказа
    • 4.2 Производительность
    • 4.3 Параллелизм
  • 5 История
  • 6 См. Также
  • 7 Ссылки
  • 8 Дополнительная литература
Файловая система с общим диском

A файловая система с общим диском использует сеть хранения данных (SAN), позволяющая нескольким компьютерам получить прямой доступ к диску на уровне блоков . Контроль доступа и преобразование операций уровня файлов, используемых приложениями, в операции уровня блоков, используемые SAN, должны происходить на клиентском узле. Наиболее распространенный тип кластеризованной файловой системы, файловая система с общим диском - за счет добавления механизмов управления параллелизмом - обеспечивает согласованное и сериализуемое представление файловой системы, избегая повреждений и непреднамеренных потеря данных, даже когда несколько клиентов пытаются получить доступ к одним и тем же файлам одновременно. Файловые системы с общими дисками обычно используют какой-то механизм ограждения для предотвращения повреждения данных в случае сбоев узла, потому что незащищенное устройство может вызвать повреждение данных, если оно теряет связь со своими дочерними узлами и пытается получить доступ к та же информация, к которой обращаются другие узлы.

Базовая сеть хранения данных может использовать любой из множества протоколов уровня блоков, включая SCSI, iSCSI, HyperSCSI, ATA через Ethernet (AoE), Fibre Channel, сетевое блочное устройство и InfiniBand.

Существуют разные архитектурные подходы к файловой системе с общим диском. Некоторые распространяют информацию о файлах по всем серверам в кластере (полностью распределены).

Примеры

Распределенные файловые системы

Распределенные файловые системы не используют общий доступ на уровне блоков к одному и тому же хранилищу, но используют сетевой протокол. Они широко известны как сетевые файловые системы, даже хотя это не единственные файловые системы, которые используют сеть для отправки данных. Распределенные файловые системы могут ограничивать доступ к файловой системе в зависимости от списков доступа или возможностей как на серверах, так и на клиентах, в зависимости от того, как разработан протокол.

Разница между распределенной файловой системой и распределенным хранилищем данных заключается в том, что распределенная файловая система позволяет доступ к файлам с использованием тех же интерфейсов и семантики, что и локальные файлы - например, монтирование / размонтирование, перечисление каталогов, чтение / запись на границах байтов, собственная модель разрешений системы. Распределенные хранилища данных, напротив, требуют использования другого API или библиотеки и имеют другую семантику (чаще всего семантику базы данных).

Цели проектирования

Распределенные файловые системы могут стремиться к «прозрачности» по ряду аспектов. То есть они стремятся быть «невидимыми» для клиентских программ, которые «видят» систему, аналогичную локальной файловой системе. За кулисами распределенная файловая система обрабатывает поиск файлов, перенос данных и, возможно, предоставляет другие функции, перечисленные ниже.

  • Прозрачность доступа: клиенты не знают, что файлы распространяются, и могут обращаться к ним так же, как и к локальным файлам.
  • Прозрачность местоположения: существует согласованное пространство имен, охватывающее как локальные, так и удаленные файлы. Имя файла не указывает его местоположение.
  • Прозрачность параллелизма: все клиенты имеют одинаковое представление о состоянии файловой системы. Это означает, что если один процесс изменяет файл, любые другие процессы в той же системе или удаленных системах, которые обращаются к файлам, будут видеть изменения согласованным образом.
  • Прозрачность при сбое: клиентская и клиентская программы должны корректно работать после сбоя сервера.
  • Неоднородность: файловая служба должна предоставляться на разном оборудовании и платформах операционных систем.
  • Масштабируемость: файловая система должна хорошо работать в небольших средах (1 машина, десятки машин), а также плавное масштабирование до более крупных (от сотен до десятков тысяч систем).
  • Прозрачность репликации: клиенты не должны знать о репликации файлов, выполняемой на нескольких серверах, для обеспечения масштабируемости.
  • Прозрачность миграции: файлы должны иметь возможность перемещаться между разными серверами без ведома клиента.

История

Несовместимая система разделения времени использовала виртуальные устройства для прозрачной межмашинной файловой системы в соответствии с эсс в 1960-е гг. В 1970-х годах было разработано больше файловых серверов. В 1976 году Digital Equipment Corporation создала File Access Listener (FAL), реализацию как часть DECnet Phase II, который стал первым широко используемым сетевым файлом. система. В 1985 году Sun Microsystems создала файловую систему под названием «Сетевая файловая система » (NFS), которая стала первой широко используемой сетевой файловой системой на основе Интернет-протокола. Другие известные сетевые файловые системы: Andrew File System (AFS), Apple Filing Protocol (AFP), NetWare Core Protocol (NCP) и Server. Блок сообщений (SMB), также известный как Common Internet File System (CIFS).

В 1986 году IBM объявила о поддержке клиентом и сервером архитектуры распределенного управления данными (DDM) для System / 36, System / 38, и мэйнфреймы IBM, на которых работает CICS. За этим последовала поддержка IBM Personal Computer, AS / 400, мэйнфреймов IBM под операционными системами MVS и VSE, и FlexOS. DDM также стал основой для архитектуры распределенных реляционных баз данных, также известной как DRDA.

Существует множество одноранговых сетевых протоколов для распределенных файловых систем с открытым исходным кодом для облачных или кластерных файловых систем с закрытым исходным кодом, е. g.: 9P, AFS, Coda, CIFS / SMB, DCE / DFS, WekaFS, Lustre, PanFS, Google File System, Mnet, Chord Project.

Примеры

Сетевое хранилище

Сетевое хранилище e (NAS) обеспечивает как хранилище, так и файловую систему, например файловую систему на общем диске поверх сети хранения данных (SAN). NAS обычно использует протоколы на основе файлов (в отличие от протоколов на основе блоков, которые использует SAN), такие как NFS (популярно в системах UNIX ), SMB / CIFS (Сервер Блок сообщений / общая файловая система Интернета ) (используется с системами MS Windows), AFP (используется с компьютерами Apple Macintosh ) или NCP (используется с OES и Novell NetWare ).

Рекомендации по проектированию

Как избежать единой точки отказа

Отказ дискового оборудования или конкретного узла хранения в кластере может создать единую точку отказа, что может привести к потере данных или недоступности. Отказоустойчивость и высокая доступность могут быть обеспечены посредством репликации данных того или иного типа, так что данные остаются нетронутыми и доступными, несмотря на отказ любого отдельного элемента оборудования. Примеры см. В списках распределенных отказоустойчивых файловых систем и распределенных параллельных отказоустойчивых файловых систем.

Производительность

Обычная производительность измерение кластерной файловой системы - это время, необходимое для удовлетворения запросов на обслуживание. В обычных системах это время состоит из времени доступа к диску и небольшого количества времени обработки CPU. Но в кластерной файловой системе удаленный доступ имеет дополнительные накладные расходы из-за распределенной структуры. Это включает время доставки запроса на сервер, время доставки ответа клиенту и для каждого направления накладные расходы ЦП при выполнении протокола связи программного обеспечения.

Параллелизм

Контроль параллелизма становится проблемой, когда несколько человек или клиентов обращаются к одному и тому же файлу или блоку и хотят его обновить. Следовательно, обновления файла от одного клиента не должны мешать доступу и обновлениям от других клиентов. Эта проблема более сложна с файловыми системами из-за одновременной записи с перекрытием, когда разные писатели одновременно записывают в перекрывающиеся области файла. Эта проблема обычно решается с помощью управления параллелизмом или блокировки, которые могут быть встроены в файловую систему или обеспечены дополнительным протоколом.

История

Мэйнфреймы IBM в 1970-х годах могли совместно использовать физические диски и файловые системы, если каждая машина имела собственное соединение канала с блоками управления накопителями. В 1980-е годы кластеры TOPS-20 и OpenVMS (VAX / ALPHA / IA64) корпорации Digital Equipment Corporation включали файловые системы с общими дисками.

См. Также
Ссылки
Дополнительная литература
Последняя правка сделана 2021-05-15 12:31:59
Содержание доступно по лицензии CC BY-SA 3.0 (если не указано иное).
Обратная связь: support@alphapedia.ru
Соглашение
О проекте