Сравнение распределенных файловых систем

В вычислениях распределенная файловая система (DFS) или сетевая файловая система - любая файловая система, которая позволяет получить доступ к файлам с нескольких хостов совместного использования через компьютерную сеть. Это позволяет нескольким пользователям на нескольких машинах совместно использовать файлы и ресурсы хранения.

Распределенные файловые системы различаются своей производительностью, изменчивостью содержимого, обработкой одновременных операций записи, обработкой постоянной или временной потери узлов или хранилища и своей политикой хранения содержимого.

• 1 Локально управляемое
  • 1.1 FOSS
  • 1.2 Собственное
• 2 Удаленный доступ
• 3 Сравнение
• 4 См. Также
• 5 Ссылки

FOSS

Клиент	Написано на	Лицензия	Access API	Высокая доступность	Shards	Эффективная избыточность	Гранулярность избыточности	Год первого выпуска	Требования к памяти (ГБ)
Alluxio (виртуальная распределенная файловая система)	Java	Лицензия Apache 2.0	HDFS, FUSE, HTTP / REST, S3	горячее резервирование	Нет	Репликация	Файл	2013
Ceph	C ++	LGPL	librados (C, C ++, Python, Ruby), S3, Swift, FUSE	Да	Да	Подключаемые коды стирания	Пул	2010	1 на ТБ хранилища
Coda	C	GPL	C	Да	Да	Репликация	Volume	1987
GlusterFS	C	GPLv3	libglusterfs, FUSE, NFS, SMB, Swift, libgfapi	Да	Да	Reed-Solomon	Volume	2005
MooseFS	C	GPLv2	POSIX, FUSE	master	Нет	Репликация	Файл	2008
Файловая система Quantcast	C	Лицензия Apache 2.0	клиент C ++, FUSE (сервер C ++: MetaServer и ChunkServer оба на C ++)	master	Нет	Reed -Solomon	Файл	2012
IPFS	Go	Apache 2.0 или MIT	HTTP-шлюз, FUSE, Go client, Javascript client, инструмент командной строки	Да	с IPFS Cluster	Replication	Блок	2015
Kertish-DFS	Go	GPLv3	HTTP (REST), CLI, C # Client, Go Client	Да		Репликация		2020
LizardFS	C ++	GPLv3	POSIX, FUSE, NFS-Ganesha, Ceph FSAL (через libcephfs)	master	Нет	Reed-Solomon	File	2013
Lustre	C	GPLv2	POSIX, NFS-Ganesha, NFS, SMB	Да	Да	Без избыточности	Без избыточности	2003
MinIO	Go	Лицензия Apache 2.0	AWS S3 API	Да	Да	Рид-Соломон	Объект	2014
OpenAFS	C	Общественная лицензия IBM	Виртуальная файловая система, Устанавливаемая файловая система			Репликация	Volume	2000
OpenIO	C	AGPLv3 / LGPLv3	Native (Python, C, Java ), HTTP / REST, S3, Swift, FUSE (POSIX, NFS, SMB, FTP )	Да		Подключаемые коды стирания	Объект	2015	0,5
RozoFS	C, Python	GPLv2	FUSE, SMB, NFS, ключ / значение	Да		Mojette	Том	2011
SeaweedFS	Go, Java	Apache License 2.0	HTTP (REST ), POSIX, FUSE, S3, HDFS	требует CockroachDB, недокументированная конфигурация		Reed-Solomon	Volume	2015
Tahoe-LAFS	Python	GNU GPL	HTTP (браузер или CLI ), SFTP, FTP, FUSE через SSHFS, pyfilesystem			Reed-Solomon	Файл	2007
HDFS	Java	Лицензия Apache 2.0	Клиент Java и C, HTTP, FUSE	прозрачный мастер аварийного переключения	Нет	Reed-Solomon	File	2005
XtreemFS	Java, C ++	Лицензия BSD	libxtreemfs (Java, C ++), FUSE			Replication	File	2009
Ori	C, C ++	MIT	libori, FUSE			Replication	Filesystem	2012

Собственный

клиент	Написано на	Лицензия	Access API
BeeGFS	C / C ++	FRAUNHOFER FS (FhGFS) EULA, клиент GPLv2	POSIX
ObjectiveFS	C	Собственный	POSIX, FUSE
Spectrum Scale (GPFS)	C, C ++	Собственный	POSIX, NFS, SMB, Swift, S3, HDFS
MapR-FS	C, C ++	Собственный	POSIX, NFS, FUSE, S3
PanFS	C, C ++	Собственный	DirectFlow, POSIX, NFS, SMB / CIFS, HTTP, CLI
	C ++	Собственный (с открытым исходным кодом)	FUSE, Устанавливаемая файловая система, NFS / SMB, POSIX, CLI, SDK (libinfinit)
Isilon OneFS	C / C ++	Собственный	POSIX, NFS, SMB / CIFS, HDFS, HTTP, FTP, объект SWIFT, CLI, Rest API
Scality	C	Собственный	FUSE, NFS, REST, AWS S3
Quobyte	Java, C ++	Собственный	POSIX, FUSE, NFS, SMB / CIFS, HDFS, AWS S3, плагин TensorFlow, CLI, Rest API

Удаленный доступ

Имя	Выполняется	Access API
Amazon S3	Am azon.com	HTTP (REST / SOAP )
Google Cloud Storage	Google	HTTP (REST )
SWIFT ( часть OpenStack )	Rackspace, Hewlett-Packard, другие	HTTP (REST )
Microsoft Azure	Microsoft	HTTP (REST )
IBM Cloud Object Storage	IBM (ранее Cleversafe )	HTTP (REST )

Сравнение

Некоторые исследователи провели функциональный и экспериментальный анализ нескольких распределенных файловых систем, включая HDFS, Ceph, Gluster, Lustre и старую (1.6.x) версию MooseFS, хотя этот документ выпущен в 2013 году, и большая часть информации устарела (например, В то время у MooseFS не было HA для сервера метаданных).

Облачное удаленное распределенное хранилище от основных поставщиков имеет разные API и разные модели согласованности.

См. Также

• Распределенная файловая система
• Список файловых систем, раздел распределенных файловых систем

Ссылки

1. ^«Кэширование: управление репликацией данных в Alluxio».
2. ^«Кэширование: управление репликацией данных в Alluxio».
3. ^«Профили кода стирания».
4. ^«Бассейны».
5. ^Сатьянараянан, Махадев; Кистлер, Джеймс Дж.; Кумар, Пунит; Окасаки, Мария Э.; Siegel, Ellen H.; Стир, Дэвид К. «Coda: высокодоступная файловая система для среды распределенной рабочей станции» (PDF). Cite journal требует | journal =()
6. ^«Реализация кодирования стирания».
7. ^«Настройка томов GlusterFS».
8. ^Доступно только в проприетарной версии 4.x «[функция] кодирование стирания # 8«.
9. ^»mfsgoal ( 1) «.
10. ^« Файловая система Quantcast » (PDF).
11. ^« qfs / src / cc / tools / cptoqfs_main.cc ».
12. ^План кодирования Erasure: « Reed -Слой Соломона через IPFS # 196 "., " Уровень кодирования стирания # 6 ".
13. ^" Команды интерфейса командной строки: ipfs bitwap wantlist ".
14. ^" Почему Интернету нужна IPFS, пока не стало слишком поздно ".
15. ^" Настройка режимов репликации ".
16. ^" Настройка режимов репликации: установка и отображение цели файла / каталога ".
17. ^" Руководство по эксплуатации Lustre: что такое файловая система Lustre (и чем она не является) ".Рид-Соломон в progress: «LU-10911 FLR2: Erasure coding».
18. ^«Руководство по эксплуатации Lustre: что такое файловая система Lustre (и чем она не является)».Резервирование на уровне файлов plan: «Архитектура решения для резервирования на уровне файлов».
19. ^«Краткое руководство по коду стирания MinIO».
20. ^«Краткое руководство по классу хранения MinIO».
21. ^«Репликация томов (создание томов только для чтения)».
22. ^https://www.openafs.org/release/openafs-1.0.html
23. ^«Документация OpenIO SDS». docs.openio.io.
24. ^«Erasure Coding».
25. ^«Объявить политики хранения».
26. ^«О RozoFS: Mojette Transform».
27. ^«Настройка RozoFS: Exportd Configuration File».
28. ^«Начальная фиксация».
29. ^«Erasure Coding для теплого хранения».
30. ^«Replication».
31. ^«About Tahoe-LAFS».
32. ^«zfec - быстрая реализация C-кода стирания Рида-Соломона».
33. ^«Tahoe-LAFS Архитектура: Кодирование файлов ".
34. ^" MountableHDFS ".
35. ^" HDFS-7285 Поддержка кодирования стирания внутри HDFS ".
36. ^" Apache Hadoop: setrep ".
37. ^" Под капотом: Репликация файлов ".
38. ^" Краткое руководство: Репликация файла «.
39. ^« Ори: безопасная распределенная файловая система ».
40. ^Маштизаде, Али Хосе; Биттау, Андреа; Хуанг, Ифэн Франк; Мазьер, Давид. «Репликация, история и пересадка в файловой системе Ori» (PDF). Для цитирования журнала требуется | journal =()
41. ^«FRAUNHOFER FS ( FhGFS) ЛИЦЕНЗИОННОЕ СОГЛАШЕНИЕ С КОНЕЧНЫМ ПОЛЬЗОВАТЕЛЕМ ". Общество Фраунгофера. 22.02.2012.
42. ^" Официальный сайт ObjectiveFS ".
43. ^" Платформа хранения Infinit ".
44. ^" Открытый исходный код Infinit Проекты ".
45. ^" IBM планирует приобрести Cleversafe для хранения объектов в облаке ". Www-03.ibm.com. 2015-10-05. Проверено 06.05.2019.
46. ^Сеген, Сирил; Депардон, Бенджамин; Ле Махек, Гаэль. «Анализ шести распределенных файловых систем» (PDF). HAL.
47. ^«Модели согласованности данных в публичных облачных хранилищах: Amazon S3, Google Cloud Storage и Windows Azure Хранилище ". SysTutorials. Получено 19 июня 2017 г.