Войти
 Логотип | |
| Разработчик (и) | Секторный альянс |
|---|---|
| Стабильный выпуск | 2.8 / 8 октября 2012 г. (2012-10-08) |
| Написано на | C ++ |
| Операционная система | Linux / Windows |
| Тип | Распределенная файловая система |
| Лицензия | Apache License 2.0 |
| Веб-сайт | сектор.sourceforge.net |
Sector / Sphere - это программное обеспечение с открытым исходным кодом набор для высокопроизводительного распределенного хранилища данных и pro прекращение. В целом ее можно сравнить с технологиями Google GFS и MapReduce. Сектор - это распределенная файловая система, ориентированная на хранение данных на большом количестве обычных компьютеров. Sphere - это программная архитектура архитектуры, которая поддерживает параллельную обработку данных в хранилище для данных, хранящихся в Sector. Сектор / Сфера работает в настройке глобальной сети (WAN).
Система была создана Юнхонг Гу (автором протокола передачи данных на основе UDP ) в 2006 году, а затем обслуживалась группой других разработчиков.
Сектор / Сфера состоит из четырех компонентов. Сервер безопасности поддерживает политики безопасности системы, такие как учетные записи пользователей и список управления доступом IP. Один или несколько главных серверов управляют операциями всей системы в дополнение к ответам на различные запросы пользователей. Подчиненные узлы хранят файлы данных и обрабатывают их по запросу. Клиенты - это компьютеры пользователей, с которых отправляются запросы на доступ к системе и обработку данных. Кроме того, Sector / Sphere написан на C ++ и, как утверждается, обеспечивает с его архитектурой в два-четыре раза более высокую производительность, чем у конкурента Hadoop, который написан на Java <66.>, утверждение, подтвержденное тестом Aster Data Systems и победой в «испытании полосы пропускания» на Supercomputing Conference 2006, 2008 и 2009 гг.
Архитектура сектора / сферы с ее четырьмя компонентами. Сектор - это файловая система пользовательского пространства, которая полагается на локальную / собственную файловую систему каждого узла для хранения загруженных файлов. Sector обеспечивает отказоустойчивость на уровне файловой системы за счет репликации, поэтому не требует отказоустойчивости оборудования, такого как RAID, что обычно очень дорого.
Сектор не разбивает пользовательские файлы на блоки; вместо этого пользовательский файл сохраняется в неизменном виде в локальной файловой системе одного или нескольких подчиненных узлов. Это означает, что у Sector есть ограничение на размер файла, зависящее от приложения. Однако преимущества заключаются в том, что файловая система Sector очень проста и приводит к повышению производительности при параллельной обработке данных Sphere из-за уменьшения передачи данных между узлами. Это также позволяет доступ к загруженным данным извне системы сектора.
Sector предоставляет множество уникальных функций по сравнению с традиционными файловыми системами. Сектор знает топологию. Пользователи могут определять правила размещения и репликации файлов в системе в соответствии с топологией сети. Например, данные определенного пользователя могут находиться в определенном кластере и не будут реплицироваться на другие стойки. Другой пример: у одних файлов может быть больше реплик, чем у других. Такие правила могут применяться на уровне каждого файла.
Осведомленность о топологии и использование UDT в качестве протокола передачи данных позволяет Sector поддерживать высокопроизводительный ввод-вывод данных в географически распределенных местах, в то время как большинство файловых систем можно развернуть только в локальной сети. По этой причине Sector часто развертывается как сеть распространения контента для очень больших наборов данных.
Сектор объединяет хранение и обработку данных в одной системе. Каждый узел хранения также может использоваться для обработки данных, таким образом, он может поддерживать массивную параллельную обработку данных в хранилище (см. Sphere). Sector поддерживает приложения, что означает, что он может предоставлять приложениям информацию о местоположении данных, а также позволяет приложениям указывать местоположение данных, когда это необходимо.
В качестве простого примера преимуществ Sphere, Sector может возвращать результаты таких команд, как «grep» и «md5sum», не считывая данные из файловой системы. Более того, он может вычислять результаты для нескольких файлов параллельно.
Клиент сектора предоставляет API для разработки приложений, который позволяет пользовательским приложениям напрямую взаимодействовать с сектором. Программное обеспечение также поставляется с набором инструментов командной строки для доступа к файловой системе. Наконец, Sector поддерживает интерфейс FUSE ; представляя монтируемую файловую систему, доступную через стандартные инструменты командной строки.
Sphere - это механизм параллельной обработки данных, интегрированный в Sector, и его можно использовать для параллельной обработки данных, хранящихся в Sector. Его можно в целом сравнить с MapReduce, но в нем используются общие пользовательские функции (UDF) вместо функций map и reduce. UDF может быть функцией карты, функцией сокращения или даже другими. Sphere может управлять расположением как входных, так и выходных данных, таким образом, он может эффективно поддерживать несколько наборов входных данных, комбинативные и итерационные операции и даже исполняемый файл устаревшего приложения.
Поскольку Sector не разделяет пользовательские файлы, Sphere может просто обернуть многие существующие приложения, которые принимают файлы или каталоги в качестве входных данных, без их перезаписи. Таким образом, он может обеспечить лучшую совместимость с устаревшими приложениями.
Портал бесплатного программного обеспечения с открытым исходным кодом 