Amazon S3

редактировать
Облачное хранилище, предлагаемое Amazon Web Services (AWS)
Amazon S3
Тип сайтаОблачное хранилище
Доступно наанглийском языке
ВладелецAmazon.com
URLaws.amazon.com / s3 /
Поддержка IPv6 Да
КоммерческаяДа
РегистрацияТребуется (включена в бесплатный уровень)
Запущен14 марта 2006 г. ; 14 лет назад (14 марта 2006 г.)
Текущий статусАктивный

Amazon S3 или Amazon Simple Storage Service - услуга, предлагаемая Amazon Веб-службы (AWS), которые предоставляют хранилище объектов через интерфейс веб-службы. Amazon S3 использует ту же масштабируемую инфраструктуру хранения, которую Amazon.com использует для работы своей глобальной сети электронной коммерции. Amazon S3 может использоваться для хранения объектов любого типа, что позволяет использовать их, например, хранилище для интернет-приложений, резервное копирование и восстановление, аварийное восстановление, архивы данных, озера данных для аналитики и гибридное облачное хранилище. AWS запустила Amazon S3 в США 14 марта 2006 г., а затем в Европе в ноябре 2007 г.

Содержание

  • 1 Дизайн
    • 1.1 Хостинг веб-сайтов
    • 1.2 Журналы Amazon S3
    • 1.3 Инструменты Amazon S3
  • 2 класса хранилища Amazon S3
  • 3 Известные пользователи
  • 4 API S3 и конкурирующие сервисы
  • 5 История
  • 6 См. Также
  • 7 Ссылки
    • 7.1 Цитирования
    • 7.2 Источники

Дизайн

Хотя Amazon Web Services (AWS) не предоставляет публично подробные сведения о техническом проектировании S3, Amazon S3 управляет данными с помощью архитектуры объектного хранилища, которая направлена ​​на обеспечение масштабируемости, высокая доступность и низкая задержка с надежностью 99,999999999% и доступностью от 99,95% до 99,99% (хотя нет соглашения об уровне обслуживания для

Основные единицы хранения Amazon S3 - это объекты, которые организованы в корзины. Каждый объект идентифицируется уникальным, назначаемым пользователем ключом. Сегментами можно управлять с помощью консоли Amazon S3, программно с помощью AWS SDK или с помощью интерфейса прикладного программирования (API) Amazon S3 REST. Объектами можно управлять с помощью AWS SDK или Amazon S3 REST API, и они могут иметь размер до пяти терабайт с двумя килобайтами из метаданных. Кроме того, объекты можно загружать с помощью интерфейса HTTP GET и протокола BitTorrent.

Запросы авторизуются с помощью списка управления доступом, связанного с каждым сегментом объекта, и поддерживают управление версиями, которое по умолчанию отключено. Поскольку сегменты обычно имеют размер монтируемой файловой системы в других системах, эта схема управления доступом является очень грубой. Другими словами, уникальные элементы управления доступом не могут быть связаны с отдельными файлами. Имена сегментов и ключи выбираются таким образом, чтобы к объектам можно было обращаться с использованием URL-адресов HTTP :

  • http://s3.amazonaws.com/bucket/key(для сегмента, созданного на Востоке США (Северная Вирджиния) регион)
  • https://s3.amazonaws.com/bucket/key
  • http://s3-region.amazonaws.com/bucket/key
  • https://s3-region.amazonaws.com /bucket/key
  • http://s3.region.amazonaws.com/bucket/key
  • https://s3.region.amazonaws.com/bucket/key
  • http://s3.dualstack.region.amazonaws.com / bucket / key(для запросов с использованием IPv4 или IPv6)
  • https://s3.dualstack.region.amazonaws.com/bucket/key
  • http: // bucket. s3.amazonaws.com/key
  • http://bucket.s3-region.amazonaws.com/key
  • http://bucket.s3.region.amazonaws.com/key
  • http:// bucket.s3.dualstack.region.amazonaws.com/key(для запросов с использованием IPv4 или IPv6)
  • http://bucket.s3-website-region.amazonaws.com/key(если статический хостинг веб-сайтов включен в корзине)
  • http://bucket.s3-website.region.amazonaws.com/key(если статический хостинг веб-сайтов включен в bu cket)
  • http://bucket.s3-accelerated.amazonaws.com/key(где передача файлов выходит из сети Amazons в последний возможный момент, чтобы обеспечить максимально быструю скорость передачи и наименьшую задержку)
  • http://bucket.s3-accelerated.dualstack.amazonaws.com/key
  • http: // bucket / key(где bucket - это DNS запись CNAME, указывающий на bucket.s3.amazonaws.com)

Amazon S3 можно использовать для замены значительной существующей (статической) инфраструктуры веб-хостинга объектами, доступными для клиентов HTTP. Механизм аутентификации Amazon AWS позволяет владельцу корзины создать аутентифицированный URL-адрес, действительный в течение определенного периода времени.

Каждый элемент в корзине также может быть использован как поток BitTorrent. Хранилище Amazon S3 может выступать в качестве исходного хоста для торрента, и любой клиент BitTorrent может получить файл. Это может значительно снизить стоимость полосы пропускания для загрузки популярных объектов. Хотя использование BitTorrent действительно снижает пропускную способность, AWS не обеспечивает собственного ограничения пропускной способности, и поэтому пользователи не имеют доступа к автоматическому контролю затрат. Это может привести к тому, что пользователи бесплатного уровня Amazon S3 или мелкие хобби будут накапливать огромные счета. Представители AWS заявили, что функция ограничения пропускной способности присутствовала в таблице проектирования с 2006 по 2010 год, но в 2011 году эта функция больше не находится в разработке.

Корзина может быть настроена для сохранения информации журнала HTTP в соседнюю корзину ; это можно использовать в операциях интеллектуального анализа данных.

Существуют различные файловые системы на основе файловой системы пользовательского режима (FUSE) для Unix-подобных операционных систем (Linux, и т. д.), которые можно использовать для монтирования корзины S3 в качестве файловой системы, такой как S3QL. Семантика файловой системы Amazon S3 отличается от семантики файловой системы POSIX, поэтому файловая система может вести себя не совсем так, как ожидалось.

Хостинг веб-сайтов

Amazon S3 предоставляет возможность размещать статические веб-сайты HTML с поддержкой индексных документов и ошибок. Веб-сайты, размещенные на S3, могут назначать страницу по умолчанию для отображения и другую страницу для отображения в случае частично недопустимого URL-адреса, такого как ошибка 404, которые предоставляют полезный контент посетителям URL-адреса, содержащего Запись CNAME имя хоста, а не прямая ссылка на корзину Amazon S3, когда URL-адрес не содержит действительного ключа объекта S3, например, когда случайный пользователь первоначально посещает URL-адрес, который является пустым именем хоста, отличным от Amazon.

Журналы Amazon S3

Amazon S3 позволяет пользователям включать и отключать ведение журнала. Если этот параметр включен, журналы хранятся в корзинах Amazon S3, которые затем можно анализировать. Эти журналы содержат полезную информацию, такую ​​как:

Журналы можно анализировать и управлять ими с помощью сторонних инструментов, таких как S3Stat, Cloudlytics, Qloudstat, AWStats и Splunk.

Инструменты Amazon S3

Amazon S3 предоставляет API для разработчиков. Консоль AWS предоставляет инструменты для управления файлами и их загрузки, но она не способна управлять большими корзинами или редактировать файлы. Сторонние веб-сайты, такие как S3edit.com, или программное обеспечение, такое как Cloudberry Explorer, ForkLift и WebDrive, могут редактировать файлы в Amazon S3..

Классы хранилищ Amazon S3

Amazon S3 предлагает четыре разных класса хранилищ, которые предлагают разные уровни надежности, доступности и требований к производительности.

  • Amazon S3 Standard - это класс по умолчанию.
  • Amazon S3 Standard Infrequent Access (IA) разработан для менее часто используемых данных. Типичными вариантами использования являются решения для резервного копирования и аварийного восстановления.
  • Amazon S3 One Zone-Infrequent Access предназначен для данных, которые не часто нужны, но при необходимости требуют быстрого доступа. Данные хранятся в одной зоне, и если эта зона будет уничтожена, все данные будут потеряны.
  • Amazon Glacier предназначен для длительного хранения данных, к которым редко обращаются и где допустима задержка извлечения в несколько минут или часов. Альтернатива "Glacier Deep Archive" - ​​не менее 12 часов, но цена составляет 1/4. Он задуман как альтернатива библиотекам магнитных лент и рассчитан на долгосрочное хранение данных от 7 до 10 лет.

Известные пользователи

  • Служба хостинга фотографий SmugMug использует Amazon S3 с апреля 2006. Они испытали ряд начальных сбоев и замедлений, но через год они описали его как «значительно более надежное, чем наше собственное внутреннее хранилище» и заявили, что сэкономили почти 1 миллион долларов на затратах на хранение.
  • Netflix использует Amazon S3 как свою систему записи. Netflix внедрил инструмент S3mper для устранения ограничений Amazon S3, связанных с конечной согласованностью. S3mper хранит метаданные файловой системы: имена файлов, структуру каталогов и разрешения в Amazon DynamoDB.
  • reddit размещен на Amazon S3.
  • Bitcasa и Tahoe-LAFS -on-S3, среди прочего, используют Amazon S3 для онлайн-сервисов резервного копирования и синхронизации. В 2016 году Dropbox прекратил использовать сервисы Amazon S3 и разработал собственный облачный сервер.
  • Mojang размещает Minecraft обновления игр и скины игроков на Amazon S3.
  • Tumblr, Formspring и Pinterest размещают изображения на Amazon S3.
  • Генеральный директор Swiftype упомянул, что компания использует Amazon S3.
  • Amazon S3 использовался на некоторых предприятиях в качестве решения для долгосрочного архивирования, пока Amazon Glacier не был выпущен в августе 2012 года.
  • API стал популярным методом хранения объектов. В результате было создано множество приложений для встроенной поддержки Amazon S3 API, который включает приложения, которые записывают данные в Amazon S3 и хранилища объектов, совместимые с Amazon S3:
ТипНазвание компанииПродукт
Client BackupHaystack Software LLCArq backup
Client BackupCloudBerry Lab CloudBerry Backup
Client Backupс открытым исходным кодом Duplicati
Client BackupNovosoft LLC
File BrowserBinarynightsForkLift
File Browserodriveodrive
MySQL Резервное копированиеOracle MySQL Enterprise Backup
Oracle Database Резервное копированиеOracleOracle Secure Backup Cloud Manager
Резервное копирование сервераActifio Actifio
Резервное копирование сервераAtempo Цифровой архив (ADA)
Резервное копирование сервераCommvault Commvault
Резервное копирование сервераVeritas NetBackup
Резервное копирование сервераAsigra Резервное копирование облака Asigra
Резервное копирование сервераРубрик Рубрик
Облачное хранилищеБыло abiWasabi Hot Storage
Шлюз облачного хранилищаCTERA Networks Серия C00
Шлюз облачного хранилищаAvereСерия FXT
Cloud Storage GatewayEMC CloudArray
Cloud Storage GatewayMicrosoft StorSimple
Cloud Storage GatewayNasuni NF Series
Cloud Storage GatewayNetApp Altavault
Cloud Storage GatewayPanzuraGlobal File System
Sync ShareStorage Made EasySME
Гибридное хранилищеCloudian Cloudian HyperStore
Гибридное хранилищеФайловая система Seaweed
Гибридное хранилищеNooBaa NooBaa Storage
Гибридное хранилищеWestern DigitalActiveScale
Гибридное хранилищеSwiftStackSwiftStack 1space
Локальное хранилищеMinIO MinIO
Локальное хранилищеOpenIO OpenIO SDS
локальное хранилищеPure Storage FlashBlade
Sync, Mount, Cache, EncryptПроект RcloneRclon e
Локальное хранилищеScality RING Storage
Open SourceZenko.io Open Source S3 Server

S3 API и конкурирующие сервисы

широкое распространение Amazon S3 и связанных инструментов привело к появлению конкурирующих сервисов на основе S3 API. Эти сервисы используют стандартный интерфейс программирования; однако они различаются базовыми технологиями и поддерживающими бизнес-моделями. Стандарт облачного хранилища (например, электрические и сетевые стандарты) позволяет конкурирующим поставщикам услуг разрабатывать свои услуги и клиентов, используя разные части по-разному, но при этом общаться и обеспечивать следующие преимущества:

  1. Повышение конкуренции за счет предоставления набора правил и равные условия игры, поощряя выход на рынок более мелких компаний, что в противном случае могло бы быть предотвращено.
  2. Поощрять инновации со стороны поставщиков облачных хранилищ и инструментов, а также разработчиков, поскольку они могут вместо этого сосредоточиться на улучшении своих продуктов и услуг сосредоточения внимания на совместимости.
  3. Разрешить экономию на масштабе в реализации (т. е., если поставщик услуг сталкивается с отключением или когда клиенты перерастают свои инструменты и нуждаются в более быстрых операционных системах или инструментах, они могут легко заменять решения).
  4. Предоставлять своевременные решения для предоставления функциональности в ответ на требования рынка (т. е. по мере того, как рост бизнеса в новых местах увеличивает спрос, клиенты могут легко изменить e или добавьте поставщиков услуг, просто подписавшись на новую услугу).

Примеры конкурирующих реализаций хранения, совместимых с Amazon S3:

История

На AWS Summit 2013 в Нью-Йорке, технический директор Вернер Фогельс объявляет о 2 триллионах объектов, хранящихся в S3.

Amazon Web Services представила Amazon S3 в 2006 году.

Согласно отчетам, Amazon S3 хранит более 2 триллионов объектов по состоянию на апрель 2013 года. Это больше, чем 10 миллиардов. объектов на октябрь В 2007 г. 14 млрд объектов в январе 2008 г., 29 млрд объектов в октябре 2008 г., 52 млрд объектов в марте 2009 г., 64 млрд объектов в августе 2009 г. и 102 млрд объектов в марте 2010 г. В ноябре 2017 г. AWS добавила возможности шифрования по умолчанию на уровне сегментов.

См. Также

Ссылки

Цитаты

Источники

Последняя правка сделана 2021-06-10 16:31:22
Содержание доступно по лицензии CC BY-SA 3.0 (если не указано иное).
Обратная связь: support@alphapedia.ru
Соглашение
О проекте