Войти
(Слева) Распределение на одном сервере. (Справа) Схема распространения CDN A Сеть доставки контента, или сеть распространения контента (CDN ), представляет собой географически распределенную сеть из прокси-серверов и их центров обработки данных. Цель состоит в том, чтобы обеспечить высокую доступность и производительность за счет пространственного распределения службы между конечными пользователями. Сети CDN появились в конце 1990-х как средство устранения узких мест в производительности Интернета, даже когда Интернет начинал становиться критически важным средством передачи информации для людей и предприятий. С тех пор сети CDN выросли и сегодня обслуживают большую часть интернет-контента, включая веб-объекты (текст, графика и сценарии), загружаемые объекты (мультимедийные файлы, программное обеспечение, документы), приложения (электронная коммерция, порталы ), потоковое вещание мультимедиа, потоковое мультимедиа по запросу и сайты социальных сетей.
CDN - это слой в Интернете экосистема. Владельцы контента, такие как медиа-компании и поставщики электронной коммерции, платят операторам CDN за доставку их контента конечным пользователям. В свою очередь, CDN платит поставщикам услуг Интернета (ISP), операторам связи и сетевым операторам за размещение своих серверов в их центрах обработки данных.
CDN - это общий термин, охватывающий различные типы услуг доставки контента: потоковое видео, загрузка программного обеспечения, ускорение веб- и мобильного контента, лицензируемая / управляемая CDN, прозрачное кэширование и услуги для измерения CDN. производительность, балансировка нагрузки, коммутация Multi CDN, аналитика и облачный интеллект. Поставщики CDN могут перейти в другие отрасли, такие как безопасность, с помощью защиты от DDoS и межсетевых экранов веб-приложений (WAF) и оптимизации WAN.
Узлы CDN обычно развертываются в нескольких местах, часто через несколько Интернета позвоночники. Преимущества включают снижение затрат на полосу пропускания, сокращение времени загрузки страницы или повышение глобальной доступности контента. Количество узлов и серверов, составляющих CDN, варьируется в зависимости от архитектуры, некоторые достигают тысяч узлов с десятками тысяч серверов на многих удаленных точках присутствия (PoP). Другие создают глобальную сеть и имеют небольшое количество географических точек присутствия.
Запросы контента обычно алгоритмически направляются на узлы, которые в некотором роде оптимальны. При оптимизации производительности могут быть выбраны места, которые лучше всего подходят для предоставления контента пользователю. Это может быть измерено путем выбора местоположений с наименьшим количеством переходов, наименьшим количеством сетевых секунд в секундах от запрашивающего клиента или наивысшей доступностью с точки зрения производительности сервера (как текущей, так и исторической), чтобы оптимизировать доставку по локальным сетям. При оптимизации затрат можно выбрать наименее дорогие места. В оптимальном сценарии эти две цели имеют тенденцию совпадать, поскольку граничные серверы, которые находятся рядом с конечным пользователем на границе сети, могут иметь преимущество в производительности или стоимости.
Большинство провайдеров CDN будут предоставлять свои услуги через изменяющийся, определенный набор точек присутствия в зависимости от желаемого покрытия, например США, международный или глобальный, Азиатско-Тихоокеанский регион и т. Д. Эти наборы точек присутствия могут быть называемые «границами», «граничными узлами» или «граничными сетями», поскольку они будут ближайшей границей активов CDN для конечного пользователя.
Провайдеры CDN получают прибыль либо от прямого сборы, уплачиваемые поставщиками контента с использованием их сети, или прибыль от пользовательской аналитики и данных отслеживания, собранных по мере загрузки их скриптов на веб-сайты клиентов в их браузере. Таким образом, эти службы указываются как потенциальное нарушение конфиденциальности с целью поведенческого таргетинга, и создаются решения для восстановления обслуживания и кэширования ресурсов с одним источником.
Сети CDN, обслуживающие JavaScript также были нацелены на внедрение вредоносного контента на страницы, использующие их. Механизм целостности субресурсов был создан в ответ на то, чтобы страница загружала сценарий, содержимое которого известно и ограничено хешем, на который ссылается автор веб-сайта.
Интернет был разработан в соответствии с сквозным принципом. Этот принцип сохраняет базовую сеть относительно простой и перемещает интеллект в максимально возможной степени к конечным точкам сети: хостам и клиентам. В результате базовая сеть специализирована, упрощена и оптимизирована только для пересылки пакетов данных.
Сети доставки контента дополняют сквозную транспортную сеть, распределяя по ней различные интеллектуальные приложения, использующие методы, разработанные для оптимизации доставки контента. Получающееся в результате тесно интегрированное наложение использует веб-кэширование, балансировку нагрузки на сервер, маршрутизацию запросов и службы содержимого.
Веб-кеши хранят популярный контент на серверах, которые имеют наибольший спрос на запрашиваемый контент. Эти совместно используемые сетевые устройства снижают требования к пропускной способности, уменьшают нагрузку на сервер и улучшают время отклика клиента на контент, хранящийся в кэше. Веб-кеши заполняются на основе запросов от пользователей (опрашивающее кэширование) или на основе предварительно загруженного контента, распространяемого с серверов контента (принудительное кэширование).
Для балансировки нагрузки на сервер используются один или несколько методов, включая сервисные (глобальная балансировка нагрузки).) или аппаратно (например, коммутаторы уровней 4–7, также известные как веб-коммутатор, коммутатор содержимого или многоуровневый коммутатор) для разделения трафика между несколькими серверами или веб-кешами. Здесь коммутатору назначается один виртуальный IP-адрес. Затем трафик, поступающий на коммутатор, направляется на один из реальных веб-серверов, подключенных к коммутатору. Это дает преимущество в балансировке нагрузки, увеличении общей емкости, улучшении масштабируемости и обеспечении повышенной надежности за счет перераспределения нагрузки отказавшего веб-сервера и обеспечения проверок работоспособности сервера.
Кластер контента или сервисный узел может быть сформирован с использованием переключателя уровня 4–7 для балансировки нагрузки между несколькими серверами или несколькими веб-кэшами в сети.
Маршрутизация запросов направляет клиентские запросы к источнику контента, который лучше всего может их обслужить. Это может включать направление клиентского запроса на сервисный узел, ближайший к клиенту, или на тот, который имеет наибольшую пропускную способность. Для маршрутизации запроса используются различные алгоритмы. К ним относятся глобальная балансировка нагрузки сервера, маршрутизация запросов на основе DNS, создание динамических метафайлов, перезапись HTML и anycasting. Близость - выбор ближайшего сервисного узла - оценивается с использованием различных методов, включая реактивное зондирование, упреждающее зондирование и мониторинг соединения.
Сети CDN используют различные методы доставки контента, включая, помимо прочего, ручные ресурсы копирование, активные веб-кеши и глобальные аппаратные балансировщики нагрузки.
Несколько наборов протоколов разработаны для обеспечения доступа к широкому спектру служб содержимого, распределенных по сети содержимого. Протокол адаптации интернет-контента (ICAP) был разработан в конце 1990-х годов для обеспечения открытого стандарта для подключения серверов приложений. Недавно определенное и надежное решение предоставляется протоколом (OPES). Эта архитектура определяет служебные приложения OPES, которые могут находиться на самом процессоре OPES или выполняться удаленно на сервере вызовов. Edge Side Includes или ESI - это небольшой язык разметки для сборки динамического веб-контента на уровне края. Веб-сайты довольно часто создают контент. Это может быть из-за изменения контента, такого как каталоги или форумы, или из-за персонализации. Это создает проблему для систем кэширования. Чтобы преодолеть эту проблему, группа компаний создала ESI.
В одноранговых (P2P) сетях доставки контента клиенты предоставляют ресурсы, а также используют их. Это означает, что в отличие от систем клиент-сервер, контент-ориентированные сети могут работать лучше, поскольку больше пользователей начинают получать доступ к контенту (особенно с такими протоколами, как Bittorrent, которые требуют от пользователей совместного использования). Это свойство является одним из основных преимуществ использования P2P-сетей, поскольку оно снижает затраты на установку и эксплуатацию для первоначального распространителя контента.
Если владельцы контента не удовлетворены вариантов или стоимости коммерческой услуги CDN, они могут создать свой собственный CDN. Это называется частным CDN. Частный CDN состоит из PoP (точек присутствия), которые обслуживают контент только своего владельца. Эти PoP могут быть кэширующими серверами, обратными прокси-серверами или контроллерами доставки приложений. Это может быть просто два кэширующих сервера или достаточно большое, чтобы обслуживать петабайты контента.
Крупные сети распространения контента могут даже создавать и настраивать свои собственные частные сети для распределения копий контента по местам кеширования. Такие частные сети обычно используются вместе с общедоступными сетями в качестве резервного варианта на случай, если пропускной способности частной сети недостаточно или произойдет сбой, который приведет к снижению пропускной способности. Поскольку один и тот же контент должен быть распределен по множеству местоположений, для уменьшения потребления полосы пропускания можно использовать различные методы многоадресной передачи. В частных сетях также было предложено выбрать деревья многоадресной рассылки в соответствии с условиями нагрузки сети, чтобы более эффективно использовать доступную пропускную способность сети.
Быстрый рост трафика потокового видео требует больших капитальных затрат со стороны провайдеров широкополосного доступа, чтобы удовлетворить этот спрос и удержать подписчиков за счет предоставления достаточно хорошего качества обслуживания.
Чтобы решить эту проблему, поставщики телекоммуникационных услуг (TSP) начали запускать свои собственные сети доставки контента в качестве средства снижения требований к магистральной сети и сокращения инвестиций в инфраструктуру.
Поскольку они владеют сетями, по которым передается видеоконтент, Telco CDN имеют преимущества перед традиционными CDN.
Им принадлежит последняя миля, и они могут доставлять контент ближе к конечному пользователю, поскольку его можно кэшировать глубоко в их сетях. Такое глубокое кэширование сводит к минимуму расстояние, на которое видеоданные проходят через Интернет, и доставляет их более быстро и надежно.
Telco CDN также имеет встроенное преимущество в стоимости, поскольку традиционные CDN должны арендовать у них полосу пропускания и встраивать маржу оператора в свою собственную модель затрат.
Кроме того, управляя собственной инфраструктурой доставки контента, операторы телекоммуникационных компаний могут лучше контролировать использование своих ресурсов. Операции управления контентом, выполняемые сетями CDN, обычно применяются без (или с очень ограниченной) информацией о сети (например, топология, использование и т. Д.) Операторов связи, с которыми они взаимодействуют или имеют деловые отношения. Это создает ряд проблем для операторов связи, которые имеют ограниченную сферу действий перед лицом воздействия этих операций на использование их ресурсов.
Напротив, развертывание телекоммуникационных сетей CDN позволяет операторам реализовывать свои собственные операции по управлению контентом, что позволяет им лучше контролировать использование своих ресурсов и, как таковое, обеспечивать лучшее качество обслуживания и удобства. своим конечным пользователям.
В июне 2011 года StreamingMedia.com сообщил, что группа TSP основала Operator Carrier Exchange (OCX) для объединения своих сетей и более прямой конкуренции с крупными традиционными CDN, такими как Akamai и Limelight Networks, которые имеют обширные точки присутствия по всему миру. Таким образом, телекоммуникационные компании создают предложение федеративной CDN, которое более интересно для поставщика контента, желающего доставлять свой контент агрегированной аудитории этой федерации.
Вполне вероятно, что в ближайшем будущем будут созданы другие федерации телекоммуникационных сетей CDN. Они будут расти за счет набора новых телекоммуникационных компаний, присоединяющихся к федерации и доведя присутствие сети и их базы подписчиков в Интернете до существующих.
Задержка (RTT), испытываемая клиентами с нелокальные резолверы («высокий») резко сократились, когда CDN развернула расширение EDNS0 в апреле 2014 года, в то время как на задержку клиентов с локальными резолверами это изменение не повлияло («низкий»). Традиционно CDN имеют использовал IP-адрес рекурсивного DNS-преобразователя клиента для определения местоположения клиента. Хотя это разумный подход во многих ситуациях, это приводит к снижению производительности клиента, если он использует удаленный нелокальный рекурсивный преобразователь DNS. Например, CDN может направлять запросы от клиента в Индии на свой пограничный сервер в Сингапуре, если этот клиент использует общедоступный преобразователь DNS в Сингапуре, что снижает производительность этого клиента. Действительно, недавнее исследование показало, что во многих странах, где широко используются общедоступные преобразователи DNS, среднее расстояние между клиентами и их рекурсивными преобразователями DNS может достигать тысячи миль. В августе 2011 года глобальный консорциум ведущих интернет-провайдеров под руководством Google объявил об официальной реализации проекта edns-client-subnet IETF Internet-Draft, который предназначен для точной локализации ответов на разрешение DNS. В инициативе участвует ограниченное количество ведущих поставщиков услуг DNS, таких как Google Public DNS, а также поставщики услуг CDN. С параметром edns-client-subnet EDNS0 сети CDN теперь могут использовать IP-адрес подсети запрашивающего клиента при разрешении DNS-запросов. Этот подход, называемый сопоставлением конечного пользователя, был принят сетями CDN, и было показано, что он значительно сокращает задержки при передаче и повышении производительности для клиентов, которые используют общедоступные DNS или другие нелокальные преобразователи. Однако использование EDNS0 также имеет недостатки, так как снижает эффективность разрешений кэширования в рекурсивных преобразователях, увеличивает общий трафик разрешения DNS и поднимает проблему конфиденциальности при раскрытии подсети клиента.
Технологии виртуализации используются для развертывания виртуальных CDN (vCDN) с целью снижения затрат на контент-провайдера и в то же время увеличения эластичность и уменьшение задержки обслуживания. С vCDN можно избежать традиционных ограничений CDN, таких как производительность, надежность и доступность, поскольку виртуальные кэши развертываются динамически (в виде виртуальных машин или контейнеров) на физических серверах, распределенных по географическому охвату поставщика. Поскольку размещение виртуального кэша зависит как от типа контента, так и от географического расположения сервера или конечного пользователя, vCDN оказывают значительное влияние на предоставление услуг и перегрузку сети.
В 2017 году Адди Османи из Google начал называть программные решения, которые могут естественным образом интегрироваться с парадигмой адаптивного веб-дизайна (с особым упором на элемент
Возможно, термин Image CDN изначально был неправильным, поскольку ни Cloudinary, ни Imgix (примеры, приведенные Google в руководстве Адди Османи за 2017 год) не были в то время CDN в классическом понимании этого слова. Однако вскоре после этого несколько компаний предложили решения, которые позволили разработчикам обслуживать разные версии своих графических ресурсов в соответствии с несколькими стратегиями. Многие из этих решений были созданы на основе традиционных CDN, таких как Akamai, CloudFront, Fastly, Verizon Digital Media Services и Cloudflare. В то же время другие решения, которые уже предоставляли услугу множественного обслуживания изображений, присоединились к определению Image CDN, либо предлагая функциональность CDN изначально (ImageEngine), либо интегрируя с одной из существующих CDN (Cloudinary / Akamai, Imgix / Fastly).
Хотя предоставление универсально согласованного определения того, что такое образ CDN, может быть невозможным, в целом образ CDN поддерживает следующие три компонента:
В следующей таблице обобщена текущая ситуация с основными CDN программного обеспечения в этом пространстве:
| Имя | CDN | Оптимизация изображения | Обнаружение устройства |
|---|---|---|---|
| Akamai ImageManager | Y | Пакетный режим | на основе заголовка HTTP Accept |
| Cloudfla re Polish | Y | полностью автоматический | на основе заголовка HTTP Accept |
| Cloudinary | Через Akamai | Batch, директивы URL | Accept header, Client-Hints |
| Fastly IO | Y | URL-директивы | на основе HTTP-заголовка Accept |
| ImageEngine | Y | полностью автоматический | WURFL, Client-Hints, Accept header |
| Imgix | Through Fastly | полностью автоматический | Accept header / Client-Hints |
| PageCDN | Y | URL-директивы | на основе HTTP Accept header |
Интернет-портал 