Apache Cassandra

Apache Cassandra

Автор (ы)	Авинаш Лакшман, Прашант Малик / Facebook
Разработчик (s)	Apache Software Foundation
Первоначальный выпуск	июль 2008 г.; 12 лет назад (2008-07)
Стабильный выпуск	3.11.8 / 31 августа 2020 г.; 49 дней назад (2020-08-31)
Репозиторий	Репозиторий Cassandra
Написано на	Java
Операционная система	Кросс-платформенная
Доступно в	Английский
Тип	NoSQL База данных, хранилище данных
Лицензия	Лицензия Apache 2.0
Веб-сайт	cassandra.apache.org

Apache Cassandra - это бесплатное и открытое, распределенное, хранилище широких столбцов, NoSQL. база данных система управления, предназначенная для обработки больших объемов данных на множестве стандартных серверов, обеспечивая высокую доступность без единой точки отказа. Cassandra предлагает надежную поддержку для кластеров, охватывающих несколько центров обработки данных, с асинхронной репликацией без мастера, позволяющей выполнять операции с малой задержкой для всех клиентов. Cassandra предлагает дизайн распространения Amazon DynamoDB с моделью данных Google Bigtable.

• 1 История
  • 1.1 Релизы
• 2 Основные функции
  • 2.1 Язык запросов Cassandra
  • 2.2 Известные проблемы
    • 2.2.1 Надгробные камни
  • 2.3 Модель данных
• 3 Управление и мониторинг
• 4 Известные приложения
• 5 См. Также
• 6 Ссылки
• 7 Библиография
• 8 Внешние ссылки

Авинаш Лакшман, один из авторов Dynamo из Amazon и Прашант Малик первоначально разработали Cassandra в Facebook для поддержки функции поиска в папке входящих сообщений Facebook. Facebook выпустил Cassandra как проект с открытым исходным кодом на код Google в июле 2008 года. В марте 2009 года он стал проектом Apache Incubator. 17 февраля 2010 года он перешел в проект верхнего уровня.

Разработчики Facebook назвали свою базу данных в честь троянского мифологического пророка Кассандра с классическими намёками на проклятие на оракуле..

Релизы

Релизы после выпуска включают

• 0.6, выпущенный 12 апреля 2010 г., добавленную поддержку интегрированного кэширования, и Apache Hadoop MapReduce
• 0.7, выпущенный в январе 08 2011, добавлены вторичные индексы и изменения онлайн-схемы
• 0.8, выпущен 2 июня 2011 г., добавлен язык запросов Cassandra (CQL), самонастраивающиеся таблицы memtables и поддержка обновлений с нулевым временем простоя
• 1.0, выпущенный 17 октября 2011 г., добавлено интегрированное сжатие, выравнивание сжатия и улучшенная производительность чтения
• 1.1, выпущенный 23 апреля 2012 г., добавлены самонастраивающиеся кеши, изоляция на уровне строк и поддержка смешанного SSD / спиннинга дисковые развертывания
• 1.2, выпущенные 2 января 2013 г., добавлены кластеризация виртуальных узлов, межузловая связь, атомарные пакеты и трассировка запросов
• 2.0, выпущенный 4 сентября 2013 г., добавлены облегченные транзакции (на основе консенсусного протокола Paxos ), триггеры, улучшенное сжатие
• 2.1 выпущено 10 сентября 2014 г.
• 2.2 выпущено июль 20, 2015
• 3.0 выпущен 11 ноября 2015
• Выпуски 3.1–3.10 были ежемесячными с использованием модели выпуска tick-tock с четными номерами выпусков как новые функции, так и исправления ошибок, в то время как выпуски с нечетными номерами будут включать только исправления ошибок.
• 3.11 выпущена 23 июня 2017 г. как стабильная серия выпусков 3.11 и исправление ошибок из последнего выпуска функции Tick-tock.

Распределенный

Каждый узел в кластере имеет одинаковую роль. Нет единой точки отказа. Данные распределяются по кластеру (так что каждый узел содержит разные данные), но нет главного, поскольку каждый узел может обслуживать любой запрос.

Поддерживает репликацию и репликацию нескольких центров обработки данных

Стратегии репликации настраиваются. Cassandra разработана как распределенная система для развертывания большого количества узлов в нескольких центрах обработки данных. Ключевые особенности распределенной архитектуры Cassandra специально адаптированы для развертывания с несколькими центрами обработки данных, для обеспечения избыточности, аварийного переключения и аварийного восстановления.

Масштабируемость

Обеспечивает линейное увеличение пропускной способности чтения и записи по мере добавления новых машин, с целью предотвращения простоев или прерывания работы приложений.

Отказоустойчивый

Данные автоматически реплицируются на несколько узлов для отказоустойчивости. Поддерживается репликация в нескольких центрах обработки данных. Отказавшие узлы могут быть заменены без простоев.

Настраиваемая согласованность

Cassandra обычно классифицируется как AP-система, что означает, что доступность и устойчивость к разделам обычно считаются более важными, чем согласованность в Cassandra операции записи и чтения предлагают настраиваемый уровень согласованности, от «запись никогда не сбой» до «блокировка всех реплик для чтения», с уровнем кворума в посередине.

Поддержка MapReduce

Cassandra имеет интеграцию с Hadoop с поддержкой MapReduce. Также имеется поддержка Apache Pig и Apache Hive.

Язык запросов

. Cassandra представила язык запросов Cassandra Query Language (CQL). CQL - это простой интерфейс для доступа к Cassandra в качестве альтернативы традиционному Язык структурированных запросов (SQL).

Конечная согласованность

Cassandra управляет конечной согласованностью чтений, upserts и удаляет с помощью Tombstones.

Cassandra Query Language

Cassandra представила язык запросов Cassandra Query Language (CQL). CQL - это простой интерфейс для доступа к Cassandra в качестве альтернативы традиционному Язык структурированных запросов (SQL). CQL добавляет уровень абстракции, который скрывает детали реализации этой структуры и предоставляет собственный синтаксис для коллекций и других распространенных кодировок. Доступны языковые драйверы для Java (JDBC), Python (DBAPI2), Node.JS (Datastax), Go (gocql) и C ++.

Ниже приведен пример создания пространства ключей, включая семейство столбцов в CQL 3.0:

СОЗДАТЬ KEYSPACE MyKeySpace С REPLICATION = {'class': 'SimpleStrategy', 'replication_factor': 3}; ИСПОЛЬЗУЙТЕ MyKeySpace; СОЗДАТЬ COLUMNFAMILY MyColumns (текст идентификатора, последний текст, первый текст, ПЕРВИЧНЫЙ КЛЮЧ (идентификатор)); ВСТАВИТЬ В MyColumns (id, Last, First) VALUES ('1', 'Doe', 'John'); ВЫБРАТЬ * ИЗ MyColumns;

Что дает:

id | Последний | Первый ---- + ------ + ------ 1 | Доу | John (1 строка)

Известные проблемы

До Cassandra 1.0 Cassandra не была согласована на уровне строк, что означает, что вставки и обновления в таблицу, которые влияют на одну и ту же строку, которая обрабатывается примерно в одно и то же время, могут влияют на неключевые столбцы противоречивым образом. Одно обновление может повлиять на один столбец, а другое - на другой, в результате чего наборы значений в строке никогда не указывались и не предназначались. В Cassandra 1.1 эта проблема решена путем введения изоляции.

на уровне строк

Маркеры удаления, называемые «Tombstones», как известно, вызывают серьезное снижение производительности.

Модель данных

Cassandra - это хранилище широких столбцов и, как таковое, по сути, гибрид между системой управления базами данных в виде таблицы и ключами. Его модель данных представляет собой секционированное хранилище строк с настраиваемой согласованностью. Строки организованы в таблицы ; первый компонент первичного ключа таблицы - ключ раздела; внутри раздела строки сгруппированы по оставшимся столбцам ключа. Другие столбцы могут индексироваться отдельно от первичного ключа.

Таблицы можно создавать, отбрасывать и изменять во время выполнения без блокировки обновлений и запросов.

Кассандра не может выполнять объединений или подзапросы. Скорее, Кассандра подчеркивает денормализацию с помощью таких функций, как коллекции.

A семейство столбцов (называемое «таблицей» начиная с CQL 3) напоминает таблицу в РСУБД (системе управления реляционными базами данных). Семейства столбцов содержат строки и столбцы. Каждая строка однозначно идентифицируется ключом строки. Каждая строка состоит из нескольких столбцов, каждый из которых имеет имя, значение и отметку времени. В отличие от таблицы в СУБД, разные строки в одном семействе столбцов не обязательно должны иметь один и тот же набор столбцов, и столбец можно добавить в одну или несколько строк в любое время.

Каждый ключ в Cassandra соответствует значению, которое является объектом. Каждый ключ имеет значения в виде столбцов, а столбцы сгруппированы в наборы, называемые семействами столбцов. Таким образом, каждый ключ идентифицирует строку с переменным количеством элементов. Эти семейства столбцов можно рассматривать как таблицы. Таблица в Cassandra - это распределенная многомерная карта, индексируемая ключом. Кроме того, приложения могут указывать порядок сортировки столбцов в семействе Super Column или Simple Column.

Cassandra - это система на основе Java, которой можно управлять и контролировать с помощью Java Management Extensions (JMX). Например, JMX-совместимая утилита может использоваться для управления кластером Cassandra (добавление узлов в кольцо, осушение узлов, вывод узлов из эксплуатации и т. Д.). Nodetool также предлагает ряд команд для возврата метрик Cassandra, касающихся использования диска, задержки, сжатия, сборки мусора и т. Д.

Начиная с Cassandra 2.0.2 в 2013 году, измерения нескольких метрик производятся с помощью метрик Dropwizard. framework, и их можно запрашивать через JMX с помощью таких инструментов, как JConsole, или передавать во внешние системы мониторинга через плагины репортеров, совместимые с Dropwizard.

Согласно DB-Engines в рейтинге, Cassandra является самым популярным хранилищем широких столбцов, а в сентябре 2014 года занял 9-е место по популярности.

• Apple использует 100 000 узлов Cassandra, как показано на Cassandra Summit San Francisco 2015, хотя на нем не уточняется, какие продукты, услуги или функции.
• AppScale использует Cassandra в качестве серверной части для приложений Google App Engine.
• BlackRock использует Cassandra в своих Aladdin платформа управления инвестициями
• CERN использовала прототип на базе Cassandra для своего AT Эксперимент LAS для архивирования информации мониторинга онлайн-системы DAQ
• Cisco WebEx использует Cassandra для хранения пользовательской ленты и активности почти в реальном времени.
• Постоянный контакт использует Cassandra в своих маркетинговых приложениях для электронной почты и социальных сетей. Развернуто более 200 узлов.
• Digg, социальный новостной сайт, объявил 9 сентября 2009 г. о развертывании использования Cassandra и подтвердил это 8 марта 2010 г. TechCrunch с тех пор связал Cassandra с критикой надежности Digg v4 и недавними проблемами компании. Позже ведущие инженеры Digg упрекали эту критику как отвлекающий маневр и обвинили в отсутствии нагрузочного тестирования.
• Discord переключился на Cassandra для хранения миллиардов сообщений от MongoDB в ноябре 2015 года
• Formspring использует Cassandra для подсчета ответов, а также для хранения данных социальных сетей (подписчиков, подписчиков, блокировщиков, блокировок) для 26 миллионов аккаунтов с 10 миллионами ответов в день
• Globo.com использует Cassandra в качестве обратной связи. конечная база данных для своих потоковых сервисов
• Grubhub использует Cassandra в качестве основного постоянного хранилища данных для своих внутренних сервисов.
• Mahalo.com использовал Cassandra для записи журналов активности пользователей и тем для своего сайта вопросов и ответов
• Netflix использует Cassandra в качестве внутренней базы данных для своих потоковых сервисов.
• Nutanix устройства используют Cassandra для хранения метаданных и статистики.
• Ooyala построил аналитический движок в реальном времени с помощью Cassandra
• Openwave использует Cassandra как распределенную базу данных и как механизм распределенного хранения f или их платформа обмена сообщениями
• OpenX использует более 130 узлов на Cassandra для своего продукта OpenX Enterprise для хранения и репликации рекламы и данных таргетинга для доставки рекламы
• Rackspace использует Cassandra для внутренних целей.
• Reddit переключился на Cassandra с memcacheDB 12 марта 2010 г. и столкнулся с некоторыми проблемами в мае того же года из-за недостаточного количества узлов в их кластере.
• RockYou использует Cassandra для записи каждого щелчка для 50 миллионов активных пользователей в месяц в реальном времени для своих онлайн-игр
• SoundCloud использует Cassandra для хранения панели управления своих пользователей
• Uber использует Cassandra для хранения около 10 000 функций в их ежедневно обновляемых в масштабах компании Магазин функций для доступа с малой задержкой во время прогнозирования моделей в реальном времени
• Urban Airship использует Cassandra с хостингом мобильных сервисов для более 160 миллионов установок приложений на 80 миллионах уникальных устройств

• Бесплатно и с открытым исходным кодом программный портал

• Bigtable - Оригинал распределенная база данных от Google
• Распределенная база данных
• Распределенная хеш-таблица (DHT)
• Dynamo (система хранения) - Кассандра заимствует многие элементы из Dynamo
• Scylla - распределенные данные store написано на C ++ и API -совместимо с Cassandra

Викискладе есть медиафайлы, связанные с Apache Cassandra.

Викиверситет содержит учебные ресурсы по Big Data / Cassandra

• Лакшман, Авинаш (25 августа 2008 г.). «Кассандра - структурированная система хранения в P2P-сети». Engineering @ Заметки Facebook. Проверено 17 июня 2014 г.
• «Проект Apache Cassandra». Форест Хилл, Мэриленд, США: Фонд программного обеспечения Apache. Проверено 17 июня 2014 г.
• «Project Wiki». Форест Хилл, Мэриленд, США: Фонд программного обеспечения Apache. Архивировано с оригинального 14.06.2014. Проверено 17 июня 2014.
• Хьюитт, Эбен (01.12.2010). «Использование Apache Cassandra». infoq.com. InfoQ, C4Media Inc., дата обращения 17 июня 2014.
• Лакшман, Авинаш; Малик, Прашант (15.08.2009). «Кассандра - децентрализованная структурированная система хранения» (PDF). cs.cornell.edu. Авторы из Facebook. Проверено 17 июня 2014 г.
• Эллис, Джонатан (29 июля 2009 г.). «Что каждый разработчик должен знать о масштабируемости базы данных». slideshare.net. Получено 17 июня 2014 г. Из доклада OSCON 2009 о РСУБД против Dynamo, Bigtable и Cassandra.
• "Cassandra-RPM - Red Hat Package Manager (RPM) сборка для проекта Apache Cassandra ". code.google.com. Менло-Парк, Калифорния, США: Хостинг проектов Google. Проверено 17 июня 2014 г.
• Рот, Грегор (14 октября 2012 г.). «Кассандра на примере - путь запросов чтения и записи». slideshare.net. Проверено 17 июня 2014 г.
• Мансур, Умер (4 ноября 2012 г.). «Сборник руководств по Кассандре». Проверено 08.02.2015.
• Бушик, Сергей (22.10.2012). «Независимое от производителя сравнение баз данных NoSQL: Cassandra, HBase, MongoDB, Riak». NetworkWorld. Фрамингем, Массачусетс, США и Стейнс, Мидлсекс, Великобритания: IDG. Архивировано с оригинального 28 мая 2014 года. Проверено 17 июня 2014 г.