Apache Kylin

редактировать
Apache Kylin
Логотип Apache Kylin
Разработчик (и) Комитет Apache Kylin
Первый выпуск10 июня 2015 г.; 5 лет назад (10.06.2015)
Стабильный выпуск 3.1.0 / 2 июля 2020 г.; 3 месяца назад (02.07.2020)
Предварительный выпуск 4.0.0-alpha / 13 сентября 2020 г.; 30 дней назад (13.09.2020)
Репозиторий Репозиторий Kylin
Написано наJava
Лицензия Apache License 2.0
Веб-сайтkylin. apache.org

Apache Kylin - это механизм распределенной аналитики с открытым исходным кодом, предназначенный для обеспечения интерфейса SQL и многомерного анализа (OLAP) на Hadoop и Alluxio с поддержкой очень больших наборов данных.

Первоначально он был разработан eBay, а теперь является проектом Apache Software Foundation.

Содержание

  • 1 История
  • 2 Архитектура
  • 3 Пользователи
  • 4 Дорожная карта
  • 5 Источники

История

Проект Kylin был запущен в 2013 году в отделе исследований и разработок eBay в Шанхае, Китай. В октябре 2014 года на github.com был открыт исходный код Kylin v0.6 под названием «KylinOLAP».

В ноябре 2014 года Кайлин присоединился к инкубатору Apache Software Foundation.

В декабре 2015 года Apache Kylin получил статус проекта высшего уровня.

В марте 2016 года создателями Apache Kylin была основана компания Kyligence, Inc. Kyligence предоставляет коммерческую аналитическую платформу на основе Apache Kylin для локальных и облачных наборов данных.

Архитектура

Apache Kylin построен на основе Apache Hadoop, Apache Hive, Apache HBase, Apache Паркет, Apache Calcite, Apache Spark и другие технологии. Эти технологии позволяют Kylin легко масштабироваться для поддержки больших объемов данных.

Kylin имеет следующие основные компоненты:

  • REST Server: получение и ответ на запросы пользователей или API
  • Метаданные: постоянные и управляемые система, особенно метаданные куба;
  • Механизм запросов: анализирует SQL-запросы в соответствии с планом выполнения, а затем разговаривает с механизмом хранения;
  • Механизм хранения: развертывание и сканирование базового хранилища куба (по умолчанию в HBase) ;
  • Механизм заданий: создание и выполнение задания MapReduce или Spark для создания исходных данных в куб;

Пользователи

Apache Kylin был принят многими компаниями в качестве своей платформы OLAP в производстве. Типичные пользователи: eBay, Meituan, XiaoMi, NetEase, Beike, Yahoo! Япония.

Дорожная карта

Дорожная карта Apache Kylin (с веб-сайта Kylin):

  • Поддержка Hadoop 3.0 (Erasure Coding) - завершена (v2.5)
  • Полностью на движке Spark Cube - выполнено (v2.5)
  • Подключить больше источников данных (MySQL, Oracle, SparkSQL и т. д.) - выполнено (v2.6)
  • Аналитика в реальном времени с Lambda Architecture - завершено (v3.0)
  • Собственное облачное хранилище (Parquet) - Выполняется (v4.0.0-alpha)
  • Специальные запросы без Cubing

Ссылки

.

Последняя правка сделана 2021-06-11 20:10:43
Содержание доступно по лицензии CC BY-SA 3.0 (если не указано иное).
Обратная связь: support@alphapedia.ru
Соглашение
О проекте