Первоначальный автор (ы) | |
---|---|
Разработчик (и) | Apache Software Foundation |
Первоначальный выпуск | 15 июня 2016 г.; 4 года назад (15.06.2016) |
Стабильный выпуск | 2.24.0 / 18 сентября 2020 г.; 25 дней назад (2020-09-18) |
Репозиторий | Beam Repository |
Написано на | Java, Python, Go |
Операционная система | Кросс-платформенная |
Лицензия | Apache License 2.0 |
Веб-сайт | beam.apache.org |
Apache Beam - это унифицированная модель программирования с открытым исходным кодом для определения и выполнения обработка данных конвейеры, включая ETL, пакетную и потоковую (непрерывную) обработку. Beam Pipelines определяются с использованием одного из предоставленных SDK и выполняются в одном из поддерживаемых бегунов Beam (распределенная обработка бэкэндов), включая Apache Flink, Apache Samza, Apache Spark и Google Cloud Dataflow.
Apache Beam - это одна из реализаций модели Dataflow. Модель потока данных основана на предыдущей работе над абстракциями распределенной обработки в Google, в частности над FlumeJava и Millwheel.
Google выпустил открытую реализацию SDK модели потока данных в 2014 году и среду для локального выполнения потоков данных (не распределено), а также в сервисе Google Cloud Platform.
В 2016 году Google пожертвовал основной SDK, а также реализацию локального средства выполнения и набор IO (соединителей данных) для доступа к службам данных Google Cloud Platform для Фонд программного обеспечения Apache. Другие компании и члены сообщества предоставили исполнителей для существующих платформ распределенного исполнения, а также новые объекты ввода-вывода для интеграции бегунов лучей с существующими базами данных, хранилищами ключевых значений и системами сообщений. Кроме того, новые DSL были предложены для поддержки конкретных потребностей домена поверх модели луча.
Версия | Дата выпуска |
---|---|
Текущая стабильная версия: 2.24.0 | 2020-09-18 |
Старая версия, больше не поддерживается: 2.23.0 | 2020-07-29 |
Старая версия, больше не поддерживается: 2.22.0 | 2020-06-08 |
Старая версия, больше не поддерживается: 2.21. 0 | 2020-05-27 |
Старая версия, больше не поддерживается: 2.20.0 | 2020-04-15 |
Старая версия, больше не поддерживается: 2.19.0 | 2020-02-04 |
Старая версия, больше не поддерживается: 2.18.0 | 2020-01-23 |
Старая версия, больше не поддерживается: 2.17.0 | 2020-01-06 |
Старая версия, больше не поддерживается: 2.16.0 | 2019-10-07 |
Старая версия, больше не поддерживается: 2.15.0 | 2019-08-22 |
Старая версия, больше не поддерживается: 2.14.0 | 2019-08-01 |
Старая версия, больше не поддерживается: 2.13.0 | 2019 -05-22 |
Старая версия, больше не поддерживается: 2.12.0 | 2019-04-25 |
Старая версия, больше не поддерживается: 2.11.0 | 2019-02 -26 |
Старая версия, больше не обслуживается d: 2.10.0 | 2019-02-01 |
Старая версия, больше не поддерживается: 2.9.0 | 2018-12-13 |
Старая версия, больше не поддерживается: 2.8.0 | 2018-10-29 |
Старая версия, больше не поддерживается: 2.7.0 (LTS) | 2018-10-03 |
Старая версия, больше не поддерживается : 2.6.0 | 2018-08-08 |
Старая версия, больше не поддерживается: 2.5.0 | 2018-06-26 |
Старая версия, больше не поддерживается: 2.4.0 | 2018-03-20 |
Старая версия, больше не поддерживается: 2.3.0 | 2018-01-30 |
Старая версия, больше не поддерживается: 2.2.0 | 02.12.2017 |
Старая версия, больше не поддерживается: 2.1.0 | 2017-08-23 |
Старая версия, больше не поддерживается: 2.0.0 | 17.05.2017 |
Старая версия, больше не поддерживается: 0.6.0 | 2017-03-11 |
Старая версия, больше не поддерживается: 0.5.0 | 02.02.2017 |
Старая версия, больше не поддерживается: 0.4.0 | 2016-12-29 |
Старая версия, больше не поддерживается: 0.3.0 | 2016-10-31 |
Старая версия, больше не поддерживается: 0.2.0 | 2 016-08-08 |
Старая версия, больше не поддерживается: 0.1.0 | 2016-06-15 |
Обозначения: Старая версия Старая версия, все еще поддерживается Последняя версия Последняя предварительная версия Будущий выпуск |