Обработка в памяти

редактировать

В информатике обработка в памяти является новой технологией для обработка данных, хранящихся в базе данных в памяти. Старые системы основывались на дисковом хранилище и реляционных базах данных с использованием языка запросов SQL, но они все чаще рассматриваются как неадекватные для соответствия бизнес-аналитике (БИ) нужды. Поскольку доступ к сохраненным данным осуществляется намного быстрее, когда они помещаются в оперативную память (RAM) или флэш-память, обработка в памяти позволяет анализировать данные в реальном время, что позволяет быстрее создавать отчеты и принимать решения в бизнесе.

Содержание
  • 1 Дисковая бизнес-аналитика
    • 1.1 Структуры данных
    • 1.2 Скорость обработки
  • 2 Инструменты обработки в памяти
  • 3 Преимущества технологии обработки в памяти
  • 4 Применение в бизнесе
  • 5 Внедрение технологии в памяти
  • 6 См. Также
  • 7 Ссылки
Дисковая бизнес-аналитика

Структуры данных

При использовании дисковой технологии данные загружаются на жесткий диск компьютера в виде нескольких таблиц и многомерных структур, по которым выполняются запросы. Дисковые технологии - это системы управления реляционными базами данных (RDMS), часто основанные на языке структурированных запросов (SQL ), например SQL Server, MySQL, Oracle и многие другие. RDMS разработаны для требований обработки транзакций. При использовании базы данных, которая поддерживает вставки и обновления, а также выполнение агрегирования, объединения (типично для решений бизнес-аналитики) обычно очень медленные. Еще один недостаток заключается в том, что SQL предназначен для эффективной выборки строк данных, тогда как запросы BI обычно включают выборку частичных строк данных с тяжелыми вычислениями.

Для повышения производительности запросов создаются многомерные базы данных или кубы OLAP - также называемые многомерной оперативной аналитической обработкой (MOLAP). Создание куба - сложный и длительный процесс, и изменение структуры куба для адаптации к динамически меняющимся потребностям бизнеса может быть обременительным. Кубы предварительно заполнены данными для ответа на конкретные запросы, и, хотя они повышают производительность, они по-прежнему не подходят для ответов на специальные запросы.

Персонал информационных технологий (ИТ) тратит значительное время на разработку на оптимизацию баз данных, построение индексы и агрегаты, проектирование кубов и звездообразных схем, моделирование данных и анализ запросов.

Скорость обработки

Чтение данных с жесткого диска происходит намного медленнее (возможно, в сотни раз) по сравнению с чтением тех же данных из ОЗУ. Производительность сильно снижается, особенно при анализе больших объемов данных. Хотя SQL - очень мощный инструмент, выполнение сложных запросов занимает относительно много времени и часто приводит к снижению производительности обработки транзакций. Чтобы получить результаты за приемлемое время отклика, многие хранилища данных были разработаны для предварительного расчета сводок и ответов только на определенные запросы. Оптимизированные алгоритмы агрегирования необходимы для повышения производительности.

Инструменты обработки в памяти

Обработка памяти может выполняться с помощью традиционных баз данных, таких как Oracle, DB2 или Microsoft SQL Server или через предложения NoSQL, такие как в памяти сетка данных, например, Hazelcast, Infinispan, Oracle Coherence или программное обеспечение ScaleOut. При использовании как базы данных в памяти, так и сетки данных вся информация изначально загружается в оперативную память или флэш-память вместо жестких дисков. С сеткой данных обработка происходит на три порядка быстрее, чем реляционные базы данных, которые имеют расширенные функциональные возможности, такие как ACID, которые снижают производительность в качестве компенсации за дополнительную функциональность. Появление баз данных, ориентированных на столбцы, которые хранят вместе схожую информацию, позволяет хранить данные более эффективно и с более высокими коэффициентами сжатия. Это позволяет хранить огромные объемы данных в одном и том же физическом пространстве, уменьшая объем памяти, необходимый для выполнения запроса, и увеличивая скорость обработки. Многие пользователи и поставщики программного обеспечения интегрировали флэш-память в свои системы, чтобы позволить системам более экономично масштабироваться до больших наборов данных. Oracle интегрирует флеш-память в продукты Oracle Exadata для повышения производительности. Microsoft SQL Server 2012 Программное обеспечение BI / Data Warehousing было объединено с массивами флэш-памяти Violin Memory, чтобы обеспечить обработку в памяти наборов данных размером более 20 ТБ.

Пользователи запрашивать данные, загруженные в память системы, тем самым избегая медленного доступа к базе данных и узких мест в производительности. Это отличается от кэширования, очень широко используемого метода повышения производительности запросов, тем, что кеши представляют собой подмножества очень конкретных заранее определенных организованных данных. С помощью инструментов, хранящихся в памяти, данные, доступные для анализа, могут иметь размер витрина данных или небольшое хранилище данных, которое полностью находится в памяти. К нему могут быстро получить доступ несколько одновременных пользователей или приложений на подробном уровне, и он предлагает потенциал для расширенной аналитики, а также для масштабирования и увеличения скорости приложения. Теоретически скорость доступа к данным увеличивается от 10 000 до 1 000 000 раз по сравнению с диском. Это также сводит к минимуму необходимость настройки производительности ИТ-персоналом и обеспечивает более быстрое обслуживание конечных пользователей.

Преимущества технологии обработки в памяти

Определенные разработки в компьютерных технологиях и бизнес-потребности имеют тенденцию увеличивать относительные преимущества технологии обработки в памяти.

  • Оборудование становится все дешевле и дороже. выполнение, согласно закону Мура. Вычислительная мощность удваивается каждые два-три года при одновременном снижении затрат. Процессор, память и дисковое хранилище подпадают под действие этого закона. Также аппаратные инновации, такие как многоядерная архитектура, флэш-память NAND, параллельные серверы, и увеличенные возможности обработки памяти, в дополнение к программным инновациям, таким как ориентированная на столбцы базы данных, методы сжатия и обработка агрегированных таблиц - все это способствовало увеличению спроса на продукты в оперативной памяти.
  • Появление 64-битных операционных систем, которые позволяют получить доступ к гораздо большему объему ОЗУ (больше до 100 ГБ или более), чем 2 или 4 ГБ, доступные в 32-разрядных системах. Предоставляя терабайты (1 ТБ = 1024 ГБ) для хранения и анализа, 64-разрядные операционные системы делают обработку в памяти масштабируемой. Использование флэш-памяти позволяет системам более экономично масштабироваться до многих терабайт.
  • Увеличение объемов данных означает, что традиционные хранилища данных больше не могут обрабатывать данные своевременно и точно. Процесс извлечения, преобразования, загрузки (ETL), который периодически обновляет хранилища данных рабочими данными, может занять от нескольких часов до недель. Таким образом, в любой момент времени данные старше одного дня. Обработка в памяти обеспечивает мгновенный доступ к терабайтам данных для создания отчетов в реальном времени.
  • Обработка в памяти доступна по более низкой цене по сравнению с традиционными инструментами бизнес-аналитики, и ее легче развернуть и поддерживать. Согласно опросу Gartner, развертывание традиционных инструментов бизнес-аналитики может занять до 17 месяцев. Многие поставщики хранилищ данных предпочитают технологию in-memory традиционному бизнес-анализу, чтобы ускорить внедрение.
Применение в бизнесе

Ряд продуктов в памяти обеспечивает возможность подключения к существующим источникам данных и визуальный доступ к ним. богатые интерактивные информационные панели. Это позволяет бизнес-аналитикам и конечным пользователям создавать настраиваемые отчеты и запросы без особой подготовки или опыта. Простая навигация и возможность изменять запросы на лету приносит пользу многим пользователям. Поскольку эти информационные панели могут быть заполнены свежими данными, пользователи имеют доступ к данным в реальном времени и могут создавать отчеты за считанные минуты. Обработка в памяти может быть особенно полезной в центрах обработки вызовов и управлении складом.

При обработке в памяти исходная база данных запрашивается только один раз вместо того, чтобы обращаться к базе данных каждый раз при запросе выполняется, что устраняет повторяющуюся обработку и снижает нагрузку на серверы баз данных. Планируя заполнение базы данных в оперативной памяти на ночь, серверы баз данных могут использоваться для рабочих целей в часы пик.

Внедрение технологии в памяти

При большом количестве пользователей требуется большой объем оперативной памяти для конфигурации в памяти, что, в свою очередь, влияет на стоимость оборудования. Эти инвестиции, скорее всего, будут подходящими в ситуациях, когда скорость ответа на запрос является высоким приоритетом, и где наблюдается значительный рост объема данных и возрастает потребность в средствах отчетности; он все еще может быть нерентабельным, если информация не подвержена быстрым изменениям. Безопасность - еще одно соображение, поскольку инструменты в памяти предоставляют конечным пользователям огромные объемы данных. Производители советуют обеспечить доступ к данным только авторизованным пользователям.

См. Также
Ссылки
Последняя правка сделана 2021-05-23 12:36:11
Содержание доступно по лицензии CC BY-SA 3.0 (если не указано иное).
Обратная связь: support@alphapedia.ru
Соглашение
О проекте