Как вычисления в памяти помогают предприятиям преодолевать проблемы с большими данными

В 2000 году исполнительный директор Google Ларри Пейдж заметил, что он хотел бы разделить несколько терабитов всех данных Интернета на жесткие диски, разбросанные по всему миру, и поместить все это в память для ускорения операций. Это обсуждение произошло на форуме разработчиков Intel и не вызвало особого резонанса.

Более 17 лет спустя сеть несравнима с тем, что было тогда, с точки зрения охвата и масштабов. Тем не менее, основная идея остается такой же актуальной и осуществимой, как и прежде. На более реалистичном уровне это проявляется в виде вычислений в памяти.

Гиганты облачных вычислений, предприятия и финансовые учреждения, среди прочих, признают и движутся к тому, чтобы хранить свои данные «в памяти». В 2013 году Gartner выделила вычисления в оперативной памяти как стратегическую инициативу для ИТ-организаций и организаций, работающих с данными. Теперь, если бы они могли просто изобрести глазированный пончик, в котором не было калорий, как в настоящем глазированном пончике. Тогда вы могли бы съесть 10 пончиков, не поправившись на 10 фунтов!

Вычисления в памяти и предприятие

Средним и крупным компаниям необходимо максимально эффективно использовать свои данные. Повышение эффективности, связанной с анализом данных, требует экономичного, быстрого и гибкого управления данными.

Вычисления в памяти обеспечивают именно это и многое другое, основанное на способности понимать миллионы чисел за доли секунды. Вычисления в памяти могут обеспечить преимущества обработки данных в приложениях и делать это в режиме реального времени. У предприятий есть несколько причин желать этого:

• Понимание требований клиентов и их невысказанных ожиданий.
• Корректируйте цены на ходу, чтобы стимулировать продажи.
• Заблаговременно выявляйте проблемы на производственной линии и устраняйте их.
• Проводите финансовое моделирование в режиме реального времени, чтобы принимать важные финансовые решения.
• Создавайте гибкие и быстро реагирующие цепочки поставок.

Технологии памяти

Традиционные инструменты обработки больших данных и аналитики ограничены присущими системам хранения ограничениями скорости. Когда эти расчеты выполняются почти в режиме реального времени (вместо 20-30 секунд для сложных расчетов — нет, решение, хотите ли вы на ужин корн-дог или жареного цыпленка, в этот пример не очень вписывается), внедрение больших данных улучшается в геометрической прогрессии и помогает компаниям реализовать бизнес-потенциал технологий, в которые они уже вложили значительные средства.

Давайте разберемся, как вычисления в памяти помогают предприятиям преодолевать проблемы с большими данными.

Переместить с диска в оперативную память

Обычно организации хранят данные на вращающихся физических дисках, которые могут быть электронными, оптическими, магнитными или любыми другими носителями. Эти технологии хорошо подходят для однородных структур данных. Однако базы данных в памяти используют оперативную память (RAM) для хранения данных, что приводит к более быстрому времени отклика и обработки.

В ходе лабораторных испытаний база данных SAP HANA (база данных в оперативной памяти) смогла обработать в 1000 раз больше данных почти вдвое быстрее по сравнению с традиционными базами данных. Именно такие улучшения приносят вычисления в памяти и базы данных.

Обрабатывать неструктурированные данные

Современное предприятие генерирует структурированные, полуструктурированные и неструктурированные данные. В идеале им нужна база данных, которая помогает им управлять всеми тремя формами данных, не снижая скорости доступа и операций. Вычисления в памяти хорошо работают с неструктурированными данными, такими как новостные ленты социальных сетей, компьютерные журналы, электронные письма и т. д.

Эта возможность повышает готовность организации к получению более широкого представления бизнес-операций на основе данных, и нет, это не означает, что бизнес может заказать вам пиццу быстрее! Ну, возможно, это так! Хочешь немного болгарского перца?

Строковая архитектура для столбцовой архитектуры

Вычисления в памяти хранят данные в столбчатой архитектуре, называемой онлайн-аналитической обработкой (OLAP). Это отличается от традиционной организации данных в виде строк в реляционной базе данных OLTP. OLAP облегчает сжатие данных, расширенную аналитику и быструю обработку значительно больших наборов данных.

ERP и интеграция с оперативной памятью

Рынок планирования ресурсов предприятия (ERP) находится в процессе замечательной трансформации, основанной на вычислениях в памяти и базах данных в памяти. Oracle объявила о запуске 13 in-memory приложений, сообщив об улучшении производительности почти в 20 раз. Кроме того, SAP, лидер рынка корпоративных ERP-систем, перенесла основные приложения на базу данных в оперативной памяти и после этого сообщила о сотнях одобрений клиентов.

В частности, HANA от SAP недавно была сертифицирована для работы в Microsoft Azure, а это означает, что она может стать первым полностью облачным решением корпоративной аналитики. С ERP-системами, которые могут управлять данными в 10 раз быстрее, чем раньше, бизнес может сразу же начать пожинать плоды своих практик хранения данных и работы с большими данными.

Волна вычислений в оперативной памяти также вызвала значительный интерес со стороны поставщиков: Microsoft и IBM присоединились к крупным шишкам ERP в разработке таких технологий, как DB2 в памяти и SQL. Кроме того, у нас есть платформы с открытым исходным кодом, такие как Hazelcast, SQLFire от VMWare, BigMemory от Software AG, а также несколько будущих инструментов и платформ, которые могут изменить то, как организации извлекают выгоду из данных, которые они годами хранили на своих серверах.

Бизнес-кейс на будущее

Вычисления в оперативной памяти способны изменить способ управления центрами обработки данных. В настоящее время фактом является то, что большинство центров обработки данных большую часть времени простаивают. Ну, они делают это очень тихо! Вроде особо не жалуются!

Microsoft признала, что ее центры обработки данных работают только 15 процентов времени. Ух ты! Как записаться на эту работу? Накладные расходы на недвижимость, энергопотребление, оборудование и производительность труда огромны. Вычисления в оперативной памяти могут помочь повысить эффективность использования центров обработки данных.

• Благодаря перепроектированию хранилища на основе памяти обычный центр обработки данных сможет хранить до 40 раз больше данных, чем он может хранить сейчас.
• Количество стоек, необходимых для достижения производительности в 1 миллион операций ввода-вывода в секунду (IOPS), будет уменьшено на одну четверть.
• Энергопотребление центров обработки данных может быть снижено на 80 процентов, поскольку системы на основе памяти требуют меньшего количества кондиционеров и потребляют меньше энергии.
• Системы хранения на основе вычислений в оперативной памяти смогут хранить до нескольких петабайт данных, трансформируя возможности больших данных и аналитики.

Благодаря вычислениям в оперативной памяти большие данные и аналитика смогут предоставлять результаты анализа и прогнозы почти в реальном времени. Это сделает IoT более управляемым, когда миллионы датчиков и устройств войдут в экосистему Интернета и будут генерировать во много раз больше данных, чем мы могли себе представить.

Для предприятий, которые относятся к своим данным как к своему цифровому золоту, вычисления в оперативной памяти — это средство, которое поможет им обойти отстающих конкурентов. Если вы собираетесь замедляться, вы просто мешаете. До встречи!

Лица, принимающие решения на предприятии, такие как ИТ-директора, специалисты по данным и ИТ-директора, должны подтолкнуть поставщиков к доступным решениям in-memory, направить целенаправленные аналитические усилия на достижение важнейших бизнес-целей и обратить внимание на высокие потенциальные возможности для обеспечения поэтапного внедрения этих технологий.