Ожидаемые свойства системы больших данных
Предварительное условие - Введение в большие данные, преимущества больших данных
Существуют различные свойства, которые в основном зависят от сложности с точки зрения масштабируемости в больших данных. Согласно этим свойствам система больших данных также должна работать хорошо, эффективно и разумно. Давайте изучим эти свойства шаг за шагом.
- Надежность и устойчивость к ошибкам -
Что касается препятствий, возникающих в распределенной системе, довольно сложно построить систему, которая «поступает правильно». От систем требуется, чтобы они вели себя правильно, несмотря на случайное отключение машин, сложную семантику единообразия в распределенных базах данных, избыточность, параллелизм и многое другое. Эти препятствия усложняют рассуждения о функционировании системы. Устойчивость системы больших данных - это решение для преодоления связанных с ней препятствий.Для системы властно терпеть человеческую вину. Это часто игнорируемое свойство системы, которое нельзя упускать из виду. В производственной системе преобладает тот факт, что оператор системы может допустить ошибки, например, предоставив неверную программу, которая может прервать работу базы данных. Если пересчет и неизменяемость встроены в ядро системы больших данных, система будет явно устойчива к человеческим ошибкам, предоставляя актуальный и довольно надежный механизм восстановления.
- Возможность отладки -
Систему необходимо отлаживать, когда что-то нечестное происходит из-за необходимой информации, поставляемой системой больших данных. Ключ должен уметь распознавать каждое значение в системе. Возможность отладки хорошо разбирается в лямбда-архитектуре благодаря функциональному поведению пакетного уровня и с помощью алгоритма повторных вычислений, когда это необходимо. - Масштабируемость -
Это тенденция управлять производительностью в контексте растущих данных и нагрузки за счет добавления ресурсов в систему. Лямбда-архитектура масштабируется по диагонали на все уровни системного стека: масштабирование достигается за счет включения дополнительного количества машин. - Обобщение -
В общей системе может работать широкий спектр приложений. Поскольку лямбда-архитектура основана на функции всех данных, ряд приложений может работать в обобщенной системе. Кроме того, архитектура Lambda может обобщать социальные сети, приложения и т. Д. - Специальные запросы -
Возможность выполнять специальные запросы к данным имеет большое значение. Каждый большой набор данных содержит непредвиденную ценность. Возможность интеллектуального анализа данных постоянно предоставляет возможности для оптимизации новых приложений и бизнеса. - Расширяемость -
Расширяемая система позволяет работать с минимальными затратами. Иногда для новой функции или изменения уже существующей системной функции необходимо перераспределить уже существующие данные в новый формат данных. Масштабная передача данных становится простой, поскольку это часть построения расширяемой системы. - Чтение и обновление с низкой задержкой -
Многочисленные приложения нуждаются в чтении с малой задержкой, в пределах нескольких миллисекунд и сотен миллисекунд. Напротив, задержка обновления зависит от приложений. Некоторые приложения должны транслироваться с малой задержкой, а некоторые могут работать с задержкой в несколько часов. В системе больших данных необходимы приложения с низкой задержкой или быстрое распространение обновлений. - Минимальное обслуживание -
Сопровождение - это как штраф для разработчиков. Это операции, которые необходимы для обеспечения бесперебойной работы систем. Это включает в себя предупреждение того, когда следует увеличивать количество машин для масштабирования, поддержание надлежащего функционирования процессов и их отладку.Выбор компонентов с небольшой сложностью играет важную роль в минимальном обслуживании. Разработчик всегда готов полагаться на компоненты вместе с достаточно актуальным механизмом. Примечательно, что распределенная база данных имеет большую вероятность сложных внутренних компонентов.