Разница между Hadoop и Apache Spark
Hadoop: это набор программных утилит с открытым исходным кодом, которые упрощают использование сети из множества компьютеров для решения проблем, связанных с большими объемами данных и вычислений. Он предоставляет программную основу для распределенного хранения и обработки больших данных с использованием модели программирования MapReduce.
Hadoop построен на Java и доступен на многих языках программирования для написания кода MapReduce, включая Python, через клиент Thrift. Он доступен либо с открытым исходным кодом через дистрибутив Apache, либо у таких поставщиков, как Cloudera (крупнейший поставщик Hadoop по размеру и охвату), MapR или HortonWorks.
Apache Spark: это распределенная универсальная среда кластерных вычислений с открытым исходным кодом. Spark предоставляет интерфейс для программирования целых кластеров с неявным параллелизмом данных и отказоустойчивостью.
Spark построен на основе Spark Core, механизма, который управляет планированием, оптимизацией и абстракцией RDD, а также подключает Spark к нужной файловой системе (HDFS, S3, RDBMS или Elasticsearch). Есть несколько библиотек, которые работают поверх Spark Core, в том числе Spark SQL, который позволяет запускать SQL-подобные команды для распределенных наборов данных, MLLib для машинного обучения, GraphX для проблем с графами и потоковая передача, которая позволяет вводить непрерывную потоковую передачу. данные журнала.
Ниже представлена таблица различий между Hadoop и Apache Spark:
Функции Hadoop Apache Spark Обработка данных Apache Hadoop обеспечивает пакетную обработку Apache Spark обеспечивает как пакетную, так и потоковую обработку. Использование памяти Spark использует большой объем оперативной памяти Hadoop привязан к диску Безопасность Лучшие функции безопасности Безопасность в настоящее время находится в зачаточном состоянии Отказоустойчивость Репликация используется для отказоустойчивости RDD и различные модели хранения данных используются для обеспечения отказоустойчивости. Обработка графиков Используются такие алгоритмы, как PageRank Spark поставляется с библиотекой вычислений графиков под названием GraphX. Легкость использования Сложно использовать Легче использовать Обработка данных в реальном времени Не работает, когда дело доходит до обработки данных в реальном времени Он может обрабатывать данные в реальном времени Скорость Модель MapReduce от Hadoop выполняет чтение и запись с диска, что снижает скорость обработки. Spark сокращает количество циклов чтения / записи на диск и сохраняет промежуточные данные в памяти, что увеличивает скорость обработки. Задержка Это вычислительная среда с высокой задержкой Это вычисления с малой задержкой и могут обрабатывать данные в интерактивном режиме.