Как установить Hadoop в кластер с одним узлом в Windows?

Опубликовано: 15 Февраля, 2022

Hadoop можно установить двумя способами. Первый - в кластере с одним узлом, а второй - в кластере с несколькими узлами. Давайте посмотрим на объяснение их обоих. Но в этом разделе мы рассмотрим установку в кластере с одним узлом. Обсудим по порядку.

Кластер с одним узлом и кластер с несколькими узлами:

  1. Кластер с одним узлом - в нем работает один узел данных, который настраивает все NameNode, DataNode, Resource Manager и NodeManager на одном компьютере. Это используется для изучения и тестирования.
  2. Кластер с несколькими узлами - имеет более одного запущенного DataNode, и каждый DataNode работает на разных машинах.

Этапы установки в кластере с одним узлом

Шаги по установке Hadoop с одним узлом кластера в Windows следующие.

Предпосылка:

  1. JAVA-Java JDK (установлен)
  2. Пакет HADOOP-Hadoop (загружен)

Шаг 1. Убедитесь, что Java установлена.

 javac -version

Шаг 2. Распакуйте Hadoop в C: Hadoop

Шаг 3: Настройка переменной HADOOP_HOME

Используйте параметр переменной среды Windows для настройки пути Hadoop.

Шаг 4: установите переменную JAVA_HOME



Используйте параметр переменной среды Windows для настройки пути Hadoop.

Шаг 5. Задайте путь к каталогу bin Hadoop и Java

Шаг 6: Конфигурация Hadoop:

Для конфигурации Hadoop нам нужно изменить шесть файлов, которые перечислены ниже:

 1. Core-site.xml
2. Mapred-site.xml
3. Hdfs-site.xml
4. Пряжа-site.xml
5. Hadoop-env.cmd
6. Создайте две папки datanode и namenode.

Шаг 6.1: Конфигурация Core-site.xml

 <конфигурация>
   <собственность>
       <name> fs.defaultFS </name>
       <value> hdfs: // локальный хост: 9000 </value>
   </property>
</configuration>

Шаг 6.2: Конфигурация Mapred-site.xml

 <конфигурация>
   <собственность>
       <name> mapreduce.framework.name </name>
       <value> пряжа </value>
   </property>
</configuration>

Шаг 6.3: Конфигурация Hdfs-site.xml

 <конфигурация>
   <собственность>
       <name> dfs.replication </name>
       <value> 1 </value>
   </property>
   <собственность>
       <имя> dfs.namenode.name.dir </name>
       <значение> C:  hadoop-2.8.0  data  namenode </value>
   </property>
   <собственность>
       <name> dfs.datanode.data.dir </name>
       <значение> C:  hadoop-2.8.0  data  datanode </value>
   </property>
</configuration>

Шаг 6.4: Конфигурация Yarn-site.xml

 <конфигурация>
   <собственность>
        <name> yarn.nodemanager.aux-services </name>
        <value> mapreduce_shuffle </value>
   </property>
   <собственность>
          <name> yarn.nodemanager.auxservices.mapreduce.shuffle.class </name>  
    <value> org.apache.hadoop.mapred.ShuffleHandler </value>
   </property>
</configuration>

Шаг 6.5: конфигурация Hadoop-env.cmd

 Установите "JAVA_HOME = C:  Java" (на C:  java это путь к файлу jdk.18.0)

Шаг 6.6: Создайте папки datanode и namenode

 1. Создайте папку «data» в «C:  Hadoop-2.8.0».
2. Создайте папку «datanode» в «C:  Hadoop-2.8.0  data».
3. Создайте папку «namenode» в «C:  Hadoop-2.8.0  data».

Шаг 7. Отформатируйте папку namenode

Откройте командное окно (cmd) и введите команду «hdfs namenode –format».

Шаг 8: Тестирование настройки

Откройте командное окно (cmd) и введите команду «start-all.cmd».

Шаг 8.1: Тестирование настройки:

Убедитесь, что namenode, datanode и диспетчер ресурсов запущены.

Шаг 9: Откройте: http: // localhost: 8088

Шаг 10:

 Открыть: http: // localhost: 50070