История страницы

...

В качестве образца используется инструкция https://github.com/MuhammadBilalYar/Hadoop-On-Window/wiki/Step-by-step-Hadoop-2.8.0-installation-on-Window-10

Инструкция

Загрузка и

...

подготовка дистрибутива

1. Загрузите дистрибутив hadoop с официального сайта https://archive.apache.org/dist/hadoop/common/. Из папки hadoop-2.8.3 заберите hadoop-2.8.3.tar.gz
2. Распакуйте файлы из tar.gz в директорию c:\dev\hadoop
3. Загрузите winutils для hadoop с сайта https://github.com/steveloughran/winutils в виде архива zip (файл winutils-master.zip)
4. Из архива winutils-master.zip из папки winutils-master\hadoop-2.8.3\bin скопируйте все файлы с раширениями расширениями dll, exp, lib, exp, exe в папку c:\dev\hadoop\hadoop-2.8.3\bin

...

1. Создайте директорию c:\dev\hadoop\data и две поддиректории c:\dev\hadoop\data\namenode и c:\dev\hadoop\data\datanode . В этих директориях кластер будет хранить данные namenode и datanode
2. Файлы конфигурации находятся в директории c:\dev\hadoop\hadoop-2.8.3\etc\hadoop

3. Добавте Добавьте в файл core-site.xml в тэг <configuration> (между <configuration> и </configuration>)

   Блок кода
   <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property>

   
   

4. Переименуйте файл mapred-site.xml.template в mapred-site.xml и добавьте в него в тэге <configuration> 

   Блок кода
   <property> <name>mapreduce.job.user.name</name> <value>%USERNAME%</value> </property> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> <property> <name>yarn.apps.stagingDir</name> <value>/user/%USERNAME%/staging</value> </property> <property> <name>mapreduce.jobtracker.address</name> <value>local</value> </property>

   
   

5. В файле yarn-site.xml в тэг <configuration> добавьте

   Блок кода
   <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property>

   
   

6. В файле hdfs-site.xml в секцию <configuration> добавьте replication factor и пути, где кластер будет хранить данные для namenode и datanode

   Блок кода
   <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>c:\dev\hadoop\hadoop-2.8.3\data\namenode</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>c:\dev\hadoop\hadoop-2.8.3\data\datanode</value> </property>

   
   

...

1. Запустите консоль (команда cmd)

2. В консоле консоли выполните (в принципе это нужно выполнять всякий раз, когда нужно будет работать с кластером)

   Блок кода
   set HADOOP_HOME=c:\dev\hadoop\hadoop-2.8.3 set HADOOP_CONF_DIR=%HADOOP_HOME%\etc\hadoop set PATH=%PATH%;%HADOOP_HOME%\sbin;%HADOOP_HOME%\bin

   
   

3. Выполните форматирование namenode. Помните, что при повторном форматировании из кластера будут удалены все данные.

   Блок кода
   hdfs.cmd namenode -format

   
   

4. Запустите кластер

   Блок кода
   start-all.cmd

   
   

5. Должны запуститься без ошибок 4 демона в 4-х консолях. Имена консолей: 
   1. Apache Hadoop Distiribution - hadoop namenode
   2. Apache Hadoop Distiribution - hadoop datanode
   3. Apache Hadoop Distiribution - yarn nodemanager
   4. Apache Hadoop Distiribution - yarn resourcemanager
6. По ссылке http://localhost:8088 должен быть доступен yarn recourse manager UI
7. По ссылке http://localhost:50070  доступен Namenode information сайт.

8. Положите в hdfs какой-нибудь файл (для примера выбран winutils-master.zip)

   Блок кода
   hdfs dfs -copyFromLocal winutils-master.zip /

   
   

9. Проверьте, что файл был загружен

   Блок кода
   hdfs dfs -ls /

   
   

...