Hoe Hadoop te installeren op Ubuntu 18.04 Bionic Beaver Linux

Apache Hadoop is een open source-framework dat wordt gebruikt voor gedistribueerde opslag en gedistribueerde verwerking van big data op clusters van computers die op gewone hardware draaien. Hadoop slaat gegevens op in Hadoop Distributed File System (HDFS) en de verwerking van deze gegevens gebeurt met behulp van MapReduce. YARN biedt een API voor het aanvragen en toewijzen van bronnen in het Hadoop-cluster.

Het Apache Hadoop-framework bestaat uit de volgende modules:

Hadoop algemeen
Hadoop gedistribueerd bestandssysteem (HDFS)
GAREN
KaartVerminderen

In dit artikel wordt uitgelegd hoe u Hadoop versie 2 op Ubuntu 18.04 installeert. We zullen HDFS (Namenode en Datanode), YARN, MapReduce installeren op het cluster met één knooppunt in Pseudo Distributed Mode, een gedistribueerde simulatie op een enkele machine. Elke Hadoop-daemon, zoals hdfs, garen, mapreduce enz., wordt uitgevoerd als een afzonderlijk/individueel Java-proces.

In deze tutorial leer je:

Gebruikers toevoegen voor Hadoop Environment
Hoe u de Oracle JDK installeert en configureert
Hoe wachtwoordloze SSH te configureren
Hoe Hadoop te installeren en de benodigde gerelateerde XML-bestanden te configureren
Hoe het Hadoop-cluster te starten
Toegang krijgen tot NameNode en ResourceManager Web UI

Namenode-webgebruikersinterface.

Andere versies van deze zelfstudie

Ubuntu 20.04 (Focal Fossa)

Voeg gebruikers toe voor Hadoop Environment

Maak de nieuwe gebruiker en groep aan met behulp van de opdracht:

# add user

Voeg een nieuwe gebruiker toe voor Hadoop.

Installeer en configureer de Oracle JDK

Download en pak het Java-archief uit in de map /opt.

# cd /opt
# tar -xzvf jdk-8u192-linux-x64.tar.gz

$ tar -xzvf jdk-8u192-linux-x64.tar.gz -C /opt

Om de JDK 1.8 Update 192 in te stellen als de standaard JVM zullen we de volgende opdrachten gebruiken:

# update-alternatives --install /usr/bin/java java /opt/jdk1.8.0_192/bin/java 100
# update-alternatives --install /usr/bin/javac javac /opt/jdk1.8.0_192/bin/javac 100

Na de installatie om te controleren of Java succesvol is geconfigureerd, voert u de volgende opdrachten uit:

# update-alternatives --display java
# update-alternatives --display javac

OracleJDK installatie en configuratie.

Configureer wachtwoordloze SSH

Installeer de Open SSH Server en Open SSH Client met de opdracht:

# sudo apt-get install openssh-server openssh-client

Genereer publieke en private sleutelparen met de volgende opdracht. De terminal zal vragen om de bestandsnaam in te voeren. Druk op ENTER en ga verder. Kopieer daarna de openbare sleutels van id_rsa.pub naar authorized_keys.

$ ssh-keygen -t rsa
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

Wachtwoordloze SSH-configuratie.

Controleer de wachtwoordloze ssh-configuratie met de opdracht:

$ ssh localhost

Wachtwoordloze SSH-controle.

Installeer Hadoop en configureer gerelateerde XML-bestanden

Download en extraheer Hadoop 2.8.5 van de officiële Apache-website.

# tar -xzvf hadoop-2.8.5.tar.gz

De omgevingsvariabelen instellen

Bewerk de bashrc voor de Hadoop-gebruiker door de volgende Hadoop-omgevingsvariabelen in te stellen:

export HADOOP_HOME=/home/hadoop/hadoop-2.8.5
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native"

Bron de .bashrc in de huidige inlogsessie.

$ source ~/.bashrc

Bewerk het bestand hadoop-env.sh dat zich in /etc/hadoop in de Hadoop-installatiemap bevindt en breng de volgende wijzigingen aan en controleer of u andere configuraties wilt wijzigen.

export JAVA_HOME=/opt/jdk1.8.0_192
export HADOOP_CONF_DIR=${HADOOP_CONF_DIR:-"/home/hadoop/hadoop-2.8.5/etc/hadoop"}

Wijzigingen in het hadoop-env.sh-bestand.

Configuratiewijzigingen in het core-site.xml-bestand

Bewerk de core-site.xml met vim of je kunt een van de editors gebruiken. Het bestand bevindt zich onder /etc/hadoop in de hadoop homedirectory en voegt de volgende vermeldingen toe.

<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/hadooptmpdata</value>
</property>
</configuration>

Maak bovendien de map aan onder de thuismap hadoop.

$ mkdir hadooptmpdata

Configuratie voor core-site.xml-bestand.

Configuratiewijzigingen in het bestand hdfs-site.xml

Bewerk de hdfs-site.xml die aanwezig is op dezelfde locatie, d.w.z. /etc/hadoop in de hadoop installatiemap en maak de Namenode/Datanode-mappen onder de hadoop-thuismap van de gebruiker.

$ mkdir -p hdfs/namenode
$ mkdir -p hdfs/datanode

<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
<name>dfs.name.dir</name>
<value>file:///home/hadoop/hdfs/namenode</value>
<name>dfs.data.dir</name>
<value>file:///home/hadoop/hdfs/datanode</value>
</property>
</configuration>

Configuratie voor hdfs-site.xml-bestand.

Configuratiewijzigingen in het bestand mapred-site.xml

Kopieer de mapred-site.xml uit mapred-site.xml.template met de opdracht cp en bewerk vervolgens de mapred-site. xml geplaatst in /etc/hadoop onder hadoop installatiemap met de volgende wijzigingen.

$ cp mapred-site.xml.template mapred-site.xml

Het nieuwe mapred-site.xml-bestand maken.

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

Configuratie voor mapred-site.xml-bestand.

Configuratiewijzigingen in het bestand garen-site.xml

Bewerk yarn-site.xml met de volgende gegevens.

<configuration>
<property>
<name>mapreduceyarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>

Configuratie voor garen-site.xml-bestand.

Het Hadoop-cluster starten

Formatteer het naamknooppunt voordat u het voor de eerste keer gebruikt. Voer als HDFS-gebruiker de onderstaande opdracht uit om de Namenode te formatteren.

$ hdfs namenode -format

Formatteer het naamknooppunt.

Zodra de Namenode is geformatteerd, start u de HDFS met behulp van het script start-dfs.sh.

Het DFS-opstartscript starten om HDFS te starten.

Om de YARN-services te starten, moet u het garenstartscript uitvoeren, d.w.z. start-yarn.sh

Het YARN-opstartscript starten om YARN te starten.

Om te verifiëren dat alle Hadoop-services/daemons succesvol zijn gestart, kunt u de opdracht jps gebruiken.

/opt/jdk1.8.0_192/bin/jps
20035 SecondaryNameNode
19782 DataNode
21671 Jps
20343 NodeManager
19625 NameNode
20187 ResourceManager

Hadoop Daemons-uitvoer van JPS-opdracht.

Nu kunnen we de huidige Hadoop-versie controleren die u onderstaande opdracht kunt gebruiken:

$ hadoop version

$ hdfs version

Controleer de Hadoop-versie.

HDFS-opdrachtregelinterface

Om toegang te krijgen tot de HDFS en een aantal mappen bovenaan DFS te maken, kunt u HDFS CLI gebruiken.

$ hdfs dfs -mkdir /test
$ hdfs dfs -mkdir /hadooponubuntu
$ hdfs dfs -ls /

HDFS-directory maken met behulp van HDFS CLI.

Toegang tot de Namenode en YARN vanuit de browser

U hebt toegang tot zowel de webinterface voor NameNode als YARN Resource Manager via een van de browsers zoals Google Chrome/Mozilla Firefox.

Web-UI van Namenode – http://:50070

Namenode-webgebruikersinterface.

HDFS-details van de Namenode-webgebruikersinterface.

Bladeren door HDFS-directory's via de Namenode-webgebruikersinterface.

De YARN Resource Manager (RM) webinterface toont alle actieve taken op het huidige Hadoop Cluster.

Web-UI van Resource Manager – http://:8088

Resource Manager-webgebruikersinterface.

Conclusie

De wereld verandert de manier waarop zij momenteel opereert en Big data speelt in deze fase een grote rol. Hadoop is een raamwerk dat ons leven gemakkelijk maakt tijdens het werken aan grote sets gegevens. Op alle fronten zijn er verbeteringen. De toekomst is spannend.