CDH installeren en serviceplaatsingen configureren op CentOS/RHEL 7 - Deel 4
In een eerder artikel hebben we de installatie van Cloudera Manager uitgelegd, in dit artikel leert u hoe u CDH (Cloudera Distribution Hadoop) installeert en configureert in RHEL/CentOS 7.
Tijdens de installatie van het CDH-pakket moeten we ervoor zorgen dat de compatibiliteit tussen Cloudera Manager en CDH gewaarborgd is. De Cloudera-versie bestaat uit 3 delen:
We gebruiken bijvoorbeeld Cloudera Manager 6.3.1 en CDH 6.3.2. Hier is 6 de hoofdversie en 3 de secundaire versie. Major en Minor moeten hetzelfde zijn om compatibiliteitsproblemen te voorkomen.
Vereisten
- Best practices voor het implementeren van Hadoop Server op CentOS/RHEL 7 – Deel 1
- Hadoop-vereisten en beveiliging instellen – Deel 2
- Hoe u de Cloudera Manager op CentOS/RHEL 7 installeert en configureert – Deel 3
We gebruiken de onderstaande 2 knooppunten voor het installeren van CDH. We hebben Cloudera Manager al geïnstalleerd in master1, en we gebruiken master1 ook als repo-server.
master1.linux-console.net
worker1.linux-console.net
Stap 1: Download CDH Parcels op Master Server
1. Maak eerst verbinding met de master1 server en download CDH Parcels bestanden in de /var/www/html/cloudera-repos/ cdh map . We moeten de hieronder genoemde 3 bestanden downloaden die compatibel moeten zijn met RHEL/CentOS 7.
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1
manifest.json
2. Voordat u deze bestanden downloadt, moet u ervoor zorgen dat u een map cdh aanmaakt op de locatie /var/www/html/cloudera-repos/.
cd /var/www/html/cloudera-repos/
sudo mkdir cdh
cd cdh
3. Download vervolgens de bovengenoemde 3 bestanden met behulp van de volgende wget-opdracht.
sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel
sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1
sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/manifest.json
Stap 2: Stel Cloudera Manager Repo in op Worker-clients
4. Maak nu verbinding met werknemer servers en kopieer het repositorybestand (cloudera-manager.repo) van de reposerver (master1<) naar alle resterende werkservers. Dit repo-bestand zorgt ervoor dat de servers tijdens de installatie alle benodigde pakketten en RPM's van de repo-server zullen downloaden.
cat >/etc/yum.repos.d/cloudera-manager.repo <<EOL
[cloudera-repo]
name=cloudera-manager
baseurl=http://104.211.95.96/cloudera-repos/cm6/
enabled=1
gpgcheck=0
EOL
5. Nadat de repository is toegevoegd, vermeldt u de ingeschakelde repository's om er zeker van te zijn dat de cloudera-manager repository is ingeschakeld.
yum repolist
Stap 3: Installeer Cloudera Manager Daemons en Agent op werkservers
6. Nu moeten we cloudera-manager-daemons en cloudera-manager-agent op alle overige servers installeren.
sudo yum install cloudera-manager-daemons cloudera-manager-agent
7. Vervolgens moet u de Cloudera Manager-agent configureren om de Cloudera Manager-server te rapporteren.
sudo vi /etc/cloudera-scm-agent/config.ini
Vervang de localhost door het Cloudera Manager server-IP-adres.
8. Start Cloudera Manager Agent en verifieer de status.
sudo systemctl start cloudera-scm-agent
sudo systemctl status cloudera-scm-agent
Stap 4: CDH installeren en instellen
We hebben CDH pakketten in master1 – reposerver. Zorg ervoor dat alle servers een Cloudera Manager repo-bestand hebben in /etc/yum.repos.d/ als u de automatische installatie volgt met Cloudera Manager.
9. Log in op Cloudera Manager met behulp van de onderstaande URL op poort 7180 en gebruik de standaard gebruikersnaam en wachtwoord van Cloudera Manager.
http://104.211.95.96:7180/cmf/login
Username: admin
Password: admin
10. Zodra u zich aanmeldt, wordt u begroet op de welkomstpagina. Hier vindt u Release-opmerkingen en nieuwe functies van Cloudera Manager.
11. Accepteer de licentie en ga door.
12. Selecteer de editie. Standaard is de proefversie geselecteerd, daar kunnen we mee verder.
13. Volg nu de stappen voor de clusterinstallatie. Ga verder met de welkomstpagina.
14. Geef het cluster een naam en ga verder. We hebben de naam 'tecmint' genoemd. Er zijn twee typen clusters die u kunt definiëren. We gaan verder met reguliere cluster.
- Regulier cluster: bestaat uit opslagknooppunten, rekenknooppunten en andere noodzakelijke services.
- Rekencluster: bestaat alleen uit rekenknooppunten. Externe opslag kan worden gebruikt voor het opslaan van gegevens.
15. We hebben al Cloudera Manager Agents op alle servers geïnstalleerd. U kunt deze servers vinden in “Momenteel beheerde hosts”. Voor automatische installatie moet u de FQDN of het IP-adres van de servers invoeren in de optie “Nieuwe hosts” en zoeken. Cloudera Manager detecteert automatisch de hosts waarop we CDH moeten installeren.
Klik hier op “Momenteel beheerde hosts”, selecteer alle hosts door ‘Hostnaam’ te selecteren en ga verder.
16. Selecteer Repository – het gebruik van Parcel is de aanbevolen manier. Klik op ‘Meer opties’ om de repository te configureren.
17. Voer de URL van de lokale opslagplaats in, zoals hieronder vermeld. Verwijder alle resterende openbare opslagplaatsen die naar Web verwijzen (Cloudera Repositories).
Dit is de CDH lokale repository-URL die we hebben in master1.
http://104.211.95.96/cloudera-repos/cdh/
18. Zodra de repository-URL is ingevoerd, toont deze pagina alleen beschikbare pakketten. Ga door met deze stap.
19. Nu worden de pakketten gedownload, gedistribueerd, uitgepakt en geactiveerd op alle beschikbare servers.
20. Zodra de CDH-pakketten zijn geactiveerd, inspecteert u het Cluster. Met deze stap wordt een statuscontrole van het cluster uitgevoerd. Hier slaan we over en gaan verder.
Stap 5: Clusterconfiguratie
21. Hier moeten we de Services selecteren die in Cluster moeten worden geïnstalleerd. Sommige verpakte combinaties zijn standaard beschikbaar, wij gebruiken Aangepaste services.
22. In Aangepaste services installeren we alleen Kerncomponenten (HDFS en YARN >) voor dit demodoel.
23. Wijs de rollen toe aan de server. We kunnen aanpassen aan onze vereisten. Zoek het onderstaande diagram waarin de aanbevolen rolverdeling wordt beschreven voor een eenvoudig klein cluster met 5 tot 20 knooppunten met hoge beschikbaarheid.
24. Selecteer het databasetype, de hostnaam, de DB-naam, de gebruikersnaam en het wachtwoord. Omdat we Embedded PostgreSQL gebruiken, wordt dit standaard geselecteerd. Test de verbinding, deze zou succesvol moeten zijn.
25. Op deze pagina worden de standaardconfiguratieparameters van HDFS en Yarn weergegeven, inclusief gegevensmappen. Bekijk alle configuratiegegevens en breng indien nodig wijzigingen aan. Ga dan verder hiermee.
26. Op deze pagina worden de details van de opdracht ‘Eerste run’ weergegeven. U kunt het uitvouwen om de details van actieve opdrachten te bekijken. Als er netwerk- of toestemmingsproblemen in het cluster zijn, mislukt deze stap. Meestal bepaalt deze stap de vlotte installatie van het Clustergebouw.
27. Zodra de bovenstaande stap is voltooid, klikt u op ‘Voltooien’ om de installatie te voltooien. Dit is het Dashboard van Cloudera Manager na installatie van CDH.
http://104.211.95.96:7180/cmf/home
Conclusie
We hebben de installatie van Cloudera Manager en CDH met succes voltooid. In het Cloudera Manager Dashboard vindt u een vooraf gedefinieerde reeks grafieken waarin u Cluster CPU, Disk IO etc. kunt monitoren. We kunnen het hele Cluster beheren met behulp van deze Cloudera Manager . We zullen alle administratieve handelingen in de komende artikelen zien.