Zoeken op website

Hoe u hoge beschikbaarheid voor Namenode instelt - Deel 5

Hadoop heeft twee kerncomponenten: HDFS en YARN. HDFS is voor het opslaan van de gegevens, YARN is voor het verwerken van de gegevens. HDFS is Hadoop Distributed File System, het heeft Namenode als Master Service en Datanode als Slavedienst.

Namenode is het cruciale onderdeel van Hadoop, dat de metagegevens opslaat van gegevens die zijn opgeslagen in HDFS. Als de Namenode uitvalt, zal het hele cluster niet toegankelijk zijn; dit is het single point of fail (SPOF). De productieomgeving beschikt dus over Namenode High Availability om productie-uitval te voorkomen als een Namenode uitvalt vanwege verschillende redenen, zoals machinecrash, geplande onderhoudsactiviteiten, enz.

Hadoop 2.x biedt de haalbaarheid waarbij we twee Namenodes kunnen hebben, één zal Active Namenode zijn en een andere zal Standby Namenode< zijn /sterk>.

  • Actieve naamnode – Het beheert alle clientbewerkingen.
  • Standby Namenode – Het is overbodig van Actieve Namenode. Als Active NN uitvalt, zal Standby NN alle verantwoordelijkheid van Active NN op zich nemen.

Voor het inschakelen van Namenode High Availability is Zookeeper vereist, wat verplicht is voor automatische failover. ZKFC (Zookeeper Failover Controller) is een Zookeeper-client die wordt gebruikt om de status van Namenode te behouden.

Vereisten

  • Best practices voor het implementeren van Hadoop Server op CentOS/RHEL 7 – Deel 1
  • Hadoop-vereisten en beveiliging instellen – Deel 2
  • Hoe u de Cloudera Manager op CentOS/RHEL 7 installeert en configureert – Deel 3
  • CDH installeren en serviceplaatsingen configureren op CentOS/RHEL 7 – Deel 4

In dit artikel gaan we Namenode High Availability inschakelen in Cloudera Manager.

Stap 1: Installatie van Zookeeper

1. Meld u aan bij Cloudera Manager.

http://Your-IP:7180/cmf/home

2. Selecteer in de actieprompt Cluster (tecmint) 'Service toevoegen'.

3. Selecteer de service “Zookeeper”.

4. Selecteer de servers waarop we Zookeeper geïnstalleerd willen hebben.

5. We hebben 3 Dierenverzorgers om het Zookeeper Quorum te vormen. Selecteer de servers zoals hieronder vermeld.

6. Configureer de Zookeeper eigenschappen, hier hebben we de standaardeigenschappen. In realtime moet u aparte directory/koppelpunten hebben voor het opslaan van Zookeeper-gegevens. In Deel-1 hebben we uitleg gegeven over de opslagconfiguratie voor elke service. Klik op ‘doorgaan’ om door te gaan.

7. De installatie begint. Eenmaal geïnstalleerd, wordt Zookeeper gestart. U kunt de achtergrondbewerkingen hier bekijken.

8. Na succesvolle voltooiing van de bovenstaande stap is de status ‘Voltooid’.

9. Nu is Zookeeper met succes geïnstalleerd en geconfigureerd. Klik op ‘Voltooien’.

10. U kunt de Zookeeper-service bekijken op het Cloudera Manager Dashboard.

Stap 2: Hoge beschikbaarheid van Namenode inschakelen

11. Ga naar Cloudera Manager –> HDFS –> Acties –> Hoge beschikbaarheid inschakelen sterk>.

12. Voer de Naamservicenaam in als “naamservice1 ” – Dit is een algemene naamruimte voor zowel actieve als standby-naamnode.

13. Selecteer de Tweede Namenode waar we een stand-by Namenode zullen hebben.

14. Hier selecteren we master2.linux-console.net voor stand-by Namenode.

15. Selecteer de Journal knooppunten. Dit zijn verplichte services voor het synchroniseren van Actief en Standby Namenode.

16. We maken Quorum Journal door het Journal knooppunt op drie servers te plaatsen, zoals hieronder vermeld. Selecteer 3 servers en klik op ‘OK’.

17. Klik op ‘Doorgaan’ om door te gaan.

18. Voer het mappad Journal Node in. We hoeven alleen het pad te vermelden terwijl de installatie van deze map automatisch door de service zelf wordt aangemaakt. We vermelden dit als ‘/jn’. Klik op ‘Doorgaan’ om door te gaan.

19. De Hoge beschikbaarheid wordt ingeschakeld.

20. Zodra alle achtergrondprocessen zijn voltooid, krijgen we de status ‘Voltooid’.

21. Ten slotte krijgen we de melding 'Hoge beschikbaarheid succesvol ingeschakeld'. Klik op ‘Voltooien’.

22. Controleer de Actieve en Standby Namenode door naar Cloudera Manager –> HDFS te gaan > –> Instances.

23. Hier kun je twee Namenodes plaatsen, één in de status 'Actief' en een andere in 'Stand-by' ' staat.

Conclusie

In dit artikel hebben we het stapsgewijze proces doorlopen om Namenode High Availability in te schakelen. Het wordt ten zeerste aanbevolen om Namenode High Availability in alle clusters in een realtime omgeving te hebben. Post uw twijfels als u tijdens dit proces een fout tegenkomt. We zullen Resource Manager Hoge beschikbaarheid in het volgende artikel bespreken.