HBase-installation på Ubuntu

Indholdsfortegnelse:

Anonim

I denne vejledning - lærer du,

  • Apache HBase installationsfunktioner
  • Sådan downloades Hbase tar-fil stabil version
  • Hbase - Installation af uafhængig tilstand
  • Hbase - Pseudo Distribueret installationstilstand
  • Hbase - Installation med fuldt distribueret tilstand
  • HBase Installation Fejlfinding

Apache HBase installationsfunktioner

Apache HBase kan installeres i tre tilstande. Funktionerne i disse tilstande er nævnt nedenfor.

1) Installation af uafhængig tilstand (ingen afhængighed af Hadoop-system)

  • Dette er standardtilstand for HBase
  • Det kører mod det lokale filsystem
  • Det bruger ikke Hadoop HDFS
  • Kun HMaster-dæmonen kan køre
  • Anbefales ikke til produktionsmiljø
  • Kører i enkelt JVM

2) Installation af pseudodistribueret tilstand (Single node Hadoop-system + HBase-installation)

  • Det kører på Hadoop HDFS
  • Alle dæmoner kører i en enkelt node
  • Anbefal til produktionsmiljø

3) Installation med fuldt distribueret tilstand (MultinodeHadoop-miljø + HBase-installation)

  • Det kører på Hadoop HDFS
  • Alle dæmoner løber på tværs af alle noder, der er til stede i klyngen
  • Stærkt anbefalet til produktionsmiljø

Ved installation af Hadoop Se denne URL her

Sådan downloades Hbase tar-fil stabil version

Trin 1) Gå til linket her for at downloade HBase. Det åbner en webside som vist nedenfor.

Trin 2) Vælg stabil version som vist nedenfor 1.1.2 version

Trin 3) Klik på hbase-1.1.2-bin.tar.gz. Det vil downloade tar-fil. Kopier tarfilen til et installationssted.

Hbase - Installation af uafhængig tilstand:

Installationen udføres på Ubuntu med Hadoop allerede installeret.

Trin 1) Placer hbase-1.1.2-bin.tar.gz i / home / hduser

Trin 2) Pak den ud ved at udføre kommandoen $ tar -xvf hbase-1.1.2-bin.tar.gz . Det udpakker indholdet, og det opretter hbase-1.1.2 på placeringen / hjemmet / hduser

Trin 3) Åbn hbase-env.sh som nedenfor og nævn JAVA_HOME-stien på placeringen.

Trin 4) Åbn ~ / .bashrc-filen og nævn HBASE_HOME-stien som vist nedenfor

eksport HBASE_HOME = / home / hduser / hbase-1.1.1 eksport PATH = $ PATH: $ HBASE_HOME / bin

Trin 5) Åbn hbase-site.xml og placer følgende egenskaber inde i filen

hduser @ ubuntu $ gedit hbase-site.xml (kode som nedenfor)

hbase.rootdirfile:///home/hduser/HBASE/hbase
hbase.zookeeper.property.dataDir/home/hduser/HBASE/zookeeper

Her placerer vi to egenskaber

  • En til HBase rodmappe og
  • Den anden for datakatalog svarer til ZooKeeper.

Alle HMaster- og ZooKeeper-aktiviteter påpeger denne hbase-site.xml.

Trin 6) Åbn værtsfil til stede i / osv. placering og nævne IP'erne som vist nedenfor.

Trin 7) Kør nu Start-hbase.sh i hbase-1.1.1 / bin placering som vist nedenfor.

Og vi kan tjekke ved hjælp af jps-kommandoen for at se, at HMaster kører eller ikke.

Trin 8) HBase-shell kan starte med at bruge "hbase shell", og den går i interaktiv shell-tilstand som vist i nedenstående skærmbillede. Når det er gået i shell-tilstand, kan vi udføre alle typer kommandoer.

Den uafhængige tilstand kræver ikke, at Hadoop-dæmoner skal starte. HBase kan køre uafhængigt.

Hbase - Pseudo Distribueret installationstilstand:

Dette er en anden metode til Apache Hbase Installation, kendt som Pseudo Distribueret installationstilstand. Nedenfor er trinene til installation af HBase gennem denne metode.

Trin 1) Placer hbase-1.1.2-bin.tar.gz i / home / hduser

Trin 2) Pak den ud ved at udføre kommandoen $ tar -xvf hbase-1.1.2-bin.tar.gz . Det udpakker indholdet, og det opretter hbase-1.1.2 på placeringen / hjemmet / hduser

Trin 3) Åbn hbase-env.sh som følger nedenfor og nævn JAVA_HOME sti og Region servere sti på placeringen og eksporter kommandoen som vist

Trin 4) I dette trin skal vi åbne ~ / .bashrc-filen og nævne HBASE_HOME-stien som vist i skærmbillede.

Trin 5) Åbn HBase-site.xml, og nævn nedenstående egenskaber i filen. (Kode som nedenfor) 

hbase.rootdirhdfs://localhost:9000/hbase
hbase.cluster.distributedtrue
hbase.zookeeper.quorumlocalhost
dfs.replication1
hbase.zookeeper.property.clientPort2181
hbase.zookeeper.property.dataDir/home/hduser/hbase/zookeeper
  1. Opsætning af Hbase-rodmappe i denne egenskab
  2. For distribueret opsætning skal vi indstille denne ejendom
  3. ZooKeeper kvorumsejendom skal oprettes her
  4. Replikering oprettet udført i denne egenskab. Som standard placerer vi replikering som 1.

    I den fuldt distribuerede tilstand findes der flere datanoder, så vi kan øge replikationen ved at placere mere end 1 værdi i dfs.replication-egenskaben

  5. Klientport skal nævnes i denne egenskab
  6. ZooKeeper-datakatalog kan nævnes i denne egenskab

Trin 6) Start Hadoop-dæmoner først, og start derefter HBase-dæmoner som vist nedenfor

Her skal du først starte Hadoop-dæmoner ved at bruge kommandoen "./start-all.sh" som vist nedenfor.

Efter start af Hbase-dæmoner ved hbase-start.sh

Tjek nu jps

Hbase - Fuldt distribueret tilstandsinstallation: -

  • Denne opsætning fungerer i Hadoop-klyngetilstand, hvor flere noder gyder over klyngen og kører.
  • Installationen er den samme som pseudodistribueret tilstand; den eneste forskel er, at den vil gyde på tværs af flere noder.
  • De konfigurationsfiler, der er nævnt i HBase-site.xml og hbase-env.sh, er de samme som nævnt i pseudotilstand.

HBase Installation Fejlfinding

1) Problemerklæring: Masterserver initialiseres, men regionservere initialiseres ikke

Kommunikationen mellem master- og regionservere via deres IP-adresser. Ligesom den måde, Master vil lytte til, at regionservere kører eller har IP-adressen 127.0.0.1. IP-adressen 127.0.0.1, som er den lokale vært og løser til hovedserverens egen lokale vært.

Årsag:

I dobbelt kommunikation mellem regionsservere og master informerer regionsserveren løbende Master-serveren om deres IP-adresser er 127.0.0.1.

Opløsning:

  • Skal fjerne masterservernavnet node fra lokal vært, der er til stede i værtsfilen
  • Værtsfilplacering / etc / hosts

Hvad skal du ændre:

Åbn /etc./hosts, og gå til denne placering

127.0.0.1 fully.qualified.regionservernameregionservername localhost.localdomain localhost: : 1 localhost3.localdomain3 localdomain3

Rediger ovenstående konfiguration som nedenfor (fjern regionens servernavn som fremhævet ovenfor)

127.0.0.1 localhost.localdomainlocalhost: : 1 localhost3.localdomain3 localdomain3

2) Problemerklæring: Kunne ikke finde min adresse: XYZ på listen over Zookeeper-kvorumsservere

Årsag:

  • ZooKeeper-serveren kunne ikke starte, og den vil kaste en fejl som .xyz i serverens navn.
  • HBase forsøger at starte en ZooKeeper-server på en eller anden maskine, men samtidig er maskinen ikke i stand til at finde sig selv kvorumskonfigurationen, dvs. findes i HBase.zookeeper.quorum- konfigurationsfilen.

Opløsning:-

  • Skal erstatte værtsnavnet med et værtsnavn, der vises i fejlmeddelelsen
  • Antag, at vi har DNS-server, så kan vi indstille nedenstående konfigurationer i HBase-site.xml.
    • HBase.zookeeper.dns.interface
    • HBase.zookeeper.dns.nameserver

3) Problemerklæring: Oprettet rodmappe til HBase gennem Hadoop DFS

  • Master siger, at du skal køre HBase-migrationsscriptet.
  • Når du kører det , reagerer HBase-migrationsscriptet som ingen filer i rodmappen .

Årsag:

  • Oprettelse af ny mappe til HBase ved hjælp af Hadoop Distribueret filsystem
  • Her forventer HBase to muligheder

1) rodmappen findes ikke

2) HBase tidligere kørende instans initialiseret før

Opløsning:

  • Gør overensstemmelse, HBase-rodmappen findes ikke i øjeblikket eller er blevet initialiseret af en tidligere kørsel af HBase-forekomst.
  • Som en del af løsningen skal vi følge trinene

Trin 1) Brug Hadoop dfs til at slette HBase-rodmappen

Trin 2) HBase opretter og initialiserer biblioteket af sig selv

4) Problem erklæring: Zookeeper session udløb begivenheder

Årsag:

  • HMaster- eller HRegion-servere lukker ned ved at kaste undtagelser
  • Hvis vi observerer logfiler, kan vi finde ud af de faktiske undtagelser, der kastes

Følgende viser undtagelsen, der er kastet på grund af begivenheden for Zookeeper udløbet. De fremhævede begivenheder er nogle af de undtagelser, der opstod i logfilen

Logfiler kode som vist nedenfor:

WARN org.apache.zookeeper.ClientCnxn: Exceptionclosing session 0x278bd16a96000f to sun.nio.ch.SelectionKeyImpl@355811ecjava.io.IOException: TIMED OUT at org.apache.zookeeper.ClientCnxn$SendThread.run(ClientCnxn.java:906)WARN org.apache.hadoop.hbase.util.Sleeper: We slept 79410ms, ten times longer than scheduled: 5000INFO org.apache.zookeeper.ClientCnxn: Attempting connection to server hostname/IP:PORTINFO org.apache.zookeeper.ClientCnxn: Priming connection to java.nio.channels.SocketChannel[connected local=/IP:PORT remote=hostname/IP:PORT]INFO org.apache.zookeeper.ClientCnxn: Server connection successfulWARN org.apache.zookeeper.ClientCnxn: Exception closing session 0x278bd16a96000d to sun.nio.ch.SelectionKeyImpl@3544d65ejava.io.IOException: Session Expired at org.apache.zookeeper.ClientCnxn$SendThread.readConnectResult(ClientCnxn.java:589)at org.apache.zookeeper.ClientCnxn$SendThread.doIO(ClientCnxn.java:709)at org.apache.zookeeper.ClientCnxn$SendThread.run(ClientCnxn.java:945)ERROR org.apache.hadoop.hbase.regionserver.HRegionServer: ZooKeeper session expired

Opløsning:

  • Standard RAM-størrelse er 1 GB. For at udføre langvarig import har vi opretholdt RAM-kapacitet mere end 1 GB.
  • Nødt til at øge sessionens timeout for Zookeeper.
  • For at øge sessionstiden ud af Zookeeper skal vi ændre følgende egenskab i "hbase-site.xml", der findes i stien hbase / conf.
  • Standard timeout for session er 60 sekunder. Vi kan ændre det til 120 sekunder som nævnt nedenfor
 zookeeper.session.timeout 1200000
 hbase.zookeeper.property.tickTime 6000