Инсталација ХБасе-а на Убунту-у

Преглед садржаја:

Anonim

У овом упутству ћете научити,

  • Начини инсталације Апацхе ХБасе
  • Како преузети стабилну верзију датотеке Хбасе тар
  • Хбасе - Инсталација у самосталном режиму
  • Хбасе - Псеудо дистрибуирани начин инсталације
  • Хбасе - Инсталација у потпуно дистрибуираном режиму
  • Решавање проблема са инсталацијом ХБасе

Начини инсталације Апацхе ХБасе

Апацхе ХБасе се може инсталирати у три начина. Карактеристике ових режима поменуте су у наставку.

1) Инсталација самосталног режима (без зависности од Хадооп система)

  • Ово је задани режим ХБасе
  • Покреће се против локалног система датотека
  • Не користи Хадооп ХДФС
  • Само ХМастер демон може да ради
  • Не препоручује се за производно окружење
  • Ради у једном ЈВМ-у

2) Инсталација псеудо-дистрибуираног режима (систем Хадооп са једним чвором + инсталација ХБасе)

  • Ради на Хадооп ХДФС
  • Сви демони раде у једном чвору
  • Препоручити за производно окружење

3) Инсталација у потпуно дистрибуираном режиму (окружење МултинодеХадооп + инсталација ХБасе)

  • Ради на Хадооп ХДФС
  • Сви демони ће се покретати преко свих чворова присутних у кластеру
  • Препоручује се за производно окружење

За инсталацију Хадооп-а, погледајте овај УРЛ овде

Како преузети стабилну верзију датотеке Хбасе тар

Корак 1) Идите на везу овде да бисте преузели ХБасе. Отвориће веб страницу као што је приказано доле.

Корак 2) Изаберите стабилну верзију као што је приказано испод верзије 1.1.2

Корак 3) Кликните на хбасе-1.1.2-бин.тар.гз. Преузеће тар датотеку. Копирајте тар датотеку на место инсталације.

Хбасе - Инсталација у самосталном режиму:

Инсталација се врши на Убунту-у са већ инсталираним Хадооп-ом.

Корак 1) Поставите хбасе-1.1.2-бин.тар.гз у / хоме / хдусер

Корак 2) Распакујте га извршењем наредбе $ тар -квф хбасе-1.1.2-бин.тар.гз . Распаковаће садржај и створит ће хбасе-1.1.2 на локацији / хоме / хдусер

Корак 3) Отворите хбасе-енв.сх као испод и наведите путању ЈАВА_ХОМЕ на локацији.

Корак 4) Отворите датотеку ~ / .басхрц и спомените путању ХБАСЕ_ХОМЕ како је приказано доле

извоз ХБАСЕ_ХОМЕ = / хоме / хдусер / хбасе-1.1.1 извоз ПАТХ = $ ПАТХ: $ ХБАСЕ_ХОМЕ / бин

Корак 5) Отворите хбасе-сите.кмл и сместите следећа својства у датотеку

хдусер @ убунту $ гедит хбасе-сите.кмл (код као доле)

hbase.rootdirfile:///home/hduser/HBASE/hbase
hbase.zookeeper.property.dataDir/home/hduser/HBASE/zookeeper

Овде постављамо два својства

  • Један за ХБасе роот директоријум и
  • Други за директоријум података одговара ЗооКеепер-у.

Све активности ХМастер-а и ЗооКеепер-а указују на овај хбасе-сите.кмл.

Корак 6) Отворите датотеку домаћина која се налази у / етц. локацију и наведите ИП адресе као што је приказано у наставку.

Корак 7) Сада покрените Старт-хбасе.сх на локацији хбасе-1.1.1 / бин, као што је приказано доле.

А можемо проверити помоћу јпс команде да видимо да ли ХМастер ради или не.

Корак 8) ХБасе љуска може започети коришћењем „хбасе схелл“ и ући ће у интерактивни режим љуске као што је приказано на доњем снимку екрана. Једном када уђе у режим љуске, можемо извршавати све врсте наредби.

Самостални режим не захтева покретање Хадооп демона. ХБасе може радити независно.

Хбасе - Псеудо дистрибуирани начин инсталације:

Ово је још једна метода за инсталацију Апацхе Хбасе, позната као псеудо дистрибуирани начин инсталације. Испод су кораци за инсталирање ХБасе путем ове методе.

Корак 1) Поставите хбасе-1.1.2-бин.тар.гз у / хоме / хдусер

Корак 2) Распакујте га извршењем наредбе $ тар -квф хбасе-1.1.2-бин.тар.гз . Распаковаће садржај и створит ће хбасе-1.1.2 на локацији / хоме / хдусер

Корак 3) Отворите хбасе-енв.сх као што следи у наставку и наведите ЈАВА_ХОМЕ путању и путању регионалних сервера на локацији и извезите команду као што је приказано

Корак 4) У овом кораку отворићемо датотеку ~ / .басхрц и споменути путању ХБАСЕ_ХОМЕ како је приказано на снимку екрана.

Корак 5) Отворите ХБасе-сите.кмл и у датотеци наведите доња својства. (Кодирајте као испод) 

hbase.rootdirhdfs://localhost:9000/hbase
hbase.cluster.distributedtrue
hbase.zookeeper.quorumlocalhost
dfs.replication1
hbase.zookeeper.property.clientPort2181
hbase.zookeeper.property.dataDir/home/hduser/hbase/zookeeper
  1. Постављање основног директоријума Хбасе у овом својству
  2. За дистрибуирано подешавање морамо поставити ово својство
  3. Овде треба поставити својство кворума ЗооКеепер
  4. Постављање репликације извршено у овом својству. Подразумевано стављамо репликацију као 1.

    У потпуно дистрибуираном режиму присутно је више чворова података, тако да можемо повећати репликацију постављањем више од 1 вредности у својство дфс.реплицатион

  5. Клијентски порт треба споменути у овом својству
  6. У овом својству се може споменути ЗооКеепер директоријум података

Корак 6) Прво покрените Хадооп демоне, а након тога покрените ХБасе демоне као што је приказано доле

Овде прво морате покренути Хадооп демоне помоћу команде "./старт-алл.сх" као што је приказано доле.

Након покретања Хбасе демона од стране хбасе-старт.сх

Сада проверите јпс

Хбасе - Инсталација у потпуно дистрибуираном режиму: -

  • Ова поставка ће радити у режиму кластера Хадооп, где се више чворова мрести преко кластера и ради.
  • Инсталација је иста као псеудо дистрибуирани режим; једина разлика је у томе што ће се он појавити на више чворова.
  • Датотеке за конфигурацију које се помињу у ХБасе-сите.кмл и хбасе-енв.сх једнаке су онима које су поменуте у псеудо режиму.

Решавање проблема са инсталацијом ХБасе

1) Изјава о проблему: Главни сервер се иницијализује, али регионални сервери се не иницијализују

Комуникација између главног и регионалног сервера путем њихових ИП адреса. Као и начин на који ће Мастер слушати да регионални сервери раде или имају ИП адресу 127.0.0.1. ИП адреса 127.0.0.1 која је локални хост и која се разрешује на сопствени локални хост главног сервера.

Узрок:

У дуалној комуникацији између регионалних сервера и матичног, регионални сервер континуирано обавештава главни сервер о њиховим ИП адресама 127.0.0.1.

Решење:

  • Морате уклонити чвор имена главног сервера са локалног хоста који је присутан у датотеци хостова
  • Локација датотеке хоста / етц / хостс

Шта променити:

Отворите /етц./хостс и идите на ову локацију

127.0.0.1 fully.qualified.regionservernameregionservername localhost.localdomain localhost: : 1 localhost3.localdomain3 localdomain3

Измените горњу конфигурацију као у наставку (уклоните име сервера региона као што је горе истакнуто)

127.0.0.1 localhost.localdomainlocalhost: : 1 localhost3.localdomain3 localdomain3

2) Изјава о проблему: Нисам успео да пронађем моју адресу: КСИЗ на листи сервера кворума Зоокеепер

Узрок:

  • ЗооКеепер сервер није могао да се покрене и у име сервера ће избацити грешку попут .киз.
  • ХБасе покушава да покрене ЗооКеепер сервер на некој машини, али истовремено машина не може да пронађе конфигурацију кворума, тј. Присутну у конфигурационој датотеци ХБасе.зоокеепер.куорум .

Решење:-

  • Морате да замените име хоста са именом хоста које је приказано у поруци о грешци
  • Претпоставимо да имамо ДНС сервер, па можемо да поставимо доње конфигурације у ХБасе-сите.кмл.
    • ХБасе.зоокеепер.днс.интерфаце
    • ХБасе.зоокеепер.днс.намесервер

3) Изјава о проблему: Створен основни директоријум за ХБасе преко Хадооп ДФС-а

  • Мастер каже да требате покренути скрипту миграције ХБасе.
  • Након покретања , скрипта за миграцију ХБасе реагује као ниједна датотека у основном директоријуму .

Узрок:

  • Стварање новог директоријума за ХБасе помоћу дистрибуираног система датотека Хадооп
  • Овде ХБасе очекује две могућности

1) Основни директоријум не постоји

2) ХБасе претходна покренута инстанца покренута раније

Решење:

  • Учините усаглашеним коријенски директориј ХБасе тренутно не постоји или је иницијализиран претходним извршавањем инстанце ХБасе.
  • Као део решења, морамо следити кораке

Корак 1) Коришћење Хадооп дфс за брисање основног директорија ХБасе

Корак 2) ХБасе сам креира и иницијализује директоријум

4) Изјава о проблему: Зоокеепер сесија је истекла

Узрок:

  • ХМастер или ХРегион сервери се искључују избацивањем изузетака
  • Ако посматрамо дневнике, можемо сазнати стварне изузетке који су избачени

Следеће приказује изузетак бачен због догађаја који је истекао Зоокеепер. Истакнути догађаји су неки од изузетака који су се догодили у датотеци дневника

Код датотека евиденције као што је приказано испод:

WARN org.apache.zookeeper.ClientCnxn: Exceptionclosing session 0x278bd16a96000f to sun.nio.ch.SelectionKeyImpl@355811ecjava.io.IOException: TIMED OUT at org.apache.zookeeper.ClientCnxn$SendThread.run(ClientCnxn.java:906)WARN org.apache.hadoop.hbase.util.Sleeper: We slept 79410ms, ten times longer than scheduled: 5000INFO org.apache.zookeeper.ClientCnxn: Attempting connection to server hostname/IP:PORTINFO org.apache.zookeeper.ClientCnxn: Priming connection to java.nio.channels.SocketChannel[connected local=/IP:PORT remote=hostname/IP:PORT]INFO org.apache.zookeeper.ClientCnxn: Server connection successfulWARN org.apache.zookeeper.ClientCnxn: Exception closing session 0x278bd16a96000d to sun.nio.ch.SelectionKeyImpl@3544d65ejava.io.IOException: Session Expired at org.apache.zookeeper.ClientCnxn$SendThread.readConnectResult(ClientCnxn.java:589)at org.apache.zookeeper.ClientCnxn$SendThread.doIO(ClientCnxn.java:709)at org.apache.zookeeper.ClientCnxn$SendThread.run(ClientCnxn.java:945)ERROR org.apache.hadoop.hbase.regionserver.HRegionServer: ZooKeeper session expired

Решење:

  • Подразумевана величина РАМ-а је 1 ГБ. За дуготрајни увоз одржавали смо капацитет РАМ-а већи од 1 ГБ.
  • Морате да повећате временско ограничење сесије за чувара зоолошког врта.
  • Да бисмо повећали време сесије изван Зоокеепер-а, морамо да изменимо следеће својство у „хбасе-сите.кмл“ које се налази у путањи хбасе / цонф мапе.
  • Подразумевано време чекања за сесију је 60 секунди. Можемо га променити на 120 секунди као што је доле споменуто
 zookeeper.session.timeout 1200000
 hbase.zookeeper.property.tickTime 6000