Како инсталирати Хадооп помоћу корак по корак конфигурације на Убунту

Преглед садржаја:

Anonim

У овом водичу водићемо вас кроз корак по корак како бисте инсталирали Апацхе Хадооп на Линук бокс (Убунту). Ово је дводелни процес

  • 1. део) Преузмите и инсталирајте Хадооп
  • 2. део) Конфигуришите Хадооп

Постоје 2 предуслова

  • Морате имати инсталиран и покренут Убунту
  • Морате имати инсталирану Јаву.

1. део) Преузмите и инсталирајте Хадооп

Корак 1) Додајте корисника система Хадооп помоћу наредбе испод

sudo addgroup hadoop_

sudo adduser --ingroup hadoop_ hduser_

Унесите лозинку, име и друге детаље.

НАПОМЕНА: Постоји могућност доле поменуте грешке у овом процесу подешавања и инсталације.

"хдусер није у досијеу судоерс-а. Овај инцидент ће бити пријављен."

Ову грешку може решити Пријава као основни корисник

Извршите наредбу

sudo adduser hduser_ sudo

Re-login as hduser_

Корак 2) Конфигуришите ССХ

Да би управљао чворовима у кластеру, Хадооп захтева ССХ приступ

Прво пребаците корисника, унесите следећу команду

su - hduser_

Ова наредба ће створити нови кључ.

ssh-keygen -t rsa -P ""

Омогућите ССХ приступ локалној машини помоћу овог кључа.

cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys

Сада тестирајте ССХ подешавање повезивањем на лоцалхост као 'хдусер' корисник.

ssh localhost

Напомена: Имајте на уму, ако доле видите грешку као одговор на 'ссх лоцалхост', онда постоји могућност да ССХ није доступан на овом систему-

Да бисте ово решили -

Очистити ССХ користећи,

sudo apt-get purge openssh-server

Добра је пракса очистити пре почетка инсталације

Инсталирајте ССХ помоћу наредбе-

sudo apt-get install openssh-server

Корак 3) Следећи корак је преузимање Хадооп-а

Изаберите Стабле

Изаберите датотеку тар.гз (не датотеку са срц)

Када се преузимање заврши, дођите до директоријума који садржи тар датотеку

Ентер,

sudo tar xzf hadoop-2.2.0.tar.gz

Сада преименујте хадооп-2.2.0 у хадооп

sudo mv hadoop-2.2.0 hadoop

sudo chown -R hduser_:hadoop_ hadoop

2. део) Конфигуришите Хадооп

Корак 1) Измените датотеку ~ / .басхрц

Додајте следеће редове на крај датотеке ~ / .басхрц

#Set HADOOP_HOMEexport HADOOP_HOME=#Set JAVA_HOMEexport JAVA_HOME=# Add bin/ directory of Hadoop to PATHexport PATH=$PATH:$HADOOP_HOME/bin

Сада изворите ову конфигурацију окружења помоћу наредбе испод

. ~/.bashrc

Корак 2) Конфигурације повезане са ХДФС-ом

Подесите ЈАВА_ХОМЕ унутар датотеке $ ХАДООП_ХОМЕ / етц / хадооп / хадооп-енв.сх

Са

У $ ХАДООП_ХОМЕ / етц / хадооп / цоре-сите.кмл постоје два параметра која треба подесити-

1. 'хадооп.тмп.дир' - Користи се за одређивање директоријума који ће Хадооп користити за чување својих датотека података.

2. 'фс.дефаулт.наме' - Ово наводи задати систем датотека.

Да бисте поставили ове параметре, отворите цоре-сите.кмл

sudo gedit $HADOOP_HOME/etc/hadoop/core-site.xml

Копирајте доњи ред између ознака <цонфигуратион> 

hadoop.tmp.dir/app/hadoop/tmpParent directory for other temporary directories.
fs.defaultFS hdfs://localhost:54310The name of the default file system.

Идите до директоријума $ ХАДООП_ХОМЕ / етц / Хадооп

Сада креирајте директоријум поменут у цоре-сите.кмл

sudo mkdir -p

Доделите дозволе директоријуму

sudo chown -R hduser_:Hadoop_ 

sudo chmod 750

Корак 3) Конфигурација смањења мапе

Пре него што започнете са овим конфигурацијама, дозволите да подесимо путању ХАДООП_ХОМЕ

sudo gedit /etc/profile.d/hadoop.sh

И Ентер

export HADOOP_HOME=/home/guru99/Downloads/Hadoop

Следећи ентер

sudo chmod +x /etc/profile.d/hadoop.sh

Изађите из терминала и поново га покрените

Откуцајте ецхо $ ХАДООП_ХОМЕ. Да бисте верификовали путању

Сада копирајте датотеке

sudo cp $HADOOP_HOME/etc/hadoop/mapred-site.xml.template $HADOOP_HOME/etc/hadoop/mapred-site.xml

Отворите мапред-сите.кмл филе

sudo gedit $HADOOP_HOME/etc/hadoop/mapred-site.xml

Додајте доње редове подешавања између ознака <цонфигуратион> и 

mapreduce.jobtracker.addresslocalhost:54311MapReduce job tracker runs at this host and port.

Отворите $ ХАДООП_ХОМЕ / етц / хадооп / хдфс-сите.кмл као доле,

sudo gedit $HADOOP_HOME/etc/hadoop/hdfs-site.xml

Додајте доње редове подешавања између ознака <цонфигуратион> и 

dfs.replication1Default block replication.
dfs.datanode.data.dir/home/hduser_/hdfs

Направите директоријум наведен у горњем подешавању-

sudo mkdir -p 
sudo mkdir -p /home/hduser_/hdfs

sudo chown -R hduser_:hadoop_ 
sudo chown -R hduser_:hadoop_ /home/hduser_/hdfs

sudo chmod 750 
sudo chmod 750 /home/hduser_/hdfs

Корак 4) Пре него што први пут покренемо Хадооп, форматирајте ХДФС помоћу наредбе испод

$HADOOP_HOME/bin/hdfs namenode -format

Корак 5) Покрените Хадооп кластер појединачних чворова помоћу наредбе испод

$HADOOP_HOME/sbin/start-dfs.sh

Излаз горе наведене наредбе

$HADOOP_HOME/sbin/start-yarn.sh

Помоћу алата / команде 'јпс' проверите да ли су сви процеси повезани са Хадооп-ом покренути или не.

Ако је Хадооп успешно започео, онда би излаз јпс требао приказати НамеНоде, НодеМанагер, РесоурцеМанагер, СецондариНамеНоде, ДатаНоде.

Корак 6) Заустављање Хадооп-а

$HADOOP_HOME/sbin/stop-dfs.sh

$HADOOP_HOME/sbin/stop-yarn.sh