Преузмите ПДФ
Следе често постављана питања у интервјуима за свеже и искусне програмере.
1) Шта је Хадооп Мап Редуце?
За обраду великих скупова података паралелно преко Хадооп кластера користи се Хадооп МапРедуце фрамеворк. Анализа података користи мапу у два корака и процес смањења.
2) Како функционише Хадооп МапРедуце?
У МапРедуцеу, током фазе мапе, броји речи у сваком документу, док у фази смањења агрегира податке према документу који обухвата читаву колекцију. Током фазе мапе, улазни подаци су подељени на поделе за анализу задацима мапе који се паралелно изводе преко Хадооп оквира.
3) Објасните шта је мешање у МапРедуце-у?
Процес којим систем врши сортирање и преноси излазе мапе на редуктор као улазе познат је као премештање
4) Објасните шта се дистрибуира кеш меморија у МапРедуце Фрамеворк-у?
Дистрибуирана кеш меморија је важна карактеристика коју пружа оквир МапРедуце. Када желите да делите неке датотеке на свим чворовима у Хадооп кластеру, користи се Дистрибутед Цацхе. Датотеке могу бити извршне јар датотеке или датотеке једноставних својстава.
5) Објасните шта је НамеНоде у Хадооп-у?
НамеНоде у Хадооп-у је чвор, где Хадооп чува све информације о локацији датотеке у ХДФС-у (Хадооп Дистрибутед Филе Систем). Другим речима, НамеНоде је средишњи део система датотека ХДФС. Чува евиденцију свих датотека у систему датотека и прати податке о датотекама кроз кластер или више машина
6) Објасните шта је ЈобТрацкер у Хадооп-у? Које акције прати Хадооп?
У Хадооп-у за слање и праћење МапРедуце послова користи се ЈобТрацкер. Трагач за послом се покреће по сопственом ЈВМ процесу
Јоб Трацкер изводи следеће радње у Хадооп-у
- Клијентска пријава предаје послове на трагач посла
- ЈобТрацкер комуницира у режиму Имена да би одредио локацију података
- У близини података или са доступним слотовима ЈобТрацкер лоцира чворове ТаскТрацкер
- На одабраним чворовима ТаскТрацкер пријављује рад
- Када задатак пропадне, Јоб трацкер обавештава и одлучује шта ће тада радити.
- Чворове ТаскТрацкер надгледа ЈобТрацкер
7) Објасните шта је откуцај срца у ХДФС-у?
Откуцаји срца упућени су на сигнал који се користи између чвора података и чвора имена и између трагача задатака и трагача послова, ако чвор имена или трагач посла не реагира на сигнал, сматра се да постоје неки проблеми са чвором података или задатком трацкер
8) Објасните шта су комбиновачи и када треба да користите комбајн у задатку МапРедуце?
Да би се повећала ефикасност МапРедуце програма, користе се комбиновачи. Количина података може се смањити помоћу комбинованих података које треба пребацити до редуктора. Ако је изведена операција комутативна и асоцијативна, можете користити свој редукцијски код као комбинатор. Извршавање комбиновача није загарантовано у Хадооп-у
9) Шта се дешава када чвор података закаже?
Када чвор података закаже
- Јобтрацкер и наменоде откривају квар
- На неуспелом чвору сви задаци су поново распоређени
- Наменоде реплицира корисничке податке на други чвор
10) Објасните шта је спекулативно извршење?
У Хадоопу током Спекулативног извршавања покренут је одређени број дуплираних задатака. На другом помоћном чвору, више копија исте мапе или задатка смањења може се извршити помоћу Спецулативе Екецутион. Једноставним речима, ако одређеном погону треба пуно времена да изврши задатак, Хадооп ће створити дупликат задатка на другом диску. Диск који први заврши задатак се задржава, а дискови који се не заврше први се убијају.
11) Објасните који су основни параметри Маппера?
Основни параметри Маппера су
- ЛонгВритабле и Тект
- Текст и Интритабилно
12) Објасните која је функција МапРедуце партиционера?
Функција партиционера МапРедуце је да осигура да сва вредност једног кључа иде на исти редуктор, што на крају помаже равномерној расподели излаза мапе преко редуктора
13) Објасните која је разлика између уноса и ХДФС блока?
Логичка подјела података позната је под називом Сплит, док је физичка подјела података позната као ХДФС Блоцк
14) Објасните шта се дешава у текстуалном формату?
У формату за унос текста, сваки ред у текстуалној датотеци је запис. Вредност је садржај линије, док је Кеи помак бајта линије. На пример, Кеи: лонгВритабле, Валуе: тект
15) Спомените који су главни параметри конфигурације које корисник треба да наведе да би покренуо МапРедуце Јоб?
Корисник оквира МапРедуце треба да наведе
- Локације за унос посла у дистрибуираном систему датотека
- Излазна локација посла у дистрибуираном систему датотека
- Улазни формат
- Излазни формат
- Класа која садржи функцију мапе
- Класа која садржи функцију редукције
- ЈАР датотека која садржи класе мапирања, редуктора и управљачких програма
16) Објасните шта је ВебДАВ у Хадооп-у?
Да би подржао уређивање и ажурирање датотека, ВебДАВ је скуп екстензија за ХТТП. На већини оперативних система ВебДАВ дељења могу се монтирати као систем датотека, тако да је могуће приступити ХДФС-у као стандардном систему датотека излагањем ХДФС-а преко ВебДАВ-а.
17) Објасните шта је Скооп у Хадооп-у?
За пренос података између релационог управљања базама података (РДБМС) и Хадооп ХДФС користи се алат познат као Скооп. Коришћење Скооп података може се пренети са РДМС-а попут МиСКЛ-а или Орацле-а у ХДФС, као и извоз података из ХДФС датотеке у РДБМС
18) Објасните како ЈобТрацкер заказује задатак?
Трагач задатака шаље поруке откуцаја срца Јобтрацкеру обично сваких неколико минута како би био сигуран да је ЈобТрацкер активан и да функционише. Порука такође обавештава ЈобТрацкер о броју доступних слотова, тако да ЈобТрацкер може бити у току са тим како рад кластера може бити делегиран
19) Објасните шта је Секуенцефилеинпутформат?
Секуенцефилеинпутформат се користи за читање датотека у низу. То је специфични компримовани бинарни формат датотеке који је оптимизован за прослеђивање података између излаза једног задатка МапРедуце на улаз неког другог задатка МапРедуце.
20) Објасните шта ради класа цонф.сетМаппер?
Цонф.сетМапперцласс поставља класу маппер и све ствари повезане са послом мапе, попут читања података и генерисања пара кључ / вредност из маппера
21) Објасни шта је Хадооп?
То је софтвер отвореног кода за чување података и покретање апликација на кластерима робног хардвера. Пружа огромну процесорску снагу и масивно складиштење за било коју врсту података.
22) Спомените која је разлика између РДБМС-а и Хадооп-а?
РДБМС | Хадооп |
РДБМС је релациони систем управљања базама података | Хадооп је равна структура заснована на чворовима |
Коришћен је за ОЛТП обраду док Хадооп | Тренутно се користи за аналитичку обраду и за обраду ВЕЛИКИХ ПОДАТАКА |
У РДБМС, кластер база података користи исте датотеке података ускладиштене у дељеној меморији | У Хадооп-у подаци за складиштење могу се независно чувати у сваком чвору за обраду. |
Пре него што их сачувате, потребно је да их претходно обрадите | не треба да обрађујете податке пре него што их сачувате |
23) Поменути Хадооп основне компоненте?
Хадооп основне компоненте укључују,
- ХДФС
- Карта смањити
24) Шта је НамеНоде у Хадооп-у?
НамеНоде у Хадоопу је место где Хадооп чува све информације о локацији датотеке у ХДФС-у. То је главни чвор на којем се извршава програм за праћење послова и састоји се од метаподатака.
25) Спомените које компоненте података користи Хадооп?
Компоненте података које користи Хадооп су
- Свиња
- Кошница
26) Спомените коју компоненту за складиштење података користи Хадооп?
Компонента за складиштење података коју користи Хадооп је ХБасе.
27) Помените који су најчешћи формати уноса дефинисани у Хадооп-у?
Најчешћи улазни формати дефинисани у Хадооп-у су;
- ТектИнпутФормат
- КеиВалуеИнпутФормат
- СекуенцеФилеИнпутФормат
28) Шта је у Хадоопу ИнпутСплит?
Улазне датотеке дели на комаде и свако раздвајање додељује мапирачу за обраду.
29) Како ћете за Хадооп посао написати прилагођени партиционер?
Напишете прилагођени партиционер за посао Хадооп-а, следите следећу путању
- Направите нову класу која проширује Класу партиционера
- Замените метод гетПартитион
- У омоту који покреће МапРедуце
- Додајте прилагођени партиционер у посао помоћу скупа метода Партитионер Цласс или - додајте прилагођени партиционер послу као конфигурациону датотеку
30) Да ли је за посао у Хадоопу могуће променити број мапера који ће се креирати?
Не, није могуће променити број мапера који ће се креирати. Број мапирања одређује се бројем улазних подела.
31) Објасните шта је датотека секвенце у Хадооп-у?
За чување бинарних парова кључ / вредност користи се датотека секвенце. За разлику од уобичајене компримоване датотеке, датотека секвенци подржава раздвајање чак и када су подаци у датотеци компримовани.
32) Када Наменоде падне, шта се дешава са трагачем посла?
Наменоде је једина тачка квара у ХДФС-у, па када Наменоде падне, кластер ће кренути.
33) Објасните како се врши индексирање у ХДФС-у?
Хадооп има јединствени начин индексирања. Једном када се подаци ускладиште према величини блока, ХДФС ће и даље чувати последњи део података који говори где ће бити следећи део података.
34) Објасните да ли је могуће претраживати датотеке помоћу џокер знакова?
Да, могуће је претраживати датотеке помоћу џокер знакова.
35) Наведи три конфигурационе датотеке Хадооп-а?
Три конфигурационе датотеке су
- цоре-сите.кмл
- мапред-сите.кмл
- хдфс-сите.кмл
36) Објасните како можете да проверите да ли Наменоде ради поред коришћења јпс наредбе?
Поред употребе јпс наредбе, да бисте проверили да ли Наменоде ради, такође можете користити
/етц/инит.д/хадооп-0.20-наменоде статус.
37) Објасните шта је „карта“, а шта „редуктор“ у Хадоопу?
У Хадоопу је мапа фаза у решавању упита ХДФС. Мапа чита податке са локације уноса и даје пар вредности кључева према типу уноса.
У Хадоопу редуктор прикупља излаз који генерише маппер, обрађује га и ствара сопствени коначни излаз.
38) У Хадоопу, која датотека контролише извештавање у Хадоопу?
У Хадоопу датотека хадооп-метрицс.пропертиес контролише извештавање.
39) За коришћење Хадооп листе мрежних захтева?
За употребу Хадооп-а листа мрежних захтева је:
- ССХ веза без лозинке
- Сигурна љуска (ССХ) за покретање серверских процеса
40) Помените шта је свест о рацку?
Свест о рацку је начин на који наменоде одређује начин постављања блокова на основу дефиниција регала.
41) Објасните шта је програм за праћење задатака у Хадоопу?
Програм за праћење задатака у Хадоопу је демон подређеног чвора у кластеру који прихвата задатке из ЈобТрацкер-а. Такође шаље поруке откуцаја срца на ЈобТрацкер, сваких неколико минута, како би потврдио да је ЈобТрацкер још увек жив.
42) Спомените који демони раде на главном чвору и помоћном чвору?
- Демони који се покрећу на главном чвору су "НамеНоде"
- Демони који се покрећу на сваком подређеном чвору су „Таск Трацкер“ и „Дата“
43) Објасните како можете отклонити грешке у Хадооп коду?
Популарне методе за отклањање грешака Хадооп кода су:
- Коришћењем веб интерфејса који пружа Хадооп фрамеворк
- Коришћењем бројача
44) Објасните шта су чворови за складиштење и рачунање?
- Чвор за складиштење је машина или рачунар на коме се налази ваш систем датотека за складиштење података за обраду
- Рачунарски чвор је рачунар или машина на којој ће се извршити ваша стварна пословна логика.
45) Спомените која је употреба контекстног објекта?
Контекстни објекат омогућава мапирачу интеракцију са остатком Хадоопа
систем. Садржи податке о конфигурацији за посао, као и интерфејсе који му омогућавају да емитује излаз.
46) Спомените који је следећи корак након Маппера или МапТаска?
Следећи корак након Маппера или МапТаска је да се излази Маппера сортирају и за излаз ће се створити партиције.
47) Спомените колики је број подразумеваних партиција у Хадоопу?
У Хадооп-у, подразумевани партиционер је „Хасх“ партиционер.
48) Објасните која је сврха РецордРеадер-а у Хадооп-у?
У Хадоопу, РецордРеадер учитава податке из свог извора и претвара их у парове (кључ, вредност) погодне за читање помоћу Маппер-а.
49) Објасните како се подаци деле пре него што се пошаљу редуктору ако у Хадооп-у није дефинисан прилагођени партиција?
Ако у Хадооп-у није дефинисан ниједан прилагођени партиционер, тада задани партиција израчунава хеш вредност за кључ и додељује партицију на основу резултата.
50) Објасните шта се дешава када је Хадооп изнедрио 50 задатака за посао, а један од задатака није успео?
Поново ће покренути задатак на неком другом ТаскТрацкер-у ако задатак не успије више од дефинисаног ограничења.
51) Спомените који је најбољи начин за копирање датотека између ХДФС кластера?
Најбољи начин за копирање датотека између ХДФС кластера је коришћење више чворова и наредбе дистцп, тако да се радно оптерећење дели.
52) Спомените која је разлика између ХДФС и НАС?
Блокови података ХДФС дистрибуирају се преко локалних погона свих машина у кластеру, док се НАС подаци чувају на наменском хардверу.
53) Спомените како се Хадооп разликује од осталих алата за обраду података?
У Хадооп-у можете да повећате или смањите број мапирања без бриге о обиму података који се обрађују.
54) Спомените који посао ради час предавања цонф?
Класа Јоб цонф раздваја различите послове који се изводе на истом кластеру. Обавља подешавања нивоа посла, попут пријављивања посла у стварном окружењу.
55) Спомените шта је уговор о АПИ-јевима Хадооп МапРедуце за класу кључ и вредност?
За класу кључ и вредност постоје два уговора за АПИ-је Хадооп МапРедуце
- Вредност мора да дефинише интерфејс орг.апацхе.хадооп.ио.Вритабле
- Кључ мора бити дефинисање интерфејса орг.апацхе.хадооп.ио.ВритаблеЦомпарабле
56) Спомените која су три начина у којима се може покренути Хадооп?
Три су начина у којима се може покренути Хадооп
- Псеудо дистрибуирани режим
- Самостални (локални) режим
- Потпуно дистрибуиран режим
57) Спомените шта чини формат уноса текста?
Формат за унос текста створиће линијски објекат који је хексадецимални број. Вредност се сматра целим текстом, док се кључ сматра објектом линије. Мапер ће добити вредност као параметар 'тект', док ће кључ добити као параметар 'лонгвритеабле'.
58) Спомените колико ИнпутСплитс прави Хадооп Фрамеворк?
Хадооп ће направити 5 подела
- 1 подела за 64К датотеке
- 2 поделе за датотеке величине 65 МБ
- 2 поделе за датотеке од 127 МБ
59) Помените шта је дистрибуирана кеш меморија у Хадооп-у?
Дистрибуирана кеш меморија у Хадоопу је могућност коју пружа МапРедуце фрамеворк. У време извршења посла користи се за кеширање датотека. Фрамеворк копира потребне датотеке у славе чвор пре извршења било ког задатка на том чвору.
60) Објасните како Хадооп Цласспатх игра виталну улогу у заустављању или покретању Хадооп демона?
Цласспатх ће се састојати од листе директорија који садрже јар датотеке за заустављање или покретање демона.