Архитектура ХБасе, компоненте, модел података и случајеви употребе

Механизам складиштења у ХБасе

ХБасе је база података оријентисана на колоне и подаци се чувају у табелама. Табеле су сортиране према реду. Као што је приказано доле, ХБасе има РовИд, који је колекција неколико породица колона које су присутне у табели.

Породице ступаца које су присутне у шеми су парови кључ / вредност. Ако детаљно посматрамо сваку породицу колона која има више бројева колона. Вредности колона смештене у меморију диска. Свака ћелија табеле има своје метаподатке попут временске ознаке и других информација.

Механизам складиштења у ХБасе

Долазак на ХБасе су следећи кључни појмови који представљају шему табеле

• Табела : Збирка присутних редова.
• Ред : Збирка породица колона.
• Породица колона : Збирка колона.
• Колона : Збирка парова кључ / вредност.
• Простор имена : Логично груписање табела.
• Ћелија : Набор {ред, колона, верзија} тачно наводи дефиницију ћелије у ХБасе.

У овом упутству ћете научити,

• Механизам складиштења у ХБасе
• ХБасе модел података
• Архитектура ХБасе и њене важне компоненте
• Објашњени подаци ХБасе читања и писања
• Случајеви употребе ХБасе
• ХБАСЕ насупрот ХДФС

Складиштења оријентисана на колоне или на ред

Складишта оријентисана на колоне и редове разликују се по механизму складиштења. Као што сви знамо, традиционални релацијски модели складиште податке у формату заснованом на редовима, као у смислу редова података. Складишта оријентисана на колоне чувају табеле података у терминима колона и породица колона.

Следећа табела даје неке кључне разлике између ова два складишта

База података оријентисана на колону	Редно оријентисана база података
Када се ситуација односи на процес и аналитику, користимо овај приступ. Као што је аналитичка обрада на мрежи и њене апликације.	Овај трансакциони процес користе се мрежни трансакциони процеси, попут банкарског и финансијског домена.
Количина података коју може да ускладишти у овом моделу је веома велика као у погледу петабајта	Дизајниран је за мали број редова и колона.

ХБасе модел података

Модел података ХБасе је скуп компонената који се састоји од табела, редова, породица колона, ћелија, колона и верзија. Табеле ХБасе садрже породице колона и редове са елементима дефинисаним као Примарни кључеви. Колона у табели модела података ХБасе представља атрибуте објеката.

ХБасе модел података састоји се од следећих елемената,

• Сет столова
• Свака табела са породицама колона и редовима
• Свака табела мора имати елемент дефинисан као Примарни кључ.
• Редни кључ делује као примарни кључ у ХБасеу.
• Сваки приступ табелама ХБасе користи овај Примарни кључ
• Свака колона присутна у ХБасе означава атрибут који одговара објекту

Архитектура ХБасе и њене важне компоненте

Испод је детаљна архива ХБасе са компонентама:

Архитектура ХБасе састоји се углавном од четири компоненте

• ХМастер
• ХРегионсервер
• ХРегионс
• Чувар зоолошког врта
• ХДФС

ХМастер:

ХМастер у ХБасе је примена главног сервера у ХБасе архитектури. Дјелује као агент за надгледање да надгледа све инстанце послужитеља Региона присутне у кластеру и дјелује као интерфејс за све промјене метаподатака. У окружењу дистрибуираног кластера, Мастер ради на НамеНоде. Мастер покреће неколико позадинских нити.

Следе важне улоге које ХМастер изводи у ХБасеу.

• Игра виталну улогу у погледу перформанси и одржавања чворова у кластеру.
• ХМастер пружа перформансе администратора и дистрибуира услуге различитим серверима региона.
• ХМастер додељује регионе регионалним серверима.
• ХМастер има функције попут управљања уравнотежењем оптерећења и преусмјеравања ради управљања оптерећењем преко чворова присутних у кластеру.
• Када клијент жели промијенити било коју схему и било које операције метаподатака, ХМастер преузима одговорност за те операције.

Неке од метода које излаже ХМастер Интерфаце су првенствено методе оријентисане на метаподатке.

• Табела (цреатеТабле, ремовеТабле, енабле, дисабле)
• ЦолумнФамили (додајте колону, измените колону)
• Регија (преместити, доделити)

Клијент комуницира на двосмеран начин и са ХМастером и са ЗооКеепер-ом. За операције читања и писања директно контактира са ХРегион серверима. ХМастер додељује регионе регионалним серверима и заузврат проверава здравствено стање регионалних сервера.

У целој архитектури имамо више регионалних сервера. Хлог присутан на регионалним серверима који ће сместити све датотеке евиденције.

ХБасе Регионс сервери:

Када ХБасе Регион Сервер прими захтеве за писање и читање од клијента, он додељује захтев одређеној регији, где се налази стварна породица ступаца. Међутим, клијент може директно контактирати са ХРегион серверима, није потребна обавезна дозвола ХМастер-а за клијента у вези са комуникацијом са ХРегион серверима. Клијент захтева помоћ ХМастера када су потребне операције повезане са метаподацима и променама шеме.

ХРегионСервер је имплементација Регион сервера. Одговорна је за опслуживање и управљање регионима или подацима који су присутни у дистрибуираном кластеру. Регијски сервери раде на чворовима података присутним у кластеру Хадооп.

ХМастер може ступити у контакт са вишеструким серверима ХРегион и обавља следеће функције.

• Хостинг и управљање регионима
• Аутоматско подела региона
• Руковање захтевима за читање и писање
• Комуницирање са клијентом директно

Региони ХБасе:

ХР регије су основни елементи градње ХБасе кластера који се састоји од дистрибуције табела и састоје се од породица колона. Садржи више продавница, по једну за сваку породицу колона. Састоји се углавном од две компоненте, а то су Мемсторе и Хфиле.

ЗооКеепер:

ХБасе Зоокеепер је централизовани сервер за надгледање који одржава информације о конфигурацији и омогућава дистрибуирану синхронизацију. Дистрибуирана синхронизација је приступ дистрибуираним апликацијама које се изводе преко кластера с одговорношћу пружања услуга координације између чворова. Ако клијент жели да комуницира са регионима, клијент сервера мора прво да приступи ЗооКеепер-у.

То је пројекат отвореног кода и пружа толико важних услуга.

Услуге које пружа ЗооКеепер

• Одржава информације о конфигурацији
• Пружа дистрибуирану синхронизацију
• Успостављање комуникације клијента са регионалним серверима
• Пружа ефемерне чворове за које представљају различите сервере региона
• Употребљивост главних сервера ефемерних чворова за откривање доступних сервера у кластеру
• За праћење квара сервера и мрежних партиција

Главни и ХБасе помоћни чворови (регионални сервери) су се регистровали у ЗооКеепер. Клијенту је потребан приступ ЗК (зоокеепер) конфигурацији кворума да би се повезао са главним и регионалним серверима.

Током отказа чворова који су присутни у кластеру ХБасе, ЗКкуорам ће покренути поруке о грешци и започиње са поправљањем отказаних чворова.

ХДФС:

ХДФС је дистрибуирани систем датотека Хадооп, као што назив говори, пружа дистрибуирано окружење за складиштење и систем датотека који је дизајниран да ради на робном хардверу. Похрањује сваку датотеку у више блокова, а да би се одржала толеранција грешака, блокови се реплицирају кроз Хадооп кластер.

ХДФС пружа висок степен толеранције на кварове и ради на јефтином робном хардверу. Додавањем чворова у кластер и извођењем обраде и складиштења помоћу јефтиног робног хардвера, клијенту ће пружити боље резултате у поређењу са постојећим.

Овде се подаци похрањени у сваком блоку реплицирају у 3 чвора, било у случају да се било који чвор спусти, неће доћи до губитка података, имаће одговарајући механизам за опоравак резервне копије.

ХДФС ступају у контакт са компонентама ХБасе и дистрибуирају велику количину података на дистрибуиран начин.

Објашњени подаци ХБасе читања и писања

Операције читања и писања са клијента у Хфиле могу бити приказане на доњем дијаграму.

Корак 1) Клијент жели да упише податке и заузврат прво комуницира са Регионс сервером, а затим регионима

Корак 2) Регије које контактирају меморију ради складиштења повезане са породицом колона

Корак 3) Прво се подаци складиште у Мемсторе-у, где се подаци сортирају, а након тога се пребацују у ХФиле. Главни разлог за коришћење Мемсторе-а је чување података у дистрибуираном систему датотека на основу редоследа. Мемсторе ће бити смештен у главну меморију регионалног сервера док се ХФилес записују у ХДФС.

Корак 4) Клијент жели да чита податке из Региона

Корак 5) Клијент заузврат може имати директан приступ Мем сторе-у и може захтевати податке.

Корак 6) Клијент приступа ХФилес-у да би добио податке. Клијент преузима и преузима податке.

Мемсторе чува модификације у меморији продавнице. Хијерархија објеката у ХБасе регијама приказана је одозго надоле у ​​доњој табели.

Сто	Табела ХБасе присутна у кластеру ХБасе
Регион	ХР регије за представљене табеле
Сторе	Табела чува по породичним колонама за сваки регион
Мемсторе	Меморија за сваку продавницу за сваки регион за столом Сортира податке пре испирања у ХФилес Перформансе писања и читања повећаће се због сортирања
СтореФиле	СтореФилес за сваку продавницу за сваки регион за табелу
Блокирати	Блокови присутни у СтореФилес-у

Случајеви употребе ХБасе

Следе примери примера употребе ХБасе са детаљним објашњењем решења које пружа за различите техничке проблеме

Изјава о проблему	Решење
Телеком индустрија суочава се са техничким изазовима Похрањивање милијарди евиденција ЦДР-а (детаљно снимање позива) генерисаних телеком доменом Пружање приступа у реалном времену ЦДР евиденцијама и информацијама о обрачуну купаца Обезбедити исплативо решење у поређењу са традиционалним системима база података	ХБасе се користи за складиштење милијарди редова детаљне евиденције позива. Ако се месечно дода 20ТБ података у постојећу базу података РДБМС, перформансе ће се погоршати. За руковање великом количином података у овом случају употребе, ХБасе је најбоље решење. ХБасе врши брзо постављање упита и приказује записе.
Банкарски сектор ствара милионе албума на дневној бази. Поред овога, банкарској индустрији је такође потребно аналитичко решење које може открити преваре у новчаним трансакцијама	За чување, обраду и ажурирање огромних количина података и обављање аналитике, идеално решење је - ХБасе интегрисан са неколико компоненти Хадооп екосистема.

Осим тога, ХБасе се може користити

• Кад год постоји потреба за писањем тешких апликација.
• Вршење аналитике дневника на мрежи и генерисање извештаја о усклађености.

ХБасе против ХДФС

ХБасе ради на ХДФС и Хадооп-у. Неке кључне разлике између ХДФС и ХБасе су у погледу операција података и обраде.

ХБАСЕ	ХДФС
Операције са малим кашњењем	Операције велике латенције
Насумично чита и пише	Напиши једном Прочитај више пута
Приступљено кроз команде љуске, клијентски АПИ у Јави, РЕСТ, Авро или Тхрифт
Примарно му се приступа путем МР (Мап Редуце) послова
Складиштење и обрада могу се обавити	То је само за складишне просторе

Неке типичне ИТ индустријске апликације користе ХБасе операције заједно са Хадооп-ом. Апликације укључују берзанске податке, пословање са интернетским банкарством, а обрада Хбасе је најприкладнија метода рјешења.

Резиме

Хбасе је једна од НоСкл дистрибуираних база података оријентисаних на колоне доступна у Апацхе Фоундатион-у. ХБасе даје више перформанси за проналажење мањег броја записа уместо Хадооп-а или Хиве-а. Врло је лако потражити задату било коју улазну вредност јер подржава индексирање, трансакције и ажурирање.

Можемо да вршимо аналитику у реалном времену на мрежи користећи Хбасе интегрисан са Хадооп екосистемом. Има аутоматско и подесиво осенчење за скупове података или табеле и пружа мирне АПИ-је за обављање послова МапРедуце.