Пре него што пређемо на увод у велике податке, прво треба да знате
Шта су подаци?
Количине, знакови или симболи на којима радње врши рачунар, који се могу чувати и преносити у облику електричних сигнала и снимати на магнетним, оптичким или механичким медијима за снимање.
Сада, научимо увод у велике податке
Шта су велики подаци?
Велики подаци су збирка података огромног обима, која с временом експоненцијално расте. То су подаци тако велике величине и сложености да их ниједан од традиционалних алата за управљање подацима не може сачувати или ефикасно обрадити. Велики подаци су такође подаци, али огромне величине.
У овом упутству ћете научити,
- Шта су подаци?
- Шта су велики подаци?
- Примери великих података
- Врсте великих података
- Карактеристике великих података
- Предности обраде великих података
Примери великих података
Следе неки од примера великих података -
Њујоршка берза генерише око једног терабајта нових трговинских података дневно.
Друштвени медији
Статистика показује да се 500 + терабајта нових података свакодневно уноси у базе података веб странице Фацебоок на друштвеним мрежама . Ови подаци се углавном генеришу у смислу отпремања фотографија и видео записа, размене порука, стављања коментара итд.
Појединачни Јет мотор може да генерише 10 + терабајта података за 30 минута лета. Са много хиљада летова дневно, генерирање података досеже до многих Петабајта.
Врсте великих података
Следе врсте великих података:
- Структурирано
- Неструктурирано
- Полуструктурирано
Структурирано
Сви подаци који се могу чувати, приступити им и обрађивати у облику фиксног формата називају се „структурираним“ подацима. Током одређеног временског периода, талент за рачунарство је постигао већи успех у развоју техника за рад са таквом врстом података (где је формат унапред добро познат) и такође из њих извлачи вредност. Међутим, данас предвиђамо проблеме када величина таквих података увелико расте, а типичне величине су у бесу више зетбабајта.
Да ли знаш? 10 21 бајта једнако 1 зеттабите-у или једној милијарди терабајта чини зеттабите-у .
Гледајући ове бројке, лако се може разумети зашто је дато име Велики подаци и замислити изазови који се тичу његовог чувања и обраде.
Да ли знаш? Подаци ускладиштени у релационом систему управљања базама података су један од примера „структурираних“ података.
Примери структурираних података
Табела „Запослени“ у бази података пример је структурираних података
| Број запосленог | Име запосленог | Пол | Одељење | Плата_У_лацима |
|---|---|---|---|---|
| 2365 | Рајесх Кулкарни | Мушки | Финансије | 650000 |
| 3398 | Пратибха Јосхи | Женско | Админ | 650000 |
| 7465 | Схусхил Рои | Мушки | Админ | 500000 |
| 7500 | Схубхојит Дас | Мушки | Финансије | 500000 |
| 7699 | Прииа Сане | Женско | Финансије | 550000 |
Неструктурирано
Сви подаци у непознатом облику или структури су класификовани као неструктурирани подаци. Поред тога што је величина огромна, неструктурирани подаци представљају вишеструке изазове у погледу њихове обраде ради извлачења вредности из њих. Типичан пример неструктурираних података је хетерогени извор података који садржи комбинацију једноставних текстуалних датотека, слика, видео записа итд. Данас организације имају на располагању мноштво података, али нажалост, не знају како да извуку вредност из тога јер ови подаци су у сировом облику или неструктурираном формату.
Примери неструктурираних података
Излаз који је вратила „Гоогле претрага“
Полуструктурирано
Полуструктурирани подаци могу садржати оба облика података. Полуструктуриране податке можемо видети као структуриране у облику, али они заправо нису дефинисани нпр. Дефиницијом табеле у релационом ДБМС-у. Пример полуструктурираних података су подаци представљени у КСМЛ датотеци.
Примери полуструктурираних података
Лични подаци похрањени у КСМЛ датотеци-
Prashant Rao Male 35 Seema R. Female 41 Satish Mane Male 29 Subrato Roy Male 26 Jeremiah J. Male 35
Раст података током година
Имајте на уму да се подаци веб апликације, који су неструктурирани, састоје од датотека дневника, датотека историје трансакција итд. ОЛТП системи су направљени за рад са структурираним подацима у којима се подаци чувају у релацијама (табелама).
Карактеристике великих података
Велики подаци се могу описати следећим карактеристикама:
- Волуме
- Разноврсност
- Брзина
- Варијабилност
(и) Обим - Сам назив Велики подаци повезан је са величином која је огромна. Величина података игра веома пресудну улогу у одређивању вредности података. Такође, да ли се одређени подаци заиста могу сматрати великим подацима или не, зависи од количине података. Отуда је „обим“ једна карактеристика коју треба узети у обзир приликом бављења великим подацима.
(ии) Разноликост - Следећи аспект великих података је њихова разноликост .
Разноликост се односи на хетерогене изворе и природу података, како структурираних тако и неструктурираних. Током ранијих дана, прорачунске табеле и базе података били су једини извори података које је разматрала већина апликација. Данас се у апликацијама за анализу узимају у обзир и подаци у облику е-поште, фотографија, видео записа, уређаја за надзор, ПДФ-ова, звука итд. Ова врста неструктурираних података поставља одређена питања за складиштење, рударење и анализу података.
(иии) Брзина - Термин „брзина“ односи се на брзину генерисања података. Колико брзо се подаци генеришу и обрађују како би се задовољили захтеви, одређује стварни потенцијал података.
Биг Дата Велоцити се бави брзином којом подаци долазе из извора попут пословних процеса, евиденција апликација, мрежа и веб локација друштвених медија, сензора, мобилних уређаја итд. Проток података је масиван и континуиран.
(ив) Варијабилност - Ово се односи на недоследност коју подаци понекад могу показати, што отежава процес ефикасног руковања и управљања подацима.
Предности обраде великих података
Способност обраде великих података доноси вишеструке користи, као што су
- Предузећа могу користити спољну интелигенцију док доносе одлуке
Приступ друштвеним подацима са претраживача и са веб локација попут фацебоок-а, твиттер-а омогућава организацијама да прецизно прилагоде своје пословне стратегије.
- Побољшана корисничка услуга
Традиционални системи повратних информација купаца замењују се новим системима дизајнираним са технологијама великих података. У овим новим системима, велике податке и технологије обраде природног језика користе се за читање и процену реакција потрошача.
- Рано утврђивање ризика за производ / услугу, ако постоји
- Боља оперативна ефикасност
Технологије великих података могу се користити за креирање припремног подручја или зоне слетања за нове податке пре идентификовања података које треба преместити у складиште података. Поред тога, таква интеграција технологија великих података и складишта података помаже организацији да истовари податке којима се ретко приступа.
Резиме
- Дефиниција великих података: Велики подаци су дефинисани као подаци велике величине. Бигдата је термин који се користи за описивање збирке података велике величине, а која временом експоненцијално расте.
- Примери аналитике великих података укључују берзе, веб локације друштвених медија, млазне моторе итд.
- Велики подаци могу бити 1) структурирани, 2) неструктурирани, 3) полуструктурирани
- Запремина, разноликост, брзина и променљивост су неке од карактеристика великих података
- Побољшана корисничка услуга, боља оперативна ефикасност, боље доношење одлука су неке од предности Бигдата-а