Co je Big Data?

Jak

PodleRyan Dube

Poslední aktualizace dne26. března 2020

V průběhu let se spousta módních slov stala módou v mnoha průmyslových odvětvích. Existuje jen málo lidí, kteří se stali tak populární a tak dlouho, jako velká data. Ale co jsou to velká data?

Velká data se týkají virtuálního oceánu informací z různých zdrojů, které jsou analyzovány a filtrovány tak, aby se dosáhlo smysluplných a proveditelných výsledků.

Proces převádění „velkých dat“ na smysluplné výsledky se může jevit komplikovaný a obtížný. Jakmile však pochopíte, co jsou velká data a jak to funguje, pochopení, jak je učinit smysluplnými, se nezdá být tak složité.

Co je Big Data?

Když uslyšíte, jak lidé mluví o „velkých datech“, obvykle je to se spoustou mávání rukou a velkými slovy. Když však zredukujete veškerou nadsázku, skutečná „data“ je ve skutečnosti mnoho vícenásobných datových toků.

Abychom tomu porozuměli, může vám pomoci příklad. Řekněme, že provozujete zastřešující výrobní společnost. Vaše marketingové oddělení hledá způsob, jak lépe předpovídat, kdy se poptávka na trhu prudce zvýší.

Před dny velkých dat by obchodníci studovali tržní trendy, rozesílali průzkumy zákazníků a mnoho dalších aktivit.

Shromáždila všechna tato data a uložila je do interních databází své vlastní společnosti. Někdo může mít na starosti aktualizaci údajů z marketingového výzkumu na roční nebo čtvrtletní bázi.

Příchod velkých dat však rozšiřuje schopnost provádět tento druh výzkumu. Zejména velká data jsou zvláště účinná při určování důležitých trendů nebo událostí v reálném čase.

Datové vstupy pro tento druh analýzy „velkých dat“ mohou zahrnovat datové proudy v reálném čase napsáním kódu, který se připojuje k systému Rozhraní pro programování aplikací (API) mnoha různých společností, které tyto údaje zveřejnily:

• Twitter a Facebook: Zjistěte, kdy a proč lidé diskutují o nákupu deštníků.
• Počasí: Identifikace povětrnostní podmínky nebo předpovědi, které by se mohly proměnit ve vyšší prodeje deštníků.
• Akciový trh: Sezónní změny nákladů na suroviny na výrobu deštníků.
• Používání webu zákazníka: Použití informací z počítačové cookies lidí, kteří navštíví katalog společnosti, aby pochopili nákupní chování.
• Historie nákupu zákazníků: Sledování geografie a ročních období trendů prodeje od maloobchodníků.

Aby bylo možné používat velká data, musí marketingový tým této společnosti v některých případech instalovat nové technologie.

Big Data a internet

To by mohlo zahrnovat technologii internetu věcí (IoT) u maloobchodníků, která sleduje a podává zprávy o chování spotřebitelů. Nebo to může vyžadovat, aby programátor psal kód požadovaný pro rozhraní s rozhraním API Twitteru, aby se odfiltrovaly všechny tweety, které uvádějí „deštníky“ nebo název společnosti.

Každá z těchto technologií je nyní k dispozici díky internetu. Internet umožňuje komukoli připojit se k datovým proudům z celého světa.

Zde je způsob, jak může nastavení v našem příkladu fungovat v tomto případě.

Tento diagram ukazuje, jak data proudí do podnikového „datového jezera“ z mnoha různých zdrojů. Příchozí data mohou být strukturována odlišně, ale důležité je shromažďovat co nejvíce dat ze všech zdrojů.

Co je to datové jezero?

Na rozdíl od databáze, která obsahuje strukturovaná data uspořádaná do konkrétních sloupců a řádků, je datové jezero masivním úložištěm pro mnoho různých forem dat.

Uložená data mohou být strukturovaná nebo nestrukturovaná. To může mít strukturované řádky a sloupce, nebo nemusí. Data mohou být řetězce, které používají oddělené údaje ke specifickému formátování. Každý zdroj dat může odesílat data do datového jezera v jakékoli formě, která se mu líbí.

Představte si datové jezero jako masivní knihovnu, která obsahuje mnoho forem médií, jako jsou knihy, obrázky na mikrofiši a video na DVD.

Představte si inženýra pro digitální inteligenci a analýzu dat jako patrony této knihovny. Tito čtenáři mohou digitálně vytáhnout data z knih, mikrofiší a DVD a najít způsoby, jak je smíchat a kombinovat a naučit se věci, jak data korelují.

Z těchto učení pochází skutečná, realistická inteligence. Některé z našich příkladů mohou zahrnovat:

• Chatter na Twitteru a Facebooku naznačuje blížící se bouři v New Yorku, kde tisíce zákazníků plánují koupit deštníky.
• Údaje o nákupu počítačového souboru cookie a maloobchodní pokladny naznačují, že kupující v Kalifornii jsou ochotni zaplatit více za deštníky značek než lidé ve Virginii.
• Velký blížící se bouřkový vzor naznačuje, že většina východního pobřeží bude po celý týden pokryta dešťovou bouří.

Všechna tato učení by mohla podnítit marketingový tým k tomu, aby investoval do více reklamy geograficky, kde je zastřešující poptávka po prodeji mnohem silnější. Výrobní operace by také mohly přesunout své výrobní úsilí do oblastí světa blíže k místům, kde je větší pravděpodobnost, že prodej stoupne.

Tímto způsobem může každá společnost pomocí velkých dat zefektivnit svůj marketing a provoz.

Co je Hadoop?

Další otázkou je, jak společnosti zpracovávají tak velké objemy dat a identifikují trendy?

Tento druh dat drcení vyžaduje obrovské počítačové prostředky. Tolik tak, že společnosti již nepoužívají velké sálové počítače na místě, jako tomu bylo dříve. Mnoho z těchto služeb je nyní nákupem z cloudu. Cloudové zpravodajské služby jako Apache Hadoop nabízejí mnoho počítačových uzlů ve velké cloudové síti. Každý z těchto uzlů přispívá k výkonu zpracování potřebnému k analýze obrovských toků dat z více zdrojů.

Tento druh výpočetní síly je srdcem počítačové nebo digitální inteligence a analýzy dat. Hadoop je softwarový rámec, díky kterému tato celá síť obrovské výpočetní síly pracuje tak, jak je požadováno pro inženýry digitální inteligence.

Jakmile výpočetní stroj vytvoří akční inteligenci, jsou obvykle dodávány společnosti ve formě dashboardů nebo zpráv.

Big Data nejsou jen Buzzwords

Pravda je taková, že „velká data“ jsou víc než jen firemní žargon. Mnoho společností se učí, že lepším využitím dat dokážou dosáhnout mnoha úspěchů.

• Výrobci mohou zlepšit kritické výrobní metriky, jako je výnos, kvalita a účinnost.
• Maloobchodníci mohou lépe sladit marketingové, reklamní a obchodní investice na základě tržních signálů.
• Distributoři jsou schopni předvídat potenciální problémy v dodavatelském řetězci, aby mohli preventivně rozvíjet pohotovostní plány.
• Zprávy mohou rychle identifikovat zpravodajské události analýzou veřejných signálů na internetu.
• Experti na kybernetickou bezpečnost používat signály přes internet k identifikaci kybernetických útoků, když právě probíhají.

Zatímco velká část toho, co velká data dosáhla v posledních letech, zůstává pro veřejnost prakticky neviditelná, velká data ve skutečnosti měla významný dopad na každodenní život lidí na celém světě.