Termin „big data” dosłownie oznacza ogromną ilość informacji przechowywanych na dowolnym nośniku.
- Źródła dużych danych
- Historia powstania i rozwoju Big Data
- Techniki i metody analizy i przetwarzania dużych zbiorów danych
- Perspektywy i trendy rozwoju Big Data
- Big data w marketingu i biznesie
- Przykłady wykorzystania Big Data
- Problemy z dużymi danymi
- Rynek technologii Big Data w Rosji i na świecie
- Najlepsze książki o Big Data
Co więcej, wolumen ten jest tak duży, że przetwarzanie go przy użyciu zwykłego oprogramowania lub sprzętu jest niepraktyczne, a w niektórych przypadkach całkowicie niemożliwe.
Big Data to nie tylko same dane, ale także technologie ich przetwarzania i wykorzystywania, metody wyszukiwania potrzebnych informacji w dużych tablicach. Problem dużych zbiorów danych jest nadal otwarty i istotny dla wszelkich systemów, które od dziesięcioleci gromadzą różnorodne informacje.
Źródła dużych danych
Sieci społecznościowe są przykładem typowego źródła big data – każdy profil lub strona publiczna to jedna mała kropla w nieustrukturyzowanym oceanie informacji. Co więcej, niezależnie od ilości informacji przechowywanych w danym profilu, interakcja z każdym z użytkowników powinna być jak najszybsza.
Big data nieustannie gromadzą się w niemal każdej dziedzinie życia człowieka. Obejmuje to każdą branżę związaną z interakcjami międzyludzkimi lub informatyką. Są to media społecznościowe i medycyna oraz sektor bankowy, a także systemy urządzeń, które otrzymują liczne wyniki codziennych kalkulacji. Na przykład obserwacje astronomiczne, informacje meteorologiczne i informacje z urządzeń sondujących Ziemię.
Na serwery danej firmy przesyłane są również informacje z różnych systemów śledzących w czasie rzeczywistym. Transmisja telewizyjna i radiowa, bazy połączeń operatorów telefonii komórkowej – interakcja każdej osoby z nimi jest minimalna, ale w sumie wszystkie te informacje stają się big data.
Technologie Big Data stały się integralną częścią badań i rozwoju oraz handlu. Co więcej, zaczynają zawładnąć sferą administracji publicznej – i wszędzie potrzebne jest wprowadzanie coraz wydajniejszych systemów przechowywania i manipulowania informacją.
Historia powstania i rozwoju Big Data
Termin „big data” pojawił się po raz pierwszy w prasie w 2008 r., kiedy redaktor Nature Clifford Lynch opublikował artykuł o tym, jak rozwijać przyszłość nauki za pomocą technologii big data. Do 2009 r. termin ten rozpatrywany był wyłącznie z punktu widzenia analizy naukowej, ale po opublikowaniu kilku kolejnych artykułów prasa zaczęła szeroko wykorzystywać pojęcie Big Data – i używa go do dziś.
W 2010 roku zaczęły pojawiać się pierwsze próby rozwiązania narastającego problemu big data. Pojawiły się produkty programowe, których działanie miało na celu zminimalizowanie zagrożeń przy korzystaniu z ogromnych tablic informacyjnych.
Do 2011 roku dużymi firmami, takimi jak Microsoft, Oracle, EMC i IBM, zainteresowały się big data – jako pierwsze wykorzystały Big Data w swoich strategiach rozwoju i całkiem skutecznie.
Już w 2013 r. uniwersytety zaczęły studiować big data jako osobny przedmiot – obecnie nie tylko data science, ale także inżynieria wraz z przedmiotami informatycznymi zajmują się problemami w tym obszarze.
Techniki i metody analizy i przetwarzania dużych zbiorów danych
Główne metody analizy i przetwarzania danych to:
Metody klas lub eksploracja danych
Metod tych jest dość dużo, ale łączy je jedno: narzędzia matematyczne stosowane w połączeniu z osiągnięciami w dziedzinie informatyki.
Crowdsourcing
Technika ta pozwala na jednoczesne pozyskiwanie danych z kilku źródeł, a liczba tych ostatnich jest praktycznie nieograniczona.
Testy A/B
Z całej ilości danych wybierany jest zestaw kontrolny elementów, który jest porównywany z innymi podobnymi zestawami, w których jeden z elementów został zmieniony. Przeprowadzenie takich testów pomaga określić, które wahania parametrów mają największy wpływ na populację kontrolną. Dzięki wolumenom Big Data możliwe jest przeprowadzenie ogromnej liczby iteracji, z których każda zbliża się do najbardziej wiarygodnego wyniku.
Analiza predykcyjna
Specjaliści w tej dziedzinie starają się z góry przewidzieć i zaplanować, jak będzie się zachowywał kontrolowany obiekt, aby w takiej sytuacji podjąć najkorzystniejszą decyzję.
Uczenie maszynowe (sztuczna inteligencja)
Opiera się na empirycznej analizie informacji i późniejszej konstrukcji algorytmów samouczących się dla systemów.
Analiza sieci
Najpopularniejsza metoda badania sieci społecznościowych – po otrzymaniu danych statystycznych analizowane są węzły utworzone w siatce, czyli interakcje między poszczególnymi użytkownikami a ich społecznościami.
Perspektywy i trendy rozwoju Big Data
W 2017 roku, kiedy big data nie jest już czymś nowym i nieznanym, jego znaczenie nie tylko nie zmalało, ale wręcz wzrosło. Teraz eksperci obstawiają, że analiza dużych ilości danych stanie się dostępna nie tylko dla gigantycznych organizacji, ale także dla małych i średnich firm. Planuje się, że podejście to zostanie wdrożone przy użyciu następujących komponentów:
Przechowywanie w chmurze
Przechowywanie i przetwarzanie danych staje się coraz szybsze i bardziej ekonomiczne – w porównaniu z kosztami utrzymania własnego data center i ewentualną rozbudową kadry wynajem chmury wydaje się znacznie tańszą alternatywą.
Korzystanie z ciemnych danych
Tak zwane „ciemne dane” to wszystkie niezdigitalizowane informacje o firmie, które nie odgrywają kluczowej roli w ich bezpośrednim wykorzystaniu, ale mogą być powodem przejścia na nowy format przechowywania informacji.
Sztuczna inteligencja i głębokie uczenie
Technologia uczenia się inteligencji maszynowej, która naśladuje strukturę i działanie ludzkiego mózgu, najlepiej nadaje się do przetwarzania dużej ilości ciągle zmieniających się informacji. W takim przypadku maszyna zrobi wszystko, co dana osoba musiałaby zrobić, ale prawdopodobieństwo błędu jest znacznie zmniejszone.
Blokada
Technologia ta pozwala na przyspieszenie i uproszczenie wielu transakcji internetowych, w tym międzynarodowych. Kolejną zaletą Blockchain jest to, że obniża koszty transakcji.
Samoobsługa i obniżki cen
W 2017 roku planowane jest wprowadzenie „platform samoobsługowych” – są to bezpłatne platformy, na których przedstawiciele małych i średnich firm będą mogli samodzielnie ocenić przechowywane przez siebie dane i je usystematyzować.
Big data w marketingu i biznesie
Wszystkie strategie marketingowe są w jakiś sposób oparte na manipulacji informacjami i analizie istniejących danych. Dlatego wykorzystanie big data może przewidywać i umożliwiać dostosowanie dalszego rozwoju firmy.
Np. aukcja RTB stworzona na podstawie big data pozwala efektywniej wykorzystać reklamę – dany produkt będzie pokazywany tylko grupie użytkowników, którzy są zainteresowani jego zakupem.
Jaka jest korzyść z wykorzystania technologii Big Data w marketingu i biznesie?
- Z ich pomocą możesz znacznie szybciej tworzyć nowe projekty, które prawdopodobnie staną się popularne wśród kupujących.
- Pomagają powiązać wymagania klienta z istniejącą lub planowaną usługą, a tym samym je dostosować.
- Metody Big Data pozwalają ocenić stopień bieżącego zadowolenia wszystkich użytkowników i każdego z osobna.
- Zwiększenie lojalności klientów osiąga się dzięki metodom przetwarzania dużych zbiorów danych.
- Przyciąganie docelowych odbiorców w Internecie staje się łatwiejsze dzięki możliwości kontrolowania ogromnych ilości danych.
Na przykład jedną z najpopularniejszych usług przewidywania prawdopodobnej popularności danego produktu jest Google.trends. Jest szeroko stosowany przez marketerów i analityków, pozwalając im uzyskać statystyki dotyczące wykorzystania danego produktu w przeszłości oraz prognozy na kolejny sezon. Dzięki temu liderzy firm mogą efektywniej rozdysponować budżet reklamowy, określić, w który obszar najlepiej zainwestować pieniądze.
Przykłady wykorzystania Big Data
Aktywne wprowadzanie technologii Big Data na rynek i do współczesnego życia rozpoczęło się tuż po tym, jak zaczęły z nich korzystać znane na całym świecie firmy, które mają klientów w niemal każdym zakątku globu.
Są to tacy giganci społecznościowi jak Facebook i Google, IBM., a także struktury finansowe jak Master Card, VISA i Bank of America.
Na przykład IBM stosuje techniki Big Data do transakcji gotówkowych. Z ich pomocą wykryto o 15% więcej nieuczciwych transakcji, co zwiększyło ilość chronionych środków o 60%. Rozwiązano również problemy z fałszywymi alarmami systemu – ich liczba zmniejszyła się o ponad połowę.
VISA podobnie wykorzystała Big Data, śledząc nieuczciwe próby wykonania określonej transakcji. Dzięki temu rocznie oszczędzają na wyciekach ponad 2 miliardy dolarów.
Niemieckiemu Ministerstwu Pracy udało się obniżyć koszty o 10 mld euro, wdrażając system big data w pracy wydawania zasiłków dla bezrobotnych. Jednocześnie ujawniono, że jedna piąta obywateli otrzymuje te świadczenia bez uzasadnienia.
Big Data również nie ominęła branży gier. W ten sposób twórcy World of Tanks przeprowadzili badanie informacji o wszystkich graczach i porównali dostępne wskaźniki ich aktywności. Pomogło to przewidzieć ewentualną przyszłą rezygnację graczy – na podstawie przyjętych założeń przedstawiciele organizacji byli w stanie skuteczniej wchodzić w interakcje z użytkownikami.
Do znanych organizacji korzystających z big data należą również HSBC, Nasdaq, Coca-Cola, Starbucks i AT&T.
Problemy z dużymi danymi
Największym problemem związanym z big data jest koszt ich przetwarzania. Może to obejmować zarówno drogi sprzęt, jak i koszty wynagrodzeń wykwalifikowanych specjalistów zdolnych do obsługi ogromnej ilości informacji. Oczywiście sprzęt będzie musiał być regularnie aktualizowany, aby nie tracił swojej minimalnej wydajności wraz ze wzrostem ilości danych.
Drugi problem jest ponownie związany z dużą ilością informacji, które należy przetworzyć. Jeśli np. badanie daje nie 2-3, ale dużą liczbę wyników, bardzo trudno zachować obiektywność i wybrać z ogólnego strumienia danych tylko te, które będą miały realny wpływ na stan zjawiska.
Kwestia prywatności Big Data. Ponieważ większość usług obsługi klienta przechodzi na wykorzystanie danych online, bardzo łatwo jest stać się kolejnym celem cyberprzestępców. Nawet zwykłe przechowywanie danych osobowych bez dokonywania jakichkolwiek transakcji online może być obarczone niepożądanymi konsekwencjami dla klientów korzystających z pamięci masowej w chmurze.
Problem utraty informacji. Środki ostrożności wymagają nie ograniczania się do prostej jednorazowej kopii zapasowej danych, ale wykonania co najmniej 2-3 kopii zapasowych magazynu. Jednak wraz ze wzrostem wolumenu rośnie złożoność redundancji – a specjaliści IT starają się znaleźć najlepsze rozwiązanie tego problemu.
Rynek technologii Big Data w Rosji i na świecie
Od 2014 roku 40% rynku big data to usługi. Nieco gorsze (38%) od tego wskaźnika są przychody z wykorzystania Big Data w sprzęcie komputerowym. Pozostałe 22% to oprogramowanie.
Najbardziej przydatnymi produktami w globalnym segmencie do rozwiązywania problemów Big Data według statystyk są platformy analityczne In-memory i NoSQL. Odpowiednio 15 i 12 procent rynku zajmuje oprogramowanie analityczne Log-file i platformy Columnar. Jednak Hadoop/MapReduce w praktyce radzą sobie z problemami big data nie są zbyt efektywne.
Wyniki wdrożenia technologii Big Data:
- wzrost jakości obsługi klienta;
- optymalizacja integracji łańcucha dostaw;
- optymalizacja planowania organizacji;
- przyspieszenie interakcji z klientami;
- poprawa wydajności przetwarzania żądań klientów;
- zmniejszenie kosztów obsługi;
- optymalizacja przetwarzania żądań klientów.
Najlepsze książki o Big Data
„Ludzka twarz Big Data” autorstwa Ricka Smolana i Jennifer Erwitt
Nadaje się do wstępnego badania technologii przetwarzania dużych zbiorów danych – w łatwy i przejrzysty sposób przedstawia aktualne informacje. Pokazuje, jak obfitość informacji wpłynęła na codzienne życie i wszystkie jego dziedziny: naukę, biznes, medycynę itp. Zawiera liczne ilustracje, dzięki czemu jest postrzegana bez większego wysiłku.
Wprowadzenie do eksploracji danych autorstwa Pang-Ning Tan, Michael Steinbach i Vipin Kumar
Jest to również przydatna książka dla początkujących na temat Big Data, która wyjaśnia, jak pracować z dużymi danymi w sposób „od prostego do złożonego”. Obejmuje wiele ważnych punktów na początkowym etapie: przygotowanie do przetwarzania, wizualizację, OLAP, a także niektóre metody analizy i klasyfikacji danych.
Uczenie maszynowe Pythona autorstwa Sebastiana Raski
Praktyczny przewodnik dotyczący używania i pracy z Big Data przy użyciu języka programowania Python. Nadaje się zarówno dla studentów inżynierii, jak i profesjonalistów, którzy chcą pogłębić swoją wiedzę.
„Hadoop dla manekinów”, Dirk Derus, Paul S. Zikopoulos, Roman B. Melnik
Hadoop to projekt zaprojektowany specjalnie do pracy z rozproszonymi programami, które organizują wykonywanie działań na tysiącach węzłów jednocześnie. Zapoznanie się z nim pomoże bardziej szczegółowo zrozumieć praktyczne zastosowanie big data.
