Big Data – alles is hier al mee doordrongen

— Bijgewerkt:
Big Data – alles is hier al mee doordrongen
Afbeelding: Supawat Kaydeesud | Dreamstime
Editorial
Promdevelop editorial team

De term “big data” betekent letterlijk een enorme hoeveelheid informatie die op elk medium is opgeslagen.

Bovendien is dit volume zo groot dat het onpraktisch is om het met de gebruikelijke software of hardware te verwerken, en in sommige gevallen zelfs helemaal onmogelijk.

Big Data zijn niet alleen de gegevens zelf, maar ook technologieën voor het verwerken en gebruiken ervan, methoden om de benodigde informatie in grote arrays te vinden. Het probleem van big data is nog steeds open en van vitaal belang voor alle systemen die al tientallen jaren een grote verscheidenheid aan informatie verzamelen.

Deze term wordt geassocieerd met de uitdrukking “Volume, Velocity, Variety” – de principes waarop werken met big data is gebaseerd. Dit zijn direct hoeveelheid informatie, snelheid van de verwerking en verscheidenheid aan informatie opgeslagen in de array. Onlangs is er nog een principe toegevoegd aan de drie basisprincipes – Waarde, wat de waarde van informatie betekent. Dat wil zeggen, het moet in theoretische of praktische termen nuttig en noodzakelijk zijn, wat de kosten van opslag en verwerking zou rechtvaardigen.

Big data-bronnen

Sociale netwerken zijn een voorbeeld van een typische bron van big data – elk profiel of elke openbare pagina is een kleine druppel in een ongestructureerde oceaan van informatie. Bovendien moet de interactie met elk van de gebruikers zo snel mogelijk zijn, ongeacht de hoeveelheid informatie die in een bepaald profiel is opgeslagen.

DevOps – Ontwikkeling & Operations
DevOps – Ontwikkeling & Operations

Big data stapelt zich constant op op bijna elk gebied van het menselijk leven. Dit omvat elke branche die te maken heeft met menselijke interacties of computers. Dit zijn sociale media en medicijnen, en de banksector, evenals apparaatsystemen die talloze resultaten van dagelijkse berekeningen ontvangen. Bijvoorbeeld astronomische waarnemingen, meteorologische informatie en informatie van aardsondes.

Ook wordt informatie van verschillende volgsystemen in realtime naar de servers van een bepaald bedrijf gestuurd. Televisie- en radio-uitzendingen, oproepbasissen van mobiele operators – de interactie van elke individuele persoon met hen is minimaal, maar in totaal wordt al deze informatie big data.

Big data-technologieën zijn een integraal onderdeel geworden van R&D en handel. Bovendien beginnen ze de sfeer van het openbaar bestuur te veroveren – en overal is de introductie van steeds efficiëntere systemen voor het opslaan en manipuleren van informatie vereist.

De geschiedenis van de opkomst en ontwikkeling van Big Data

De term ‘big data’ verscheen voor het eerst in de pers in 2008, toen Nature-redacteur Clifford Lynch een artikel publiceerde over hoe de toekomst van de wetenschap kan worden bevorderd met behulp van big data-technologieën. Tot 2009 werd deze term alleen beschouwd vanuit het oogpunt van wetenschappelijke analyse, maar na de publicatie van nog een aantal artikelen begon de pers het concept van Big Data op grote schaal te gebruiken – en blijft het op dit moment gebruiken.

Big Data
Afbeelding: T.L.Furrer | Dreamstime

In 2010 begonnen de eerste pogingen om het groeiende probleem van big data op te lossen. Er werden softwareproducten uitgebracht waarvan de actie was gericht op het minimaliseren van de risico’s bij het gebruik van enorme informatiearrays.

Tegen 2011 raakten grote bedrijven zoals Microsoft, Oracle, EMC en IBM geïnteresseerd in big data – zij waren de eersten die big data gebruikten in hun ontwikkelingsstrategieën, en met behoorlijk succes.

Cookies zijn mysterieuze bestanden die maar weinig mensen kennen
Cookies zijn mysterieuze bestanden die maar weinig mensen kennen

Universiteiten begonnen big data al in 2013 als een apart vak te bestuderen – nu hebben niet alleen datawetenschappen, maar ook engineering, samen met computervakken, te maken met problemen op dit gebied.

Technieken en methoden voor het analyseren en verwerken van big data

De belangrijkste methoden voor gegevensanalyse en -verwerking zijn de volgende:

Klasse-methoden of datamining

Deze methoden zijn vrij talrijk, maar ze zijn verenigd door één ding: de wiskundige hulpmiddelen die worden gebruikt in combinatie met prestaties op het gebied van informatietechnologie.

Crowdsourcing

Met deze techniek kunt u tegelijkertijd gegevens uit verschillende bronnen verkrijgen, en het aantal van deze laatste is praktisch onbeperkt.

A/B-testen

Uit de volledige hoeveelheid gegevens wordt een controleset van elementen geselecteerd, die op zijn beurt wordt vergeleken met andere vergelijkbare sets, waarbij een van de elementen is gewijzigd. Het uitvoeren van dergelijke tests helpt om te bepalen welke parameterfluctuaties het grootste effect hebben op de controlepopulatie. Dankzij de hoeveelheden Big Data is het mogelijk om een ​​enorm aantal iteraties uit te voeren, waarbij elk het meest betrouwbare resultaat benadert.

Domeingestuurd ontwerp – DDD-programmering
Domeingestuurd ontwerp – DDD-programmering

Voorspellende analyses

Specialisten op dit gebied proberen van tevoren te voorspellen en plannen hoe het bestuurde object zich zal gedragen om in deze situatie de meest voordelige beslissing te nemen.

Machine learning (kunstmatige intelligentie)

Het is gebaseerd op een empirische analyse van informatie en de daaropvolgende constructie van zelflerende algoritmen voor systemen.

Netwerkanalyse

De meest gebruikelijke methode voor de studie van sociale netwerken – na ontvangst van statistische gegevens worden de knooppunten die in het raster zijn gemaakt, geanalyseerd, dat wil zeggen de interacties tussen individuele gebruikers en hun gemeenschappen.

Vooruitzichten en trends voor big data-ontwikkeling

In 2017, wanneer big data niet langer iets nieuws en onbekends is, is het belang ervan niet alleen niet afgenomen, maar zelfs toegenomen. Nu wedden experts erop dat de analyse van grote hoeveelheden gegevens niet alleen beschikbaar zal komen voor grote organisaties, maar ook voor kleine en middelgrote bedrijven. Het is de bedoeling dat deze aanpak wordt geïmplementeerd met behulp van de volgende componenten:

Cloudopslag

Dataopslag en -verwerking worden steeds sneller en zuiniger – vergeleken met de kosten van het onderhouden van een eigen datacenter en de mogelijke uitbreiding van personeel, lijkt het huren van een cloud een veel goedkoper alternatief.

Big Data
Afbeelding: Dzmitry Ryzhykau | Dreamstime

Donkere gegevens gebruiken

De zogenaamde “dark data” is alle niet-gedigitaliseerde informatie over een bedrijf die geen sleutelrol speelt in het directe gebruik ervan, maar wel een reden kan zijn om over te stappen op een nieuw informatieopslagformaat.

Kunstmatige intelligentie en diep leren

Machine intelligence learning-technologie, die de structuur en werking van het menselijk brein nabootst, is het meest geschikt voor het verwerken van een grote hoeveelheid constant veranderende informatie. In dit geval zal de machine alles doen wat een persoon zou moeten doen, maar de kans op fouten wordt sterk verminderd.

UX-ontwerp – Ontwerp van gebruikerservaring
UX-ontwerp – Ontwerp van gebruikerservaring

Blockchain

Met deze technologie kunt u tal van internettransacties, ook internationale, versnellen en vereenvoudigen. Een ander voordeel van Blockchain is dat het de transactiekosten verlaagt.

Zelfbediening en prijsverlagingen

In 2017 is het de bedoeling om “zelfbedieningsplatforms” te introduceren – dit zijn gratis platforms waar vertegenwoordigers van kleine en middelgrote bedrijven de gegevens die ze opslaan onafhankelijk kunnen evalueren en systematiseren.

Big data in marketing en zaken

Alle marketingstrategieën zijn op de een of andere manier gebaseerd op de manipulatie van informatie en de analyse van bestaande gegevens. Daarom kan het gebruik van big data de verdere ontwikkeling van het bedrijf voorspellen en bijsturen.

Smart home – de toekomst is hier
Smart home – de toekomst is hier

Een RTB-veiling die is gemaakt op basis van big data, stelt u bijvoorbeeld in staat om advertenties efficiënter te gebruiken – een bepaald product wordt alleen getoond aan de groep gebruikers die het willen kopen.

Wat is het voordeel van het gebruik van big data-technologieën in marketing en zaken?

  1. Met hun hulp kun je veel sneller nieuwe projecten maken, die waarschijnlijk populair zullen worden bij kopers.
  2. Ze helpen om klantwensen te relateren aan een bestaande of geplande dienst en deze zo bij te sturen.
  3. Met big data-methoden kunt u de huidige tevredenheid van alle gebruikers en van elk afzonderlijk beoordelen.
  4. Het vergroten van de klantloyaliteit wordt bereikt door big data-verwerkingsmethoden.
  5. Het aantrekken van de doelgroep op internet wordt steeds gemakkelijker vanwege de mogelijkheid om enorme hoeveelheden gegevens te beheren.
Big Data
Afbeelding: Josefkubes | Dreamstime

Een van de meest populaire services voor het voorspellen van de waarschijnlijke populariteit van een bepaald product is bijvoorbeeld Google.trends. Het wordt veel gebruikt door marketeers en analisten, waardoor ze statistieken kunnen krijgen over het gebruik van een bepaald product in het verleden en voorspellingen voor het volgende seizoen. Hierdoor kunnen bedrijfsleiders het advertentiebudget effectiever verdelen, bepalen op welk gebied het beste geld kan worden geïnvesteerd.

Voorbeelden van het gebruik van Big Data

De actieve introductie van Big Data-technologieën op de markt en in het moderne leven begon net nadat ze werden gebruikt door wereldberoemde bedrijven met klanten in bijna elke uithoek van de wereld.

Infographics – de kunst van het presenteren van informatie
Infographics – de kunst van het presenteren van informatie

Dit zijn sociale giganten als Facebook en Google, IBM., Evenals financiële structuren zoals Master Card, VISA en Bank of America.

IBM past bijvoorbeeld big data-technieken toe op contante transacties. Met hun hulp werden 15% meer frauduleuze transacties gedetecteerd, waardoor het bedrag aan beschermde fondsen met 60% toenam. De problemen met valse positieven van het systeem werden ook opgelost – hun aantal werd met meer dan de helft verminderd.

VISA gebruikte op dezelfde manier Big Data, waarmee frauduleuze pogingen om een ​​bepaalde transactie uit te voeren werden gevolgd. Hierdoor besparen ze jaarlijks meer dan 2 miljard dollar aan lekkage.

Het Duitse ministerie van Arbeid is erin geslaagd de kosten met 10 miljard euro te verlagen door een big data-systeem te implementeren bij de afgifte van werkloosheidsuitkeringen. Tegelijkertijd kwam naar voren dat een vijfde van de burgers deze uitkeringen ongerechtvaardigd ontvangt.

Ook Big Data is de game-industrie niet omzeild. Zo hebben de ontwikkelaars van World of Tanks een studie van informatie over alle spelers uitgevoerd en de beschikbare indicatoren van hun activiteit vergeleken. Dit hielp om mogelijke toekomstige churn van spelers te voorspellen – op basis van de gemaakte aannames konden vertegenwoordigers van de organisatie effectiever met gebruikers communiceren.

Google Ads: waarom u het zou moeten gebruiken
Google Ads: waarom u het zou moeten gebruiken

Bekende organisaties die big data gebruiken, zijn onder meer HSBC, Nasdaq, Coca-Cola, Starbucks en AT&T.

Big data-problemen

Het grootste probleem met big data zijn de kosten van de verwerking ervan. Dit kan zowel dure apparatuur als loonkosten omvatten voor gekwalificeerde specialisten die in staat zijn om enorme hoeveelheden informatie te onderhouden. Het is duidelijk dat de apparatuur regelmatig moet worden bijgewerkt, zodat deze zijn minimale prestaties niet verliest naarmate de hoeveelheid gegevens toeneemt.

Big Data
Afbeelding: Anatoly Stojko | Dreamstime

Het tweede probleem heeft weer te maken met de grote hoeveelheid informatie die moet worden verwerkt. Als een onderzoek bijvoorbeeld geen 2-3, maar een groot aantal resultaten oplevert, is het erg moeilijk om objectief te blijven en uit de algemene gegevensstroom alleen die te selecteren die een reële impact hebben op de toestand van een fenomeen.

Big Data-privacykwestie. Nu de meeste klantenservicediensten overstappen op online datagebruik, is het heel gemakkelijk om het volgende doelwit voor cybercriminelen te worden. Zelfs het simpelweg opslaan van persoonlijke informatie zonder online transacties te doen, kan ongewenste gevolgen hebben voor cloudopslagklanten.

Cloudgaming – geavanceerde technologie op het gebied van gaming
Cloudgaming – geavanceerde technologie op het gebied van gaming

Het probleem van informatieverlies. Voorzorgsmaatregelen moeten niet worden beperkt tot een eenvoudige eenmalige back-up van gegevens, maar het maken van ten minste 2-3 back-upkopieën van de opslag. Naarmate het volume toeneemt, neemt de complexiteit van redundantie echter toe – en IT-specialisten proberen de beste oplossing voor dit probleem te vinden.

Big data-technologiemarkt in Rusland en wereldwijd

Vanaf 2014 bestaat 40% van de big data-markt uit services. Iets inferieur (38%) aan deze indicator zijn de inkomsten uit het gebruik van Big Data in computerapparatuur. De overige 22% zit in software.

Volgens de statistieken zijn de meest bruikbare producten in het wereldwijde segment voor het oplossen van Big Data-problemen de analytische platforms In-memory en NoSQL. respectievelijk 15 en 12 procent van de markt wordt ingenomen door analytische software voor logbestanden en Columnar-platforms. Maar Hadoop / MapReduce is in de praktijk niet erg effectief om de problemen van big data aan te pakken.

Caesar’s cipher op wacht voor IT-beveiliging
Caesar’s cipher op wacht voor IT-beveiliging

Resultaten van de implementatie van big data-technologieën:

  • groei in de kwaliteit van de klantenservice;
  • optimalisatie van supply chain-integratie;
  • optimalisatie van organisatieplanning;
  • versnelling van interactie met klanten;
  • het verbeteren van de efficiëntie van het verwerken van klantverzoeken;
  • het verlagen van servicekosten;
  • het optimaliseren van de verwerking van klantverzoeken.

De beste boeken over Big Data

“Het menselijke gezicht van big data” door Rick Smolan en Jennifer Erwitt

Geschikt voor de eerste studie van big data-verwerkingstechnologieën – het brengt u gemakkelijk en duidelijk op de hoogte. Het maakt duidelijk hoe de overvloed aan informatie het dagelijks leven en al zijn gebieden heeft beïnvloed: wetenschap, zaken, geneeskunde, enz. Bevat talrijke illustraties, zodat het zonder veel moeite wordt waargenomen.

Inleiding tot datamining door Pang-Ning Tan, Michael Steinbach en Vipin Kumar

Ook een handig boek voor beginners over Big Data, waarin wordt uitgelegd hoe je “van eenvoudig tot complex” met big data kunt werken. Het behandelt veel belangrijke punten in de beginfase: voorbereiding voor verwerking, visualisatie, OLAP, evenals enkele methoden voor het analyseren en classificeren van gegevens.

Jacque Fresco – een uitstekende wetenschapper van onze tijd
Jacque Fresco – een uitstekende wetenschapper van onze tijd

Python Machine Learning door Sebastian Raska

Een praktische gids voor het gebruik van en werken met big data met behulp van de programmeertaal Python. Geschikt voor zowel ingenieursstudenten als professionals die hun kennis willen verdiepen.

“Hadoop voor Dummies”, Dirk Derus, Paul S. Zikopoulos, Roman B. Melnik

Hadoop is een project dat speciaal is ontworpen om te werken met gedistribueerde programma’s die de uitvoering van acties op duizenden knooppunten tegelijkertijd organiseren. Kennis hiervan zal helpen om de praktische toepassing van big data in meer detail te begrijpen.

6
Inhoud Delen