Der Begriff „Big Data“ bedeutet wörtlich eine riesige Menge an Informationen, die auf einem beliebigen Medium gespeichert sind.
- Große Datenquellen
- Die Geschichte der Entstehung und Entwicklung von Big Data
- Techniken und Methoden zur Analyse und Verarbeitung von Big Data
- Entwicklungsaussichten und -trends für Big Data
- Big Data in Marketing und Business
- Beispiele für die Verwendung von Big Data
- Big Data-Probleme
- Big-Data-Technologiemarkt in Russland und weltweit
- Die besten Bücher über Big Data
Außerdem ist dieses Volumen so groß, dass es mit der üblichen Soft- oder Hardware unpraktisch und teilweise gar nicht zu verarbeiten ist.
Big Data sind nicht nur die Daten selbst, sondern auch Technologien zu ihrer Verarbeitung und Nutzung, Methoden, um die notwendigen Informationen in großen Arrays zu finden. Das Problem Big Data ist nach wie vor offen und lebenswichtig für alle Systeme, die seit Jahrzehnten eine Vielzahl von Informationen ansammeln.
Große Datenquellen
Soziale Netzwerke sind ein Beispiel für eine typische Quelle von Big Data – jedes Profil oder jede öffentliche Seite ist ein kleiner Tropfen in einem unstrukturierten Ozean von Informationen. Darüber hinaus sollte die Interaktion mit jedem Benutzer so schnell wie möglich erfolgen, unabhängig von der Menge an Informationen, die in einem bestimmten Profil gespeichert sind.
In nahezu allen Bereichen des menschlichen Lebens häufen sich ständig Big Data. Dies schließt jede Branche ein, die entweder mit menschlichen Interaktionen oder Computern zu tun hat. Das sind Social Media, Medizin, Bankensektor, aber auch Gerätesysteme, die zahlreiche Ergebnisse täglicher Berechnungen erhalten. Zum Beispiel astronomische Beobachtungen, meteorologische Informationen und Informationen von Erdsonden.
Informationen aus verschiedenen Tracking-Systemen werden in Echtzeit auch an die Server eines bestimmten Unternehmens gesendet. Fernseh- und Radiosendungen, Anrufbasen von Mobilfunkbetreibern – die Interaktion jeder einzelnen Person mit ihnen ist minimal, aber in der Summe werden all diese Informationen zu Big Data.
Big-Data-Technologien sind zu einem integralen Bestandteil von F&E und Handel geworden. Darüber hinaus beginnen sie, die Sphäre der öffentlichen Verwaltung zu erobern – und überall ist die Einführung immer effizienterer Systeme zur Speicherung und Bearbeitung von Informationen erforderlich.
Die Geschichte der Entstehung und Entwicklung von Big Data
Der Begriff „Big Data“ tauchte erstmals 2008 in der Presse auf, als Nature-Redakteur Clifford Lynch einen Artikel darüber veröffentlichte, wie die Zukunft der Wissenschaft mit Hilfe von Big-Data-Technologien vorangebracht werden kann. Bis 2009 wurde dieser Begriff nur unter dem Gesichtspunkt der wissenschaftlichen Analyse betrachtet, aber nach der Veröffentlichung mehrerer weiterer Artikel begann die Presse, das Konzept von Big Data in großem Umfang zu verwenden – und verwendet es bis heute.
Im Jahr 2010 tauchten die ersten Versuche auf, das wachsende Problem von Big Data zu lösen. Es wurden Softwareprodukte veröffentlicht, deren Wirkung darauf abzielte, die Risiken bei der Verwendung riesiger Informationsfelder zu minimieren.
Bis 2011 interessierten sich große Unternehmen wie Microsoft, Oracle, EMC und IBM für Big Data – sie waren die ersten, die Big Data in ihren Entwicklungsstrategien einsetzten, und das ziemlich erfolgreich.
Bereits 2013 begannen Universitäten damit, Big Data als eigenes Fach zu studieren – mittlerweile beschäftigen sich nicht nur die Data Sciences, sondern auch die Ingenieurwissenschaften samt Informatikfächern mit Problemen in diesem Bereich.
Techniken und Methoden zur Analyse und Verarbeitung von Big Data
Zu den wichtigsten Methoden der Datenanalyse und -verarbeitung gehören:
Klassenmethoden oder Data Mining
Diese Methoden sind ziemlich zahlreich, aber sie eint eines: die mathematischen Werkzeuge, die in Verbindung mit Errungenschaften auf dem Gebiet der Informationstechnologie verwendet werden.
Crowdsourcing
Mit dieser Technik können Sie Daten gleichzeitig aus mehreren Quellen erhalten, und die Anzahl der letzteren ist praktisch unbegrenzt.
A/B-Tests
Aus der gesamten Datenmenge wird ein Kontrollsatz von Elementen ausgewählt, der wiederum mit anderen ähnlichen Sätzen verglichen wird, bei denen eines der Elemente geändert wurde. Die Durchführung solcher Tests hilft festzustellen, welche Parameterschwankungen die größte Auswirkung auf die Kontrollpopulation haben. Dank der Menge an Big Data ist es möglich, eine Vielzahl von Iterationen durchzuführen, von denen sich jede dem zuverlässigsten Ergebnis nähert.
Predictive Analytics
Spezialisten auf diesem Gebiet versuchen vorherzusagen und zu planen, wie sich das gesteuerte Objekt verhalten wird, um in dieser Situation die vorteilhafteste Entscheidung zu treffen.
Maschinelles Lernen (künstliche Intelligenz)
Es basiert auf einer empirischen Analyse von Informationen und der anschließenden Konstruktion selbstlernender Algorithmen für Systeme.
Netzwerkanalyse
Die gebräuchlichste Methode zur Untersuchung sozialer Netzwerke – nach Erhalt statistischer Daten werden die im Raster erstellten Knoten analysiert, dh die Interaktionen zwischen einzelnen Benutzern und ihren Communities.
Entwicklungsaussichten und -trends für Big Data
Im Jahr 2017, in dem Big Data nichts Neues und Unbekanntes mehr ist, hat seine Bedeutung nicht nur nicht abgenommen, sondern sogar zugenommen. Nun setzen Experten darauf, dass die Analyse großer Datenmengen nicht nur für Konzernriesen, sondern auch für kleine und mittelständische Unternehmen verfügbar wird. Dieser Ansatz soll mit folgenden Komponenten umgesetzt werden:
Cloud-Speicher
Datenspeicherung und -verarbeitung werden schneller und kostengünstiger – im Vergleich zu den Kosten für den Unterhalt eines eigenen Rechenzentrums und der möglichen personellen Erweiterung scheint das Mieten einer Cloud eine deutlich günstigere Alternative zu sein.
Dunkle Daten verwenden
Bei den sogenannten „dunklen Daten“ handelt es sich um alle nicht digitalisierten Informationen über ein Unternehmen, die bei der direkten Nutzung keine wesentliche Rolle spielen, aber als Grund für die Umstellung auf ein neues Informationsspeicherformat dienen können.
Künstliche Intelligenz und Deep Learning
Die Lerntechnologie maschineller Intelligenz, die die Struktur und Funktionsweise des menschlichen Gehirns nachahmt, ist am besten geeignet, um eine große Menge sich ständig ändernder Informationen zu verarbeiten. In diesem Fall wird die Maschine alles tun, was ein Mensch tun müsste, aber die Fehlerwahrscheinlichkeit wird stark reduziert.
Blockchain
Mit dieser Technologie können Sie zahlreiche Internettransaktionen, auch internationale, beschleunigen und vereinfachen. Ein weiterer Vorteil von Blockchain ist, dass es die Transaktionskosten reduziert.
Selbstbedienung und Preissenkungen
2017 ist die Einführung von „Self-Service-Plattformen“ geplant – das sind kostenlose Plattformen, auf denen Vertreter kleiner und mittlerer Unternehmen ihre gespeicherten Daten selbstständig auswerten und systematisieren können.
Big Data in Marketing und Business
Alle Marketingstrategien basieren irgendwie auf der Manipulation von Informationen und der Analyse vorhandener Daten. Deshalb kann die Nutzung von Big Data die weitere Entwicklung des Unternehmens vorhersagen und steuerbar machen.
Eine auf Basis von Big Data erstellte RTB-Auktion ermöglicht Ihnen beispielsweise eine effizientere Nutzung von Werbung – ein bestimmtes Produkt wird nur dem kaufinteressierten Nutzerkreis angezeigt.
Was ist der Vorteil der Verwendung von Big-Data-Technologien in Marketing und Unternehmen?
- Mit ihrer Hilfe können Sie viel schneller neue Projekte erstellen, die wahrscheinlich bei Käufern beliebt werden.
- Sie helfen, Kundenanforderungen mit einem bestehenden oder geplanten Service in Beziehung zu setzen und so anzupassen.
- Mit Big-Data-Methoden können Sie den Grad der aktuellen Zufriedenheit aller Nutzer und jedes Einzelnen individuell einschätzen.
- Die Steigerung der Kundenbindung wird durch Big-Data-Verarbeitungsmethoden erreicht.
- Das Ansprechen der Zielgruppe im Internet wird durch die Möglichkeit, riesige Datenmengen zu kontrollieren, immer einfacher.
Einer der beliebtesten Dienste zum Vorhersagen der wahrscheinlichen Beliebtheit eines bestimmten Produkts ist beispielsweise Google.trends. Es wird häufig von Vermarktern und Analysten verwendet und ermöglicht es ihnen, Statistiken über die Verwendung eines bestimmten Produkts in der Vergangenheit zu erhalten und Prognosen für die nächste Saison zu erstellen. Auf diese Weise können Unternehmensleiter das Werbebudget effektiver verteilen und bestimmen, in welchen Bereich das Geld am besten investiert wird.
Beispiele für die Verwendung von Big Data
Die aktive Einführung von Big-Data-Technologien auf den Markt und in das moderne Leben begann kurz nachdem sie von weltbekannten Unternehmen mit Kunden in fast allen Teilen der Welt eingesetzt wurden.
Dies sind solche sozialen Giganten wie Facebook und Google, IBM., sowie Finanzstrukturen wie Master Card, VISA und Bank of America.
Beispielsweise wendet IBM Big-Data-Techniken auf Bargeldtransaktionen an. Mit ihrer Hilfe wurden 15 % mehr betrügerische Transaktionen entdeckt, was die Menge an geschützten Geldern um 60 % erhöhte. Die Probleme mit Fehlalarmen des Systems wurden ebenfalls gelöst – ihre Anzahl wurde um mehr als die Hälfte reduziert.
VISA verwendete in ähnlicher Weise Big Data, um betrügerische Versuche zur Durchführung einer bestimmten Transaktion zu verfolgen. Dadurch sparen sie jährlich mehr als 2 Milliarden US-Dollar an Leckagen ein.
Dem Bundesarbeitsministerium ist es gelungen, durch die Implementierung eines Big-Data-Systems bei der Arbeitslosengeldvergabe Kosten in Höhe von 10 Milliarden Euro einzusparen. Gleichzeitig wurde aufgedeckt, dass ein Fünftel der Bürger diese Leistungen ohne Begründung erhält.
Big Data ist auch an der Spieleindustrie nicht vorbeigegangen. Daher haben die Entwickler von World of Tanks eine Informationsstudie über alle Spieler durchgeführt und die verfügbaren Indikatoren ihrer Aktivität verglichen. Dies half, eine mögliche zukünftige Abwanderung von Spielern vorherzusagen – basierend auf den getroffenen Annahmen konnten Vertreter der Organisation effektiver mit Benutzern interagieren.
Zu den bemerkenswerten Organisationen, die Big Data verwenden, gehören auch HSBC, Nasdaq, Coca-Cola, Starbucks und AT&T.
Big Data-Probleme
Das größte Problem bei Big Data sind die Verarbeitungskosten. Dies kann sowohl teure Ausrüstung als auch die Lohnkosten für qualifizierte Spezialisten umfassen, die in der Lage sind, riesige Informationsmengen zu verwalten. Natürlich müssen die Geräte regelmäßig aktualisiert werden, damit sie bei steigender Datenmenge nicht an Mindestleistung verlieren.
Das zweite Problem hängt wiederum mit der großen Menge an Informationen zusammen, die verarbeitet werden müssen. Wenn beispielsweise eine Studie nicht 2-3, sondern eine große Anzahl von Ergebnissen liefert, ist es sehr schwierig, objektiv zu bleiben und aus dem allgemeinen Datenstrom nur diejenigen auszuwählen, die einen echten Einfluss auf den Zustand eines Phänomens haben.
Big Data Datenschutzproblem. Da die meisten Kundendienstdienste auf die Online-Datennutzung umstellen, ist es sehr einfach, das nächste Ziel für Cyberkriminelle zu werden. Selbst das einfache Speichern personenbezogener Daten ohne Durchführung von Online-Transaktionen kann für Cloud-Speicherkunden mit unerwünschten Folgen verbunden sein.
Das Problem des Informationsverlusts. Vorsichtsmaßnahmen erfordern, sich nicht auf eine einfache einmalige Datensicherung zu beschränken, sondern mindestens 2-3 Sicherungskopien des Speichers anzufertigen. Mit zunehmendem Volumen steigt jedoch die Komplexität der Redundanz – und IT-Spezialisten versuchen, die beste Lösung für dieses Problem zu finden.
Big-Data-Technologiemarkt in Russland und weltweit
Seit 2014 sind 40 % des Big-Data-Marktes Dienstleistungen. Etwas unter diesem Indikator (38 %) liegen die Einnahmen aus der Nutzung von Big Data in der Computerausstattung. Die restlichen 22 % entfallen auf Software.
Die nützlichsten Produkte im globalen Segment zur Lösung von Big Data-Problemen sind laut Statistik In-Memory- und NoSQL-Analyseplattformen. 15 bzw. 12 Prozent des Marktes werden von Logfile-Analysesoftware und Columnar-Plattformen eingenommen. Aber Hadoop / MapReduce in der Praxis bewältigen die Probleme von Big Data nicht sehr effektiv.
Ergebnisse der Implementierung von Big-Data-Technologien:
- Wachstum in der Qualität des Kundendienstes;
- Optimierung der Lieferkettenintegration;
- Optimierung der Organisationsplanung;
- Beschleunigung der Interaktion mit Kunden;
- Verbesserung der Effizienz bei der Bearbeitung von Kundenanfragen;
- Reduzierung der Servicekosten;
- Optimierung der Verarbeitung von Kundenanfragen.
Die besten Bücher über Big Data
„Das menschliche Gesicht von Big Data“ von Rick Smolan und Jennifer Erwitt
Geeignet für das Erststudium von Big-Data-Verarbeitungstechnologien – es bringt Sie einfach und übersichtlich auf den neuesten Stand. Es macht deutlich, wie sich die Fülle an Informationen auf den Alltag und all seine Bereiche ausgewirkt hat: Wissenschaft, Wirtschaft, Medizin etc. Enthält zahlreiche Abbildungen und ist daher ohne großen Aufwand erfassbar.
Einführung in Data Mining von Pang-Ning Tan, Michael Steinbach und Vipin Kumar
Auch ein nützliches Buch für Einsteiger in Big Data, das den Umgang mit Big Data „von einfach bis komplex“ erklärt. Es deckt viele wichtige Punkte in der Anfangsphase ab: Vorbereitung für die Verarbeitung, Visualisierung, OLAP sowie einige Methoden zur Analyse und Klassifizierung von Daten.
Python Machine Learning von Sebastian Raska
Ein praktischer Leitfaden zur Verwendung und Arbeit mit Big Data mithilfe der Programmiersprache Python. Geeignet sowohl für Ingenieurstudenten als auch für Berufstätige, die ihr Wissen vertiefen möchten.
„Hadoop für Dummies“, Dirk Derus, Paul S. Zikopoulos, Roman B. Melnik
Hadoop ist ein Projekt, das speziell für die Arbeit mit verteilten Programmen entwickelt wurde, die die Ausführung von Aktionen auf Tausenden von Knoten gleichzeitig organisieren. Die Bekanntschaft damit hilft, die praktische Anwendung von Big Data besser zu verstehen.
