Il termine “big data” significa letteralmente un’enorme quantità di informazioni memorizzate su qualsiasi supporto.
- Fonti di Big Data
- La storia della nascita e dello sviluppo dei Big Data
- Tecniche e metodi per l'analisi e l'elaborazione dei big data
- Prospettive e tendenze di sviluppo dei big data
- Big data nel marketing e negli affari
- Esempi di utilizzo dei Big Data
- Problemi relativi ai big data
- Mercato della tecnologia dei big data in Russia e nel mondo
- I migliori libri sui Big Data
Inoltre, questo volume è così grande che è impraticabile elaborarlo utilizzando il solito software o hardware e in alcuni casi è completamente impossibile.
Big Data non sono solo i dati stessi, ma anche tecnologie per elaborarli e utilizzarli, metodi per trovare le informazioni necessarie in grandi array. Il problema dei big data è ancora aperto e vitale per tutti i sistemi che da decenni accumulano un’ampia varietà di informazioni.
Fonti di Big Data
I social network sono un esempio di una tipica fonte di big data: ogni profilo o pagina pubblica è una piccola goccia in un oceano di informazioni non strutturate. Inoltre, indipendentemente dalla quantità di informazioni memorizzate in un particolare profilo, l’interazione con ciascuno degli utenti dovrebbe essere il più veloce possibile.
I big data si accumulano costantemente in quasi ogni area della vita umana. Ciò include qualsiasi settore correlato alle interazioni umane o all’informatica. Questi sono i social media, la medicina e il settore bancario, nonché i sistemi di dispositivi che ricevono numerosi risultati di calcoli giornalieri. Ad esempio, osservazioni astronomiche, informazioni meteorologiche e informazioni provenienti da dispositivi di rilevamento della Terra.
Le informazioni provenienti da vari sistemi di tracciamento in tempo reale vengono inviate anche ai server di una determinata azienda. Trasmissioni televisive e radiofoniche, basi di chiamata degli operatori mobili: l’interazione di ogni singola persona con loro è minima, ma nel complesso tutte queste informazioni diventano big data.
Le tecnologie dei big data sono diventate parte integrante della ricerca e sviluppo e del commercio. Inoltre, stanno iniziando a catturare la sfera della pubblica amministrazione – e ovunque è richiesta l’introduzione di sistemi sempre più efficienti per la memorizzazione e la manipolazione delle informazioni.
La storia della nascita e dello sviluppo dei Big Data
Il termine “big data” è apparso per la prima volta sulla stampa nel 2008, quando l’editore di Nature Clifford Lynch ha pubblicato un articolo su come far progredire il futuro della scienza con l’aiuto delle tecnologie dei big data. Fino al 2009, questo termine era considerato solo dal punto di vista dell’analisi scientifica, ma dopo la pubblicazione di molti altri articoli, la stampa ha iniziato a utilizzare ampiamente il concetto di Big Data – e continua a usarlo anche oggi.
Nel 2010 sono iniziati ad apparire i primi tentativi di risolvere il crescente problema dei big data. Sono stati rilasciati prodotti software, la cui azione era volta a ridurre al minimo i rischi quando si utilizzano enormi array di informazioni.
Nel 2011, grandi aziende come Microsoft, Oracle, EMC e IBM si sono interessate ai big data: sono state le prime a utilizzare i big data nelle loro strategie di sviluppo e con successo.
Le università hanno iniziato a studiare i big data come materia separata già nel 2013: ora non solo le scienze dei dati, ma anche l’ingegneria, insieme alle materie informatiche, stanno affrontando problemi in quest’area.
Tecniche e metodi per l’analisi e l’elaborazione dei big data
I principali metodi di analisi ed elaborazione dei dati sono i seguenti:
Metodi di classe o data mining
Questi metodi sono piuttosto numerosi, ma sono accomunati da una cosa: gli strumenti matematici utilizzati insieme ai risultati nel campo della tecnologia dell’informazione.
Crowdsourcing
Questa tecnica permette di ottenere dati contemporaneamente da più sorgenti, e il numero di queste ultime è praticamente illimitato.
Test A/B
Dall’intera quantità di dati viene selezionato un insieme di controllo di elementi, che viene confrontato a sua volta con altri insiemi simili, in cui uno degli elementi è stato modificato. L’esecuzione di tali test aiuta a determinare quali fluttuazioni dei parametri hanno il maggiore effetto sulla popolazione di controllo. Grazie ai volumi dei Big Data, è possibile effettuare un numero enorme di iterazioni, ognuna delle quali si avvicina al risultato più affidabile.
Analisi predittiva
Gli specialisti in questo campo cercano di prevedere e pianificare in anticipo come si comporterà l’oggetto controllato per prendere la decisione più vantaggiosa in questa situazione.
Apprendimento automatico (intelligenza artificiale)
Si basa su un’analisi empirica delle informazioni e sulla successiva costruzione di algoritmi di autoapprendimento per sistemi.
Analisi della rete
Il metodo più comune per lo studio dei social network: dopo aver ricevuto dati statistici, vengono analizzati i nodi creati nella griglia, ovvero le interazioni tra i singoli utenti e le loro comunità.
Prospettive e tendenze di sviluppo dei big data
Nel 2017, quando i big data non sono più qualcosa di nuovo e sconosciuto, la loro importanza non solo non è diminuita, ma è addirittura aumentata. Ora gli esperti scommettono che l’analisi di grandi quantità di dati diventerà disponibile non solo per le organizzazioni giganti, ma anche per le piccole e medie imprese. Questo approccio dovrebbe essere implementato utilizzando i seguenti componenti:
Archiviazione su cloud
L’archiviazione e l’elaborazione dei dati stanno diventando più veloci ed economici: rispetto ai costi di manutenzione del proprio data center e alla possibile espansione del personale, noleggiare un cloud sembra essere un’alternativa molto più economica.
Utilizzo di dati oscuri
I cosiddetti “dati oscuri” sono tutte le informazioni non digitalizzate su un’azienda che non svolgono un ruolo chiave nel suo utilizzo diretto, ma possono servire come motivo per passare a un nuovo formato di archiviazione delle informazioni.
Intelligenza artificiale e apprendimento approfondito
La tecnologia di apprendimento dell’intelligenza artificiale, che imita la struttura e il funzionamento del cervello umano, è la più adatta per elaborare una grande quantità di informazioni in continua evoluzione. In questo caso, la macchina farà tutto ciò che una persona dovrebbe fare, ma la probabilità di errore è notevolmente ridotta.
Blockchain
Questa tecnologia consente di velocizzare e semplificare numerose transazioni Internet, comprese quelle internazionali. Un altro vantaggio di Blockchain è che riduce i costi di transazione.
Self-service e riduzione dei prezzi
Nel 2017 è prevista l’introduzione delle “piattaforme self-service”: si tratta di piattaforme gratuite in cui i rappresentanti delle piccole e medie imprese potranno valutare in modo indipendente i dati che archiviano e sistematizzarli.
Big data nel marketing e negli affari
Tutte le strategie di marketing sono in qualche modo basate sulla manipolazione delle informazioni e sull’analisi dei dati esistenti. Ecco perché l’uso dei big data può prevedere e consentire di adeguare l’ulteriore sviluppo dell’azienda.
Ad esempio, un’asta RTB creata sulla base di big data ti consente di utilizzare la pubblicità in modo più efficiente: un determinato prodotto verrà mostrato solo al gruppo di utenti interessati all’acquisto.
Qual è il vantaggio dell’utilizzo delle tecnologie dei big data nel marketing e negli affari?
- Con il loro aiuto, puoi creare nuovi progetti molto più velocemente, che probabilmente diventeranno popolari tra gli acquirenti.
- Aiutano a mettere in relazione le esigenze dei clienti con un servizio esistente o pianificato e quindi ad adattarle.
- I metodi dei big data consentono di valutare il grado di soddisfazione attuale di tutti gli utenti e di ciascuno individualmente.
- L’aumento della fedeltà dei clienti si ottiene attraverso metodi di elaborazione dei big data.
- Attrarre il pubblico di destinazione su Internet sta diventando più facile grazie alla capacità di controllare enormi quantità di dati.
Ad esempio, uno dei servizi più popolari per prevedere la probabile popolarità di un particolare prodotto è Google.trends. È ampiamente utilizzato da esperti di marketing e analisti, consentendo loro di ottenere statistiche sull’uso di un determinato prodotto in passato e previsioni per la prossima stagione. Ciò consente ai leader dell’azienda di distribuire in modo più efficace il budget pubblicitario, determinare in quale area è meglio investire denaro.
Esempi di utilizzo dei Big Data
L’introduzione attiva delle tecnologie Big Data nel mercato e nella vita moderna è iniziata subito dopo che hanno iniziato ad essere utilizzate da aziende di fama mondiale che hanno clienti in quasi ogni angolo del globo.
Questi sono giganti sociali come Facebook e Google, IBM., Oltre a strutture finanziarie come Master Card, VISA e Bank of America.
Ad esempio, IBM sta applicando tecniche di big data alle transazioni in contanti. Con il loro aiuto, è stato rilevato il 15% in più di transazioni fraudolente, il che ha aumentato del 60% l’importo dei fondi protetti. Anche i problemi con i falsi positivi del sistema sono stati risolti: il loro numero è stato ridotto di oltre la metà.
Allo stesso modo, VISA utilizzava i Big Data, monitorando i tentativi fraudolenti di eseguire una determinata transazione. Grazie a ciò, risparmiano ogni anno oltre 2 miliardi di dollari USA dalle perdite.
Il ministero del Lavoro tedesco è riuscito a tagliare i costi di 10 miliardi di euro implementando un sistema di big data nel lavoro di erogazione dei sussidi di disoccupazione. Allo stesso tempo, è emerso che un quinto dei cittadini riceve questi benefici senza giustificazione.
Anche i Big Data non hanno bypassato l’industria dei giochi. Pertanto, gli sviluppatori di World of Tanks hanno condotto uno studio sulle informazioni su tutti i giocatori e confrontato gli indicatori disponibili della loro attività. Ciò ha aiutato a prevedere il possibile futuro abbandono dei giocatori: sulla base delle ipotesi formulate, i rappresentanti dell’organizzazione sono stati in grado di interagire con gli utenti in modo più efficace.
Le organizzazioni degne di nota che utilizzano i big data includono anche HSBC, Nasdaq, Coca-Cola, Starbucks e AT&T.
Problemi relativi ai big data
Il problema più grande con i big data è il costo di elaborazione. Ciò può includere sia apparecchiature costose che il costo dei salari per specialisti qualificati in grado di gestire enormi quantità di informazioni. Ovviamente, l’attrezzatura dovrà essere regolarmente aggiornata in modo che non perda le sue prestazioni minime all’aumentare della quantità di dati.
Il secondo problema è ancora una volta legato alla grande quantità di informazioni che devono essere elaborate. Se, ad esempio, uno studio fornisce non 2-3, ma un numero elevato di risultati, è molto difficile rimanere obiettivi e selezionare dal flusso di dati generali solo quelli che avranno un impatto reale sullo stato di un fenomeno.
Problema di privacy dei Big Data. Con la maggior parte dei servizi di assistenza clienti che si spostano sull’utilizzo dei dati online, è molto facile diventare il prossimo obiettivo dei criminali informatici. Anche la semplice memorizzazione delle informazioni personali senza effettuare transazioni online può essere irta di conseguenze indesiderabili per i clienti di cloud storage.
Il problema della perdita di informazioni. Le precauzioni non richiedono di limitarsi a un semplice backup dei dati una tantum, ma di eseguire almeno 2-3 copie di backup dello storage. Tuttavia, con l’aumento del volume, la complessità della ridondanza aumenta e gli specialisti IT stanno cercando di trovare la soluzione migliore a questo problema.
Mercato della tecnologia dei big data in Russia e nel mondo
A partire dal 2014, il 40% del mercato dei big data è costituito da servizi. Leggermente inferiori (38%) a questo indicatore sono i ricavi derivanti dall’uso dei Big Data nelle apparecchiature informatiche. Il restante 22% è nel software.
I prodotti più utili nel segmento globale per risolvere i problemi dei Big Data, secondo le statistiche, sono le piattaforme analitiche In-memory e NoSQL. Il 15 e il 12 percento del mercato, rispettivamente, sono occupati da software di analisi Log-file e piattaforme Columnar. Ma Hadoop/MapReduce in pratica far fronte ai problemi dei big data non è molto efficace.
Risultati dell’implementazione di tecnologie Big Data:
- crescita della qualità del servizio clienti;
- ottimizzare l’integrazione della catena di approvvigionamento;
- ottimizzazione della pianificazione organizzativa;
- accelerazione dell’interazione con i clienti;
- migliorare l’efficienza dell’elaborazione delle richieste dei clienti;
- ridurre i costi del servizio;
- ottimizzare l’elaborazione delle richieste dei clienti.
I migliori libri sui Big Data
“Il volto umano dei big data” di Rick Smolan e Jennifer Erwitt
Adatto per lo studio iniziale delle tecnologie di elaborazione dei big data: ti aggiorna facilmente e in modo chiaro. Rende chiaro come l’abbondanza di informazioni abbia influenzato la vita quotidiana e tutte le sue aree: scienza, economia, medicina, ecc. Contiene numerose illustrazioni, quindi viene percepita senza troppi sforzi.
Introduzione al data mining di Pang-Ning Tan, Michael Steinbach e Vipin Kumar
Anche un utile libro per principianti sui Big Data, che spiega come lavorare con i big data in modo “dal semplice al complesso”. Copre molti punti importanti nella fase iniziale: preparazione per l’elaborazione, visualizzazione, OLAP, nonché alcuni metodi di analisi e classificazione dei dati.
Apprendimento automatico Python di Sebastian Raska
Una guida pratica per usare e lavorare con i big data usando il linguaggio di programmazione Python. Adatto sia a studenti di ingegneria che a professionisti che vogliono approfondire le proprie conoscenze.
“Hadoop for Dummies”, Dirk Derus, Paul S. Zikopoulos, Roman B. Melnik
Hadoop è un progetto progettato specificamente per lavorare con programmi distribuiti che organizzano l’esecuzione di azioni su migliaia di nodi contemporaneamente. La sua conoscenza aiuterà a comprendere più in dettaglio l’applicazione pratica dei big data.
