El término «big data» literalmente significa una gran cantidad de información almacenada en cualquier medio.
- Grandes fuentes de datos
- La historia del surgimiento y desarrollo de Big Data
- Técnicas y métodos de análisis y procesamiento de big data
- Perspectivas y tendencias de desarrollo de big data
- Big data en marketing y negocios
- Ejemplos de uso de Big Data
- Problemas de Big Data
- Mercado de tecnología de big data en Rusia y en todo el mundo
- Los mejores libros sobre Big Data
Además, este volumen es tan grande que no es práctico procesarlo con el software o el hardware habitual, y en algunos casos es completamente imposible.
Big Data no son solo los datos en sí, sino también las tecnologías para procesarlos y utilizarlos, métodos para encontrar la información necesaria en grandes matrices. El problema del big data aún está abierto y es vital para cualquier sistema que haya estado acumulando una amplia variedad de información durante décadas.
Grandes fuentes de datos
Las redes sociales son un ejemplo de una fuente típica de big data: cada perfil o página pública es una pequeña gota en un océano de información no estructurado. Además, independientemente de la cantidad de información almacenada en un determinado perfil, la interacción con cada uno de los usuarios debe ser lo más rápida posible.
Los grandes datos se acumulan constantemente en casi todas las áreas de la vida humana. Esto incluye cualquier industria relacionada con las interacciones humanas o la informática. Estos son las redes sociales, la medicina y el sector bancario, así como los sistemas de dispositivos que reciben numerosos resultados de cálculos diarios. Por ejemplo, observaciones astronómicas, información meteorológica e información de dispositivos de sondeo de la Tierra.
La información de varios sistemas de seguimiento en tiempo real también se envía a los servidores de una empresa en particular. Difusión de televisión y radio, bases de llamadas de operadores móviles: la interacción de cada persona individual con ellos es mínima, pero en conjunto, toda esta información se convierte en grandes datos.
Las tecnologías de big data se han vuelto parte integral de la I+D y el comercio. Además, están comenzando a capturar la esfera de la administración pública, y en todas partes se requiere la introducción de sistemas cada vez más eficientes para almacenar y manipular información.
La historia del surgimiento y desarrollo de Big Data
El término “big data” apareció por primera vez en la prensa en 2008, cuando el editor de Nature, Clifford Lynch, publicó un artículo sobre cómo avanzar en el futuro de la ciencia con la ayuda de tecnologías de big data. Hasta 2009, este término se consideraba solo desde el punto de vista del análisis científico, pero después de la publicación de varios artículos más, la prensa comenzó a utilizar ampliamente el concepto de Big Data, y continúa utilizándolo en la actualidad.
En 2010 comenzaron a aparecer los primeros intentos de solucionar el creciente problema del big data. Se lanzaron productos de software cuya acción estuvo dirigida a minimizar los riesgos al utilizar grandes matrices de información.
Para 2011, grandes empresas como Microsoft, Oracle, EMC e IBM se interesaron en Big Data: fueron las primeras en utilizar Big Data en sus estrategias de desarrollo y con bastante éxito.
Las universidades comenzaron a estudiar big data como una materia separada ya en 2013; ahora no solo las ciencias de datos, sino también la ingeniería, junto con las materias de computación, están lidiando con problemas en esta área.
Técnicas y métodos de análisis y procesamiento de big data
Los principales métodos de análisis y procesamiento de datos incluyen los siguientes:
Métodos de clase o minería de datos
Estos métodos son bastante numerosos, pero están unidos por una cosa: las herramientas matemáticas utilizadas junto con los logros en el campo de la tecnología de la información.
Colaboración colectiva
Esta técnica le permite obtener datos simultáneamente de varias fuentes, y el número de estas últimas es prácticamente ilimitado.
Pruebas A/B
De toda la cantidad de datos, se selecciona un conjunto de elementos de control, que se compara a su vez con otros conjuntos similares, donde se ha cambiado uno de los elementos. La realización de tales pruebas ayuda a determinar qué fluctuaciones de parámetros tienen el mayor efecto en la población de control. Gracias a los volúmenes de Big Data, es posible llevar a cabo una gran cantidad de iteraciones, acercándose cada una de ellas al resultado más confiable.
Análisis predictivo
Los especialistas en este campo intentan predecir y planificar de antemano cómo se comportará el objeto controlado para tomar la decisión más ventajosa en esta situación.
Aprendizaje automático (inteligencia artificial)
Se basa en un análisis empírico de la información y la posterior construcción de algoritmos de autoaprendizaje de sistemas.
Análisis de red
El método más común para el estudio de las redes sociales: después de recibir datos estadísticos, se analizan los nodos creados en la cuadrícula, es decir, las interacciones entre los usuarios individuales y sus comunidades.
Perspectivas y tendencias de desarrollo de big data
En 2017, cuando el big data ya no es algo nuevo y desconocido, su importancia no solo no ha disminuido, sino que incluso ha aumentado. Ahora los expertos apuestan a que el análisis de grandes cantidades de datos estará disponible no solo para organizaciones gigantes, sino también para pequeñas y medianas empresas. Se planea implementar este enfoque utilizando los siguientes componentes:
Almacenamiento en la nube
El almacenamiento y el procesamiento de datos son cada vez más rápidos y económicos: en comparación con los costos de mantener su propio centro de datos y la posible expansión del personal, alquilar una nube parece ser una alternativa mucho más económica.
Uso de datos ocultos
Los llamados «datos oscuros» son toda información no digitalizada sobre una empresa que no juega un papel clave en su uso directo, pero que puede servir como motivo para cambiar a un nuevo formato de almacenamiento de información.
Inteligencia artificial y aprendizaje profundo
La tecnología de aprendizaje de inteligencia artificial, que imita la estructura y el funcionamiento del cerebro humano, es la más adecuada para procesar una gran cantidad de información en constante cambio. En este caso, la máquina hará todo lo que tendría que hacer una persona, pero la probabilidad de error se reduce considerablemente.
Cadena de bloques
Esta tecnología le permite agilizar y simplificar numerosas transacciones por Internet, incluidas las internacionales. Otra ventaja de Blockchain es que reduce los costos de transacción.
Autoservicio y rebajas de precios
En 2017, está previsto introducir «plataformas de autoservicio», que son plataformas gratuitas en las que los representantes de las pequeñas y medianas empresas podrán evaluar de forma independiente los datos que almacenan y sistematizarlos.
Big data en marketing y negocios
Todas las estrategias de marketing se basan de alguna manera en la manipulación de la información y el análisis de los datos existentes. Es por eso que el uso de big data puede predecir y permitir ajustar el desarrollo futuro de la empresa.
Por ejemplo, una subasta RTB creada sobre la base de grandes datos le permite utilizar la publicidad de manera más eficiente: un determinado producto se mostrará solo al grupo de usuarios que estén interesados en comprarlo.
¿Cuál es el beneficio de usar tecnologías de big data en marketing y negocios?
- Con su ayuda, puede crear nuevos proyectos mucho más rápido, que probablemente se vuelvan populares entre los compradores.
- Ayudan a relacionar los requisitos del cliente con un servicio existente o planificado y así ajustarlos.
- Los métodos de big data permiten evaluar el grado de satisfacción actual de todos los usuarios y de cada uno de forma individual.
- El aumento de la lealtad del cliente se logra a través de métodos de procesamiento de big data.
- Atraer al público objetivo en Internet es cada vez más fácil debido a la capacidad de controlar grandes cantidades de datos.
Por ejemplo, uno de los servicios más populares para predecir la probable popularidad de un producto en particular es Google.trends. Es ampliamente utilizado por especialistas en marketing y analistas, lo que les permite obtener estadísticas sobre el uso de un producto determinado en el pasado y pronosticar para la próxima temporada. Esto permite a los líderes de la empresa distribuir de manera más efectiva el presupuesto de publicidad, determinar en qué área es mejor invertir dinero.
Ejemplos de uso de Big Data
La introducción activa de las tecnologías Big Data en el mercado y en la vida moderna comenzó justo después de que comenzaran a ser utilizadas por empresas de fama mundial que tienen clientes en casi todos los rincones del mundo.
Estos son gigantes sociales como Facebook y Google, IBM., Así como estructuras financieras como Master Card, VISA y Bank of America.
Por ejemplo, IBM está aplicando técnicas de big data a las transacciones en efectivo. Con su ayuda, se detectaron un 15 % más de transacciones fraudulentas, lo que aumentó la cantidad de fondos protegidos en un 60 %. También se resolvieron los problemas con los falsos positivos del sistema: su número se redujo a más de la mitad.
VISA también usó Big Data, rastreando los intentos fraudulentos de realizar una transacción en particular. Gracias a esto, anualmente ahorran más de 2 mil millones de dólares estadounidenses en fugas.
El Ministerio de Trabajo alemán ha conseguido reducir costes en 10.000 millones de euros implantando un sistema de big data en la labor de emisión de prestaciones por desempleo. Al mismo tiempo, se reveló que una quinta parte de los ciudadanos reciben estos beneficios sin justificación.
Big Data tampoco ha pasado por alto a la industria del juego. Por lo tanto, los desarrolladores de World of Tanks realizaron un estudio de información sobre todos los jugadores y compararon los indicadores disponibles de su actividad. Esto ayudó a predecir una posible rotación futura de jugadores: según las suposiciones hechas, los representantes de la organización pudieron interactuar con los usuarios de manera más efectiva.
Entre las organizaciones notables que utilizan big data también se incluyen HSBC, Nasdaq, Coca-Cola, Starbucks y AT&T.
Problemas de Big Data
El mayor problema con Big Data es el costo de procesarlo. Esto puede incluir tanto equipos costosos como el costo de los salarios de especialistas calificados capaces de manejar grandes cantidades de información. Evidentemente, el equipo tendrá que ser actualizado periódicamente para que no pierda su rendimiento mínimo a medida que aumenta la cantidad de datos.
El segundo problema está nuevamente relacionado con la gran cantidad de información que necesita ser procesada. Si, por ejemplo, un estudio no da 2-3, sino una gran cantidad de resultados, es muy difícil permanecer objetivo y seleccionar del flujo de datos general solo aquellos que tendrán un impacto real en el estado de un fenómeno.
Gran problema de privacidad de datos. Dado que la mayoría de los servicios de atención al cliente pasan al uso de datos en línea, es muy fácil convertirse en el próximo objetivo de los ciberdelincuentes. Incluso el simple hecho de almacenar información personal sin realizar ninguna transacción en línea puede tener consecuencias indeseables para los clientes de almacenamiento en la nube.
El problema de la pérdida de información. Las precauciones requieren no limitarse a una simple copia de seguridad única de los datos, sino realizar al menos 2 o 3 copias de seguridad del almacenamiento. Sin embargo, a medida que aumenta el volumen, aumenta la complejidad de la redundancia, y los especialistas en TI están tratando de encontrar la mejor solución a este problema.
Mercado de tecnología de big data en Rusia y en todo el mundo
A partir de 2014, el 40% del mercado de big data son servicios. Ligeramente inferior (38%) a este indicador se encuentran los ingresos por el uso de Big Data en equipos de cómputo. El 22% restante está en software.
Los productos más útiles en el segmento global para resolver problemas de Big Data, según las estadísticas, son las plataformas analíticas In-memory y NoSQL. El 15 y el 12 por ciento del mercado, respectivamente, están ocupados por el software analítico Log-file y las plataformas Columnar. Pero Hadoop/MapReduce en la práctica hacer frente a los problemas de los grandes datos no es muy eficaz.
Resultados de la implementación de tecnologías de big data:
- crecimiento en la calidad del servicio al cliente;
- optimizar la integración de la cadena de suministro;
- optimización de la planificación de la organización;
- aceleración de la interacción con los clientes;
- mejorar la eficiencia del procesamiento de las solicitudes de los clientes;
- reducir los costos del servicio;
- optimizar el procesamiento de las solicitudes de los clientes.
Los mejores libros sobre Big Data
«El rostro humano de Big Data» de Rick Smolan y Jennifer Erwitt
Adecuado para el estudio inicial de las tecnologías de procesamiento de big data: lo pone al día de manera fácil y clara. Deja claro cómo la abundancia de información ha afectado la vida cotidiana y todas sus áreas: ciencia, negocios, medicina, etc. Contiene numerosas ilustraciones, por lo que se percibe sin mucho esfuerzo.
Introducción a la minería de datos por Pang-Ning Tan, Michael Steinbach y Vipin Kumar
También un libro útil para principiantes en Big Data, que explica cómo trabajar con big data de una manera «de lo simple a lo complejo». Cubre muchos puntos importantes en la etapa inicial: preparación para el procesamiento, visualización, OLAP, así como algunos métodos de análisis y clasificación de datos.
Aprendizaje automático de Python por Sebastian Raska
Una guía práctica para usar y trabajar con big data usando el lenguaje de programación Python. Apto tanto para estudiantes de ingeniería como para profesionales que quieran profundizar en sus conocimientos.
«Hadoop para tontos», Dirk Derus, Paul S. Zikopoulos, Roman B. Melnik
Hadoop es un proyecto diseñado específicamente para trabajar con programas distribuidos que organizan la ejecución de acciones en miles de nodos al mismo tiempo. Familiarizarse con él ayudará a comprender con más detalle la aplicación práctica de big data.
