O termo “big data” significa literalmente uma enorme quantidade de informações armazenadas em qualquer meio.
- Fontes de Big Data
- A história do surgimento e desenvolvimento do Big Data
- Técnicas e métodos para analisar e processar big data
- Perspectivas e tendências de desenvolvimento de big data
- Big data em marketing e negócios
- Exemplos de uso de Big Data
- Problemas de Big Data
- Mercado de tecnologia de big data na Rússia e no mundo
- Os melhores livros sobre Big Data
Além disso, esse volume é tão grande que é impraticável processá-lo usando o software ou hardware usual e, em alguns casos, é completamente impossível.
Big Data não são apenas os dados em si, mas também tecnologias para processá-los e usá-los, métodos para encontrar as informações necessárias em grandes arrays. O problema do big data ainda está em aberto e é vital para qualquer sistema que vem acumulando uma grande variedade de informações há décadas.
Fontes de Big Data
As redes sociais são um exemplo de uma fonte típica de big data – cada perfil ou página pública é uma pequena gota em um oceano não estruturado de informações. Além disso, independentemente da quantidade de informações armazenadas em um determinado perfil, a interação com cada um dos usuários deve ser a mais rápida possível.
Big data está se acumulando constantemente em quase todas as áreas da vida humana. Isso inclui qualquer setor relacionado a interações humanas ou computação. São mídias sociais, medicina e setor bancário, além de sistemas de dispositivos que recebem inúmeros resultados de cálculos diários. Por exemplo, observações astronômicas, informações meteorológicas e informações de dispositivos de sondagem da Terra.
Informações de diversos sistemas de rastreamento em tempo real também são enviadas para os servidores de uma determinada empresa. Transmissão de televisão e rádio, bases de chamadas de operadoras móveis – a interação de cada pessoa com eles é mínima, mas no agregado, todas essas informações se tornam big data.
As tecnologias de big data tornaram-se parte integrante da P&D e do comércio. Além disso, eles estão começando a capturar a esfera da administração pública – e em todos os lugares é necessária a introdução de sistemas cada vez mais eficientes de armazenamento e manipulação de informações.
A história do surgimento e desenvolvimento do Big Data
O termo “big data” apareceu pela primeira vez na imprensa em 2008, quando o editor da Nature, Clifford Lynch, publicou um artigo sobre como avançar no futuro da ciência com a ajuda de tecnologias de big data. Até 2009, esse termo era considerado apenas do ponto de vista da análise científica, mas após a divulgação de vários outros artigos, a imprensa passou a utilizar amplamente o conceito de Big Data – e continua a utilizá-lo na atualidade.
Em 2010, começaram a surgir as primeiras tentativas de resolver o crescente problema do big data. Foram lançados produtos de software, cuja ação visava minimizar os riscos ao utilizar grandes matrizes de informações.
Em 2011, grandes empresas como Microsoft, Oracle, EMC e IBM se interessaram por big data – elas foram as primeiras a usar Big data em suas estratégias de desenvolvimento, e com bastante sucesso.
As universidades começaram a estudar big data como uma disciplina separada já em 2013 – agora não apenas ciências de dados, mas também engenharia, juntamente com disciplinas de computação, estão lidando com problemas nessa área.
Técnicas e métodos para analisar e processar big data
Os principais métodos de análise e processamento de dados incluem o seguinte:
Métodos de classe ou mineração de dados
Esses métodos são bastante numerosos, mas estão unidos por uma coisa: as ferramentas matemáticas usadas em conjunto com as conquistas no campo da tecnologia da informação.
Crowdsourcing
Esta técnica permite obter dados simultaneamente de várias fontes, sendo que o número destas últimas é praticamente ilimitado.
Teste A/B
De toda a quantidade de dados, um conjunto de elementos de controle é selecionado, que é comparado por sua vez com outros conjuntos semelhantes, onde um dos elementos foi alterado. A realização de tais testes ajuda a determinar quais flutuações de parâmetros têm o maior efeito sobre a população de controle. Graças aos volumes de Big Data, é possível realizar um grande número de iterações, com cada uma delas se aproximando do resultado mais confiável.
Análise preditiva
Especialistas neste campo tentam prever e planejar com antecedência como o objeto controlado se comportará para tomar a decisão mais vantajosa nessa situação.
Aprendizado de máquina (inteligência artificial)
Baseia-se na análise empírica da informação e na posterior construção de algoritmos de autoaprendizagem para sistemas.
Análise de rede
O método mais comum para o estudo de redes sociais – após o recebimento dos dados estatísticos, são analisados os nós criados na grade, ou seja, as interações entre usuários individuais e suas comunidades.
Perspectivas e tendências de desenvolvimento de big data
Em 2017, quando o big data deixou de ser algo novo e desconhecido, sua importância não apenas não diminuiu, mas até aumentou. Agora os especialistas apostam que a análise de grandes quantidades de dados ficará disponível não apenas para organizações gigantes, mas também para pequenas e médias empresas. Esta abordagem está planejada para ser implementada usando os seguintes componentes:
Armazenamento em nuvem
O armazenamento e o processamento de dados estão se tornando mais rápidos e econômicos – comparado aos custos de manutenção de seu próprio data center e a possível expansão de equipe, alugar uma nuvem parece ser uma alternativa muito mais barata.
Usando dados escuros
Os chamados “dark data” são todas as informações não digitalizadas sobre uma empresa que não desempenham um papel fundamental em seu uso direto, mas podem servir de motivo para a mudança para um novo formato de armazenamento de informações.
Inteligência Artificial e Aprendizado Profundo
A tecnologia de aprendizado de inteligência de máquina, que imita a estrutura e a operação do cérebro humano, é a mais adequada para processar uma grande quantidade de informações em constante mudança. Nesse caso, a máquina fará tudo o que uma pessoa teria que fazer, mas a probabilidade de erro é bastante reduzida.
Blockchain
Essa tecnologia permite agilizar e simplificar inúmeras transações na Internet, inclusive internacionais. Outra vantagem do Blockchain é que ele reduz os custos de transação.
Autoatendimento e redução de preços
Em 2017, está prevista a introdução de “plataformas de autoatendimento” – são plataformas gratuitas onde representantes de pequenas e médias empresas poderão avaliar de forma independente os dados que armazenam e sistematizá-los.
Big data em marketing e negócios
Todas as estratégias de marketing são de alguma forma baseadas na manipulação de informações e na análise de dados existentes. É por isso que o uso de big data pode prever e tornar possível ajustar o desenvolvimento da empresa.
Por exemplo, um leilão RTB criado com base em big data permite que você use a publicidade com mais eficiência – um determinado produto será exibido apenas para o grupo de usuários interessados em comprá-lo.
Qual é a vantagem de usar tecnologias de big data em marketing e negócios?
- Com a ajuda deles, você pode criar novos projetos com muito mais rapidez, que provavelmente se tornarão populares entre os compradores.
- Eles ajudam a relacionar os requisitos do cliente a um serviço existente ou planejado e, assim, ajustá-los.
- Os métodos de big data permitem avaliar o grau de satisfação atual de todos os usuários e de cada um individualmente.
- O aumento da fidelidade do cliente é alcançado por meio de métodos de processamento de big data.
- Atrair o público-alvo na Internet está se tornando mais fácil devido à capacidade de controlar grandes quantidades de dados.
Por exemplo, um dos serviços mais populares para prever a provável popularidade de um determinado produto é o Google.trends. É amplamente utilizado por profissionais de marketing e analistas, permitindo obter estatísticas sobre o uso de um determinado produto no passado e previsões para a próxima temporada. Isso permite que os líderes da empresa distribuam com mais eficiência o orçamento de publicidade, determinem em qual área é melhor investir o dinheiro.
Exemplos de uso de Big Data
A introdução ativa de tecnologias de Big Data no mercado e na vida moderna começou logo depois que começaram a ser usadas por empresas mundialmente famosas que têm clientes em quase todos os cantos do globo.
Estes são gigantes sociais como Facebook e Google, IBM., bem como estruturas financeiras como Master Card, VISA e Bank of America.
Por exemplo, a IBM está aplicando técnicas de big data para transações em dinheiro. Com a ajuda deles, foram detectadas 15% mais transações fraudulentas, o que aumentou a quantidade de fundos protegidos em 60%. Os problemas com falsos positivos do sistema também foram resolvidos – seu número foi reduzido em mais da metade.
A VISA também usou Big Data, rastreando tentativas fraudulentas de realizar uma transação específica. Graças a isso, eles economizam anualmente mais de 2 bilhões de dólares em vazamentos.
O Ministério do Trabalho alemão conseguiu cortar custos em 10 bilhões de euros implementando um sistema de big data no trabalho de emissão de benefícios de desemprego. Ao mesmo tempo, foi revelado que um quinto dos cidadãos recebe esses benefícios sem justificativa.
Big Data também não ultrapassou a indústria de jogos. Assim, os desenvolvedores do World of Tanks realizaram um estudo de informações sobre todos os jogadores e compararam os indicadores disponíveis de sua atividade. Isso ajudou a prever uma possível rotatividade futura de jogadores – com base nas suposições feitas, os representantes da organização conseguiram interagir com os usuários de forma mais eficaz.
Organizações notáveis que usam big data também incluem HSBC, Nasdaq, Coca-Cola, Starbucks e AT&T.
Problemas de Big Data
O maior problema com big data é o custo de processá-lo. Isso pode incluir equipamentos caros e o custo dos salários de especialistas qualificados capazes de atender a grandes quantidades de informações. Obviamente, o equipamento terá que ser atualizado regularmente para que não perca seu desempenho mínimo à medida que a quantidade de dados aumenta.
O segundo problema está novamente relacionado à grande quantidade de informações que precisam ser processadas. Se, por exemplo, um estudo fornece não 2-3, mas um grande número de resultados, é muito difícil permanecer objetivo e selecionar do fluxo geral de dados apenas aqueles que terão um impacto real no estado de um fenômeno.
Problema de privacidade de Big Data. Com a maioria dos serviços de atendimento ao cliente migrando para o uso de dados online, é muito fácil se tornar o próximo alvo dos cibercriminosos. Mesmo o simples armazenamento de informações pessoais sem fazer transações on-line pode trazer consequências indesejáveis para os clientes de armazenamento em nuvem.
O problema da perda de informação. As precauções exigem não se limitar a um simples backup único de dados, mas fazer pelo menos 2-3 cópias de backup do armazenamento. No entanto, à medida que o volume aumenta, a complexidade da redundância aumenta – e os especialistas em TI estão tentando encontrar a melhor solução para esse problema.
Mercado de tecnologia de big data na Rússia e no mundo
Em 2014, 40% do mercado de big data é de serviços. Um pouco inferior (38%) a este indicador é a receita com o uso de Big Data em equipamentos de informática. Os 22% restantes estão em software.
Os produtos mais úteis no segmento global para resolver problemas de Big Data, segundo estatísticas, são as plataformas analíticas In-memory e NoSQL. 15 e 12 por cento do mercado, respectivamente, são ocupados por software analítico Log-file e plataformas Columnar. Mas Hadoop / MapReduce na prática lidar com os problemas de big data não é muito eficaz.
Resultados da implementação de tecnologias de big data:
- crescimento na qualidade do atendimento ao cliente;
- otimização da integração da cadeia de suprimentos;
- otimização do planejamento da organização;
- aceleração da interação com os clientes;
- melhorar a eficiência do processamento de solicitações de clientes;
- redução de custos de serviço;
- otimizando o processamento de solicitações de clientes.
Os melhores livros sobre Big Data
“O Rosto Humano do Big Data”, de Rick Smolan e Jennifer Erwitt
Adequado para o estudo inicial de tecnologias de processamento de big data – ele o atualiza de maneira fácil e clara. Deixa claro como a abundância de informações afetou a vida cotidiana e todas as suas áreas: ciência, negócios, medicina, etc. Contém inúmeras ilustrações, por isso é percebida sem muito esforço.
Introdução à mineração de dados por Pang-Ning Tan, Michael Steinbach e Vipin Kumar
Também um livro útil para iniciantes em Big Data, que explica como trabalhar com big data de maneira “do simples ao complexo”. Abrange muitos pontos importantes na fase inicial: preparação para processamento, visualização, OLAP, bem como alguns métodos de análise e classificação de dados.
Aprendizado de máquina em Python por Sebastian Raska
Um guia prático para usar e trabalhar com big data usando a linguagem de programação Python. Adequado tanto para estudantes de engenharia quanto para profissionais que desejam aprofundar seus conhecimentos.
“Hadoop for Dummies”, Dirk Derus, Paul S. Zikopoulos, Roman B. Melnik
O Hadoop é um projeto desenvolvido especificamente para trabalhar com programas distribuídos que organizam a execução de ações em milhares de nós ao mesmo tempo. O conhecimento disso ajudará a entender com mais detalhes a aplicação prática do big data.
