Big Data

As empresas crescem e automatizam processos visando aperfeiçoamento constante no seu negócio. Sistemas variados apoiam processos de vendas, tomadas de decisões, redução de custos e etc. Junto a isso, fora e dentro das organizações pessoas estão conectadas, conversando, gerando imagens e muita informação sobre o mundo, o mercado, seus gostos, anseios, insatisfações e desejos. O conhecimento dessa relação das empresas com o mundo é fator diferencial para a melhoria do negócio, porém, esses dados não estão organizados e são na sua maioria desestruturados o que torna muito complexa a extração das informações relevantes para determinado objetivo.

Dentro desse contexto, apresenta-se o grande desafio: Como lidar com a imensidão de dados que nos cerca a fim de gerar de forma ágil e precisa a tão almejada melhoria dos negócios?

O Big Data é a solução que tem essa missão: apoiar o mercado na necessidade de armazenar, coletar, transferir e processar grandes volumes de dados de forma ágil e com baixo custo fornecendo insumos necessários para o sucesso da empresa.

Com o uso do Big Data é possível fazer a mineração de dados para identificar um padrão de comportamento, tendência, característica ou sentimento de um determinado grupo de pessoas em relação a um produto ou serviço.

Usando um sistema de processamento de dados distribuídos ou paralelismo de processamento de dados, além de poder escalar este recurso de forma linear e elástica, ou seja, crescendo e diminuindo seu paralelismo, o Big Data vem sendo resumido pelos especialistas em 5 “Vês” que descrevem seus aspectos, são eles:

  • Volume: Este aspecto conforme já mencionado, se refere a grande quantidade de informação gerada a todo momento pelas mais variadas fontes desde sistemas transacionais, internet, redes sociais, sensores enfim são diversos meios geradores de informações que quando trabalhadas passam a gerar valores para o negócio das empresas.
  • Velocidade: Outra característica do Big Data já mencionada, é a forma de paralelismo como essa solução foi pensada e concebida. Para ser possível fazer os tratamentos necessários em grandes volumes de dados no tempo esperado.
  • Variedade: Diz respeito a tanto como a fonte (Mídias Sociais, sensores, e-mails, transações financeiras etc.) quanto ao formato (base de dados, stream, estruturado, não estruturado etc.)
  • Veracidade: De nada adiantaria todos os “Vês” anteriores se não pudéssemos entregar um dado confiável. A plataforma Big Data dispõe de ferramentas que facilitam o tratamento e a limpeza dos dados e garantindo a credibilidade.
  • Valor: Para algumas empresas, valor pode significar compreensão da informação, para outras prever, saber ou descobrir. O valor do Big Data depende do por que e para que ele está sendo utilizado. Enfim o objetivo é usar todos seus “Vês” para tornar os dados processados e armazenados em valor agregado para o negócio da empresa.

Alguns casos de uso:

Alguns casos de uso:
  • Em uma campanha publicitária, entenda rapidamente o que os consumidores estão falando sobre o seu produto, veja tendências e comportamentos de aquisição do mesmo.
  • Em um banco, descubra como o cliente está utilizando seu dinheiro em tempo real, ofereça mais produtos no momento certo.
  • No varejo, entenda se determinado produto pode ser negociado por um melhor preço baseado na quantidade de pessoas que compram ou estão interessadas em comprá-lo.
  • No mundo do entretenimento, descubra qual o tipo de artista ou história agrada mais o público e direcione suas produções para este caminho.
  • Em uma empresa de Telecom, rastreie perdas de receita geradas por sistemas ineficientes vasculhando tráfego de dados e de voz e descobrindo padrões de comportamento suspeitos.
  • No planejamento logístico, saiba como otimizar rotas, organizar as entregas, melhorar o controle de estoque etc.

Já são muitos os casos de sucesso usando uma plataforma Big Data e cada vez mais as empresas investem nessa tecnologia. Entretanto é primordial entender o real objetivo fim para a utilização do Big Data antes de iniciar algum projeto.

Nosso Serviços:

A STIT Consulting oferece serviços de desenvolvimento e implantação do Big Data passando por todas as fases do projeto:

Entendimento da Necessidade
Arquitetura do ambiente(On-Premisse/Cloud)
Implementação (Hadoop/Spark)
Analises e estudo dos dados
Customizações de plataformas elásticas
Suporte e sustentação 24/7

Hadoop e Spark - Visão Geral

Apache Spark

Apache Spark

Muitos fornecedores de plataformas Big Data estão apostando na tecnologia Spark como meio de implementações desta solução, por ser uma solução que traz alguns benefícios como maior performance pois consegue fazer seu processamento em memória, facilidades de desenvolvimentos e permite customização de workflow funcionando no mesmo conceito de processamento distribuído como o Hadoop.

Apache Hadoop

Apache Hadoop

O Hadoopp por sua vez possui alguns benefícios como suportar múltiplas origens de dados, múltiplas aplicações, permite múltiplos formatos de dados e ainda contém mais recursos sobre questões de segurança.

Embora já visto no mercado algumas implementações somente com hadoop ou mesmo somente com spark, normalmente as plataformas de Big Data vem com as duas tecnologias assim sendo possível implementar uma solução mesclada.

Big Data X

Big Data