Embora o framework traga uma série de aplicações inéditas, cuidado para não ser pego pelo modismo, esbarrar em uma complexidade desnecessária ao seu ambiente analítico e consequentemente prejudicar a capacidade de entrega de valor.

Por: Mauricio Andrade de Paula e Fabio Rodrigues

As aplicações de Big Data ganham cada vez mais espaço no mercado, deixando o rótulo de tendência para virar realidade. É importante ressaltar de que nada vale o uso de novas formas de processamento se estas não estão voltadas para atender seus objetivos de negócio. Apesar de consolidar alguns métodos e inovações, a análise de dados é um campo dinâmico, no qual a busca pelo novo é o carro chefe de várias descobertas. De olho em aplicações “fora da caixa” é que surge o Hadoop, plataforma responsável pelo desenvolvimento de várias aplicações e casos de uso interessantes para o negócio nos últimos anos.

Embora o framework traga uma série de aplicações inéditas, cuidado para não ser pego pelo modismo do Hadoop, esbarrar em uma complexidade desnecessária ao seu ambiente analítico e consequentemente prejudicar a capacidade de entrega de valor.

Um bom arquiteto de ambientes Big Data deve aliar suas reais necessidades com frameworks e aplicações que não o deixe na mão como: perda de interesse da comunidade, risco em sua evolução e escassez de recursos proficiente.

A seguir vamos discutir alguns pontos aplicados ao mercado que podem facilitar a decisão de adotar ou não o Hadoop.

Você sabe realmente para que serve o Hadoop?
O Hadoop é um framework open source escalável e de alta disponibilidade desenvolvido em Java, implantado em cluster de servidores commodity, com objetivo de executar aplicações de forma massiva e distribuída que manipulam grande volume de dados não-estruturados e estruturados. Traduzindo o tecniquês, o Hadoop nada mais é que uma solução de código aberto implantado sobre hardware x86 que manipula muitos dados de forma distribuída, usando vários computadores para guardar e processar pedaços de informação. A partir dessa informação técnica, talvez fique mais claro o uso mais indicado do Hadoop: usuários que lidam com uma quantidade massiva de dados que em sua maioria não são estruturados e que podem requerer formas de processamento avançadas, indo além das capacidades amplamente conhecidas de SQL.

Você trabalha com muitos dados? Eles realmente não são estruturados? Qual o tipo de processamento requerido?
Outra constatação importante quando falamos de universo Hadoop é ter clareza sobre sua demanda de análise de dados no que tange à volume e técnica de processamento requerida. Como já sabemos, o termo big data e toda a tecnologia que envolve esse campo nasceu para a análise de muitos dados e no caso do Hadoop, como já abordado antes, essa quantidade tem que ser imensa. Caso você não processa petabytes de dados diariamente ou tem a necessidade de análises avançadas não suportadas por SQL, talvez sua necessidade não seja aderente a este universo. Adicionalmente deve-se ficar atento ao tipo de dado que sua empresa analisa: mover dados já estruturados e disponíveis para este novo ambiente Hadoop pode ser um trabalho inútil, uma vez que esse tipo de informação já está “pronta para uso das áreas de negócio”, precisando somente alavancar seu uso para atender as demandas de informação de sua organização. O termo dado não estruturado é usado em caso de análises sobre dados de voz, texto, imagem, vídeo e logs, adicionalmente associados ao uso de técnicas não tradicionais, que precisam de estruturação e “orientação” antes de uma análise final.

Sua empresa tem um perfil desenvolvedor?
A disseminação do Hadoop no mercado mundial em 2013, bem como frameworks que orbitam este tema, estão se tornando populares gerando uma espécie de “necessidade sem necessidade“ do open source, acarretando muitas vezes numa corrida de desenvolvimento sem propósito, não orientado à casos de uso reais que tenham aplicabilidade. Passado o tempo de “testes”, hoje grandes corporações que usam o Hadoop têm um aprendizado importante, contar com o “DNA desenvolvedor”.

O chamado DNA desenvolvedor nada mais é que investimento em equipes de TI que sejam designadas especificamente para o desenvolvimento de novos softwares e aplicações que aumentem o ganho e a produtividade da sua empresa. Empresas que contam com esse perfil, normalmente possuem uma quantidade muito grande de engenheiros de software o que possibilita a designação de profissionais específicos para desenvolvimento em Hadoop e open source. Além da quantidade de profissionais disponíveis, é de fundamental importância evitar o chamado turnover de funcionários, tendo uma boa retenção de seus especialistas. Vale ressaltar que esses profissionais custam caro e são muito disputados no mercado, portanto sempre tenha em mente ter uma equipe completa e proficiente, não dependendo de um único indivíduo para desenvolver e manter o seu ambiente Hadoop.

Fonte: CIO

Texto original:
http://cio.com.br/tecnologia/2016/12/14/tres-pontos-que-voce-deve-considerar-antes-de-adotar-hadoop/#sthash.lXUqcMAH.dpuf