Apache Hive: simplificando soluções BigData

O Apache Hadoop vem sendo, nos últimos anos, o grande nome na computação moderna. Disponibilizando soluções para tratar dados que antes, devido à sua complexidade e escala, eram simplesmente descartados, essa ferramenta da Apache já foi adotada por diversos gigantes da informática, como Yahoo, eBay e Facebook.

Com o avanço dos requisitos e o amadurecimento das implementações do Hadoop nessas empresas, surgiu, de dentro de uma delas, a primeira versão do Apache Hive. Introduzido pelo Facebook em 2009, o Apache Hive foi concebido com a ideia de construir uma aplicação de Data Warehouse open source, que utilizasse conceitos do Hadoop, como Map/Reduce e HDFS, para manipular e armazenar dados.

Explicando um pouco o conceito dessa categoria de aplicações, softwares de Data Warehouse são responsáveis por armazenar dados de diversos sistemas em um repositório único onde, através de transformações das informações que são enviadas por suas interfaces de acesso, esse conteúdo é formatado de acordo com um padrão específico de armazenagem definido para utilização no sistema em questão.

Como exemplo dessas aplicações, temos os bancos de dados relacionais, como o MySQL, sistemas de indexação, como o Apache Solr, bancos de dados não relacionais, como o MongoDB, entre outros.

Cada um desses sistemas apresenta soluções mais customizadas para determinadas situações, porém tentam sempre manter o foco em alguns pontos principais como escalabilidade, performance, usabilidade e confiabilidade.

Esses pontos, por sua vez, foram as principais preocupações na implementação do Hive que, além disso, buscou diminuir a complexidade e a curva de aprendizado da utilização das funcionalidades do Hadoop através da linguagem HiveQL, permitindo seu uso por desenvolvedores que não possuem conhecimento extenso da plataforma de Map/Reduce, com um código intuitivo e mais próximo do SQL.

O objetivo de nosso artigo será, portanto, demonstrar as principais características dessa linguagem e ferramenta, sua relação com o Apache Hadoop e criar um exemplo de aplicação em Java capaz de se comunicar com a base de dados do Hive e manipular seu conteúdo.

Principais conceitos do Hadoop

Antes de iniciarmos nossa discussão sobre o Apache Hive, é necessário entendermos alguns conceitos básicos do Apache Hadoop. Esse framework, criado em 2005, trouxe diversas novidades à área da informática ao apresentar soluções inovadoras para o tratamento e armazenamento de grandes quantidades de dados.

Essas soluções se baseiam, em sua grande maioria, no conceito de Map/Reduce. Esse modelo de programação, implementado dentro do Apache Hadoop, permite que os dados sejam manipulados por diversas tarefas independentes em paralelo, garantindo eficiência e um processamento das informações de forma distribuída.

As três principais fases desse modelo são denominadas: Map, onde o arquivo a ser processado é dividido em pares de chave e valor de acordo com o seu conteúdo; Group, onde os conjuntos de tuplas (pares de dados) são agrupados de acordo com o valor de suas chaves; e a fase final Reduce, que irá executar uma tarefa de redução para cada agrupamento gerado na fase anterior, transformando-os em um único resultado final.

Aliando uma implementação robusta do Map/Reduce e o conceito de HDFS, sistema de arquivos que permite uma distribuição de dados entre diversas máquinas, o Hadoop se mostra extremamente eficaz e seguro para a construção de clusters e parte fundamental da maioria das aplicações modernas de análise e armazenamento de informações em grande escala.

Simplificando o Map/Reduce com o Apache Hive

Porém, juntamente com todos esses benefícios e inovações introduzidos pelo Apache Hadoop, começaram a surgir alguns questionamentos e dificuldades em relação à utilização desse framework.

A primeira dessas dificuldades foi o fato da grande maioria dos desenvolvedores não ter familiaridade com a sintaxe e uso da ferramenta, tornando a curva de aprendizado muito grande e a dificuldade de achar profissionais no mercado considerável.

O segundo contratempo foi o da complexidade de comandos para executar consultas nos arquivos armazenados dentro de um HDFS. A ação de ler e filtrar os dados contidos nos diretórios distribuídos do Hadoop (HDFS) envolvem diversos comandos juntamente com a execução de processos de Map/Reduce para, ao final, nos trazer os resultados adequados. Isso, apesar de não ser muito extenso quando falamos de consultas simples, pode se tornar extremamente complexo ao manipularmos um número extenso de informações e arquivos." [...] continue lendo...