Fundamentos sobre MapReduce

Por que eu devo ler este artigo: Este artigo apresenta a t�cnica MapReduce para processamento de grandes coleç�es de dados, empregando o poder da computaç�o distribu�da/paralela, e propondo um modelo de programaç�o que simplifica o desenvolvimento de aplicaç�es BigData. MapReduce � um dos alicerces de ferramentas que manipulam o BigData, entre as quais se destaca Apache Hadoop, bem como contribui para soluç�es em grandes companhias, como Google, Facebook e Yahoo.

Em que situaç�o o tema � �til: A compreens�o do funcionamento da t�cnica MapReduce ajuda no desenvolvimento de aplicaç�es cr�ticas que trabalham com BigData, que s�o bancos de dados dif�ceis de serem manipulados por tecnologias convencionais. Entretanto, a adoç�o de uma implementaç�o MapReduce, como o Hadoop, por exemplo, requer habilidades espec�ficas sobre o modelo de programaç�o MapReduce, que introduz novas exig�ncias na forma de modelar a abstraç�o sobre os dados e processar BigData.

Um dos grandes desafios computacionais da atualidade � armazenar, manipular e analisar, de forma inteligente, a grande quantidade de dados existente. Sistemas corporativos, serviços e sistemas Web, como redes sociais e buscadores com acesso a bases de dados de imagens e mapas, al�m de diversas fontes heterog�neas, produzem juntos um volume de dados acima da capacidade de processamento realizado por tecnologias tradicionais de banco de dados relacional. Nesse contexto, o termo BigData foi criado para definir essa realidade descrita em termos dos �3v�: volume de dados em grande quantidade (acima de Terabytes); velocidade na criaç�o e captura dos dados brutos a taxas muito r�pidas; e, variedade no formato dos dados, podendo ser estruturado, semiestruturado, e at� mesmo n�o estruturado, ou uma combinaç�o dessas variaç�es.

Diante desse desafio, na primeira d�cada de 2000, alguns pesquisadores e engenheiros da computaç�o aprimoraram e constru�ram soluç�es para tornar mais eficiente o acesso e a an�lise ao BigData. Entre esses cientistas, dois engenheiros do Google, Jeffrey Dean e Sanjay Ghemawat, desenvolveram a tecnologia MapReduce, que possibilitou otimizar a indexaç�o e catalogaç�o dos dados sobre as p�ginas Web e suas ligaç�es. O MapReduce permite dividir um grande problema em v�rios pedaços e distribu�-los em diversos computadores de baixo custo. Essa t�cnica deixou o sistema de buscas do Google mais r�pido mesmo sendo executado em computadores convencionais e menos confi�veis, reduzindo os investimentos ligados � infraestrutura.

Este artigo � um resgate � publicaç�o do trabalho desses dois cientistas, cujo texto denominado MapReduce: Simplified Data Processing on Large Clusters, de 2004 (ver a refer�ncia na seç�o Links), inspirou a implementaç�o do Hadoop, a ferramenta open source consagrada no tratamento e an�lise do BigData. Portanto, neste artigo, ser�o apresentadas a definiç�o e as origens do modelo funcional, como o MapReduce funciona e as principais caracter�sticas e aplicaç�es, al�m de apontar alguns problemas potenciais que inviabilizam o uso da t�cnica.

Nota: O Apache Hadoop � um framework open source para o armazenamento e processamento de dados em larga escala. O Hadoop oferece como ferramentas principais o MapReduce, respons�vel pelo processamento distribu�do, e o Hadoop Distributed File System (HDFS), para armazenamento de grandes conjuntos de dados, tamb�m de forma distribu�da. Embora recente, o Apache Hadoop tem se destacado como uma ferramenta eficaz, sendo utilizado por grandes corporaç�es como IBM, Oracle, Facebook, Yahoo!, entre outras." [...] continue lendo...

Fundamentos sobre MapReduce

Este artigo apresenta a técnica MapReduce para processamento de grandes coleções de dados, empregando o poder da computação distribuída/paralela, e propondo um modelo de programação que simplifica o desenvolvimento de aplicações BigData.

Artigos relacionados