Artigo SQL Magazine 72 - Talend Open Studio

Demais posts desta s�rie:
Talend Open Studio - Parte 1

Artigo no estilo: Curso

De que trata o artigo?

Nesse artigo vamos aprender como utilizar metadados e as funcionalidades de customizaç�o de c�digo do Talend Open Studio, uma ferramenta Open Source para ETL e Integraç�o de Dados.

Para que serve?

As aplicaç�es de Business Intelligence utilizam informaç�es de v�rias fontes, sendo necess�rio integr�-las e carreg�-las em um Data Warehouse atrav�s de um processo conhecido como ETL (Extraç�o, Transformaç�o e Carga). O Talend Open Studio � uma ferramenta especializada para o desenvolvimento desse tipo de aplicaç�o que utiliza uma interface gr�fica baseada em componentes. Essas aplicaç�es podem ser executadas atrav�s dessa interface, como aplicaç�es independentes ou como web services.

Em que situaç�o o tema � �til?

Em conjunto com a interface visual do Talend Open Studio, os metadados e a customizaç�o de c�digo diminuem o tempo de desenvolvimento, possibilitam o aproveitamento de funcionalidades j� existentes e facilitam o entendimento do processo para todos os envolvidos.

No primeiro artigo da s�rie apresentamos a interface visual do Talend Open Studio e seus componentes b�sicos. Seguindo a aplicaç�o de exemplo, desenvolvemos uma etapa simples de carga de uma tabela a partir de um arquivo texto e a captura dos logs gerados nesse processo. Agora, vamos aprimorar nosso exemplo atrav�s da utilizaç�o das facilidades de metadados e da criaç�o de novas funcionalidades com c�digo customizado. Os detalhes do modelo de dados utilizado est�o no quadro �Exemplo utilizado no artigo�.

Definindo itens de Metadados

Os metadados do TOS armazenam informaç�es reutiliz�veis sobre layouts de arquivos, par�metros de conex�o com bancos de dados e estruturas de dados (schema), necess�rios durante o desenvolvimento dos Jobs. V�rios wizards auxiliam a coletar e armazenar essas informaç�es. No painel Repository, o n� Metadata exibe os tipos de metadados que podem ser configurados, como podemos ver na Figura 1.

Figura 1. Itens de metadados

Seguindo nosso exemplo vamos criar tr�s itens de metadados: a conex�o com um banco de dados, a definiç�o de um arquivo delimitado e uma planilha.

Na aba Repository clique no nodo Metadata para expandir a �rvore. No item Db Connections clique com o bot�o direito e selecione Create connection. Informe o nome (Vendas) da conex�o e clique em Next. Selecione o Db Type MySQL e preencha os demais par�metros conforme a Figura 2; a senha � �vendas�. Clique no bot�o Check para validar a configuraç�o e depois em Finish. Em seguida, abra o nodo Db Connections, no item Vendas clique com o bot�o direito e selecione Retrieve Schema. Feito isso, desmarque os checkbox VIEW e SYNONYM e clique Next. Marque as tr�s tabelas e clique em Next. Depois, navegue no painel Schema para visualizar as definiç�es dos atributos de cada tabela. No schema dim_produto altere a precis�o do atributo valor_unitario para 2, conforme a Figura 3. Repita o mesmo procedimento para o atributo valor_total do Schema fato_venda, e clique em Finish para encerrar.

Figura 2. Nova conex�o com banco de dados

Figura 3. Schema da dimens�o dim_produto" [...] continue lendo...

Artigo SQL Magazine 72 - Talend Open Studio

Nesse artigo vamos aprender como utilizar metadados e as funcionalidades de customização de código do Talend Open Studio, uma ferramenta Open Source para ETL e Integração de Dados.

Artigos relacionados