Artigo SQL Magazine 66 - Desvendando o Oracle Data Integrator - Parte1

Desvendando o Oracle Data Integrator

A integração de dados em estruturas únicas e organizadas é um dos pilares estratégicos para o bom funcionamento de uma organização. Como matéria prima principal estas estruturas serão responsáveis por disponibilizar informações essenciais para o bom andamento de qualquer ramo empresarial e\ou organizacional. Fundamentadas na TI as empresas prezam pela uniformização de estruturas visando o retorno de informações rápidas, confiáveis e de qualidade. Os pressupostos da aplicação e estruturação de Business Intelligence (BI) em um projeto de sucesso esbarram no aspecto mais complexo da construção desta plataforma: o desenvolvimento dos processos de ETL.

A TI tem neste sentido uma missão muito grande: desenvolver e garantir os processos de ETL em tempo e custos hábeis para a viabilidade do projeto de BI. Desta forma, vamos desenvolver um estudo de caso onde originalmente temos um modelo de dados (DER – Figura 1) de controle de vendas.

Figura 1. Modelo DER Controle de Vendas.

O modelo proposto na Figura 1 representa as estruturas básicas de um sistema de vendas de mercadorias variadas. Este sistema armazena o cadastro básico de pessoas (clientes\classificação dos clientes e vendedores) e o cadastro de itens que são vendidos bem como a que grupo o item está relacionado. Todo o sistema gira em torno do controle das vendas realizadas.

Do modelo original, modelamos o Data Warehouse (apresentado na Figura 2) que posteriormente será populado através dos processos desenvolvidos e explicados neste artigo.

Figura 2. Modelo Estrela - DW Controle de Vendas.

Tendo o objetivo estratégico de apenas controlar as vendas e o desempenho dos vendedores, desenvolveremos o processo de ETL utilizando a ferramenta proposta neste estudo. Embora nosso modelo esteja em um DER único, nossas origens estão armazenadas em estruturas diferentes: as tabelas Cliente, TipoCliente, Venda e Vendedor estão alocados no banco de dados ORACLE; as tabelas Grupo, Item e ItVenda estão no FIREBIRD; e ainda temos uma origem de datas em um arquivo texto.

O desafio, depois de criado o Data Warehouse é desenvolver os processos que irão realizar as cargas dos dados da origem (Sistema de Vendas da Figura 1) para o destino (DW da Figura 2).  Para a realização do processo de ETL vamos utilizar o Oracle Data Integrator (ODI). Todos os processos envolvendo a ferramenta de ETL serão detalhados posteriormente.

Oracle Data Integrator

O ODI é a mais recente solução da gama de produtos Oracle Fusion Middleware, destinado a negócios de missão crítica, como BI e DW ou arquitetura orientada a serviços (SOA) e monitoração das atividades de negócios.

Com aspectos e objetivos diferentes do Oracle Warehouse Builder o Oracle Data Integrator assume características da ferramenta de integração de dados anteriormente associada à Empresa Sunopsis, e adiciona à mesma as funcionalidades específicas das ferramentas Oracle.

ODI foi incorporado pela Oracle a partir da aquisição da empresa Sunopsis, de origem francesa, em outubro de 2006. Anteriormente o nome do produto era Sunopsis Data Conductor.

A ferramenta objetiva integrar diferentes tecnologias através da geração dinâmica de código. Sua plataforma cobre todos os requisitos de Integração de Dados como volumes elevados (utilização do SGBD para executar cargas massivas), sua arquitetura simples e orientada aos dados (utiliza SQL nativo)? facilita o desempenho dos processamentos em lote.

Ela utiliza uma abordagem diferente do processo de ETL Tradicional, o qual é denominado E-LT. Algumas particularidades da estrutura do ODI (E-LT):

· Utiliza um projeto declarativo o qual dispensa a codificação das instruções de atualização dos Bancos de Dados, sistemas de arquivos e chamadas de ferramentas externas;

· Módulos de conhecimento permitem isolar as características próprias das diferentes origens e destinos tratando tudo, internamente, com SQL;

· Diferentes repositórios compartilhados e vinculados permitem armazenar as informações sobre os metadados e sobre as execuções;

· Agentes especializados organizam no tempo as atividades de execução das integrações.

 Para melhor entendimento, no ETL Tradicional (Figura 3):

· Extrai dados de diferentes origens;

· Transforma os dados em um Processador ETL de Middle-tier proprietário, ou seja, um servidor de ETL dedicado. Esta máquina seria responsável pelo recebimento das informações de origem e aplicaria o ETL nas mesmas. Depois de transformado os dados são carregados para o DW;

· Carrega os dados transformados no destino.

Figura 3. Processo Tradicional de ETL

Na estrutura ODI E-LT (Figura 4):

· Utiliza as capacidades do(s) Banco(s) de Dados para as transformações;

· Conexão via JDBC. O agente de conexão da ferramenta ODI realiza a sua conexão com os diversos bancos de dados através do JDBC, o que garante facilidade de conexão, confiança e desempenho;