Como definir um Data Warehouse na prática usando Transact SQL

O Data Warehouse ou DW, em sua tradução pode ser entendido como ‘Armazém de Dados’. Sua implementação passou a se tornar realidade nas grandes corporações, que fazem parte de um mercado maior, necessariamente o de Business Intelligence, onde ferramentas cada vez mais sofisticadas foram desenvolvidas para apoiar a estrutura do Data Warehouse nas organizações e sua crescente utilização.

O DW representa um grande banco de dados com o objetivo de dar suporte nas decisões de usuários finais, representados por gerentes e analistas de negócio. Geralmente, os dados que vão entrar na composição de um DW são originados de diversos bancos de dados operacionais que representam o ambiente da empresa e, geralmente, estão localizados em um ponto diferente dos referidos bancos de dados operacionais.

Porém, para um entendimento prático de toda a teoria envolvida, é importante não apenas definir o termo, mas entender todo o processo envolvido na criação de um DW e na sua concepção explicitando os objetivos finais de uma implementação. Seu objetivo fundamental é centrado na procura de uma forma eficiente de respostas às principais perguntas estratégicas da organização.

Para um entendimento do processo que compõem um DW, nada melhor do que a Figura 1 para mostrar isso. Essa figura expõe didaticamente, em blocos separados, e por sua vez integrados, o entendimento dos processos envolvidos na concepção de um DW e por fim, no seu objetivo final que seria suprir a demanda organizacional por suporte às suas decisões mais importante. E é justamente neste quesito que entra o Business Intelligence (BI).

Mas o que mesmo vem a ser a tecnologia de Business Intelligence? Com relação ao termo BI, ainda não existe uma definição formalizada, tanto com relação à área de negócios, ou mesmo acadêmica, sendo que podem ser encontradas várias definições do termo.

Muitos autores definem BI como sendo um conjunto de técnicas, métodos e ferramentas que possibilitam ao usuário final analisar dados e, com base nessas análises, extraírem respostas que vão subsidiar objetiva e confiavelmente os processos de decisão numa empresa.

Alguns autores sintetizam a importância do termo BI quando afirmam que ele é abrangente, pois pode incluir arquiteturas, ferramentas, bancos de dados, aplicações e metodologias.

É afirmado que o principal benefício do BI para a empresa seria sua necessidade de fornecer informações precisas quando necessário. Estas informações são importantes para todo o tipo de decisão, para o planejamento estratégico e mesmo para a sobrevivência da empresa.

Figura 1. Arquitetura de BI com o Dw como processo intermediário

Analisando figura é possível segregar a construção de um sistema BI em três fases distintas:

1. A Coleta: Composta pelos processos de ETL (Extração, Transformação e Carga);

2. A Consolidação e seus processos: Toda a consolidação dos dados e informações extraídas através do processo ETL é carregada no DW e posteriormente nos Data Marts departamentais. No exemplo, fazem parte os de Vendas, Produção, Financeiros e de Logística;

3. A Análise e Distribuição: Representam os resultantes dos dois primeiros (Data Mining, OLAP, Dashboard, DSS e relatórios).

É importante destacar que, mesmo não fazendo parte dos processos, a base de toda essa consolidação e análise dos dados da organização, através do BI, só pode ser concluída através da utilização dos sistemas departamentais, transacionais (ERP, SCM, CRM e legados) e através de dados externos representados pelos arquivos *.txts (planilhas, arquivos textos e outros documentos diversos).

A Coleta: Processos ETL

O processo ETL (Extraction, Transformingand and Loading, ou Extração, Transformação e Carga) consiste em um processo de extração, que será usado para fazer a leitura de um ou mais bancos de dados.

A transformação é o processo que tratará da conversão dos dados extraídos e tratamento destes para que sejam carregados em um DW. Por último, o processo de carga é o responsável por carregar os dados no DW.

Essas três funções básicas geralmente são integradas com o uso de uma ferramenta para extração de dados de um ou mais bancos tendo por objetivo final a criação do DW.

Para muitos autores, para o processo ETL em um projeto centrado em dados, devem ser reservados 70% do tempo total planejado para o projeto. O ETL é um processo extremamente importante, tanto na integração de dados, quanto nos processos relacionados ao DW.

Simboliza uma das etapas mais críticas em um projeto DW, onde as ferramentas utilizadas no processo ou são adquiridas de fornecedores ou são desenvolvidas na própria empresa, dependendo do projeto a ser implantado.

A Figura 2 representa um processo ETL em que os dados operacionais, geralmente provenientes de sistemas legados ou mesmo sistemas ERP, são extraídos, transformados e carregados em um DW que, por sua vez, através das ferramentas BI, são trabalhados em processos que vão resultar em relatórios, cubos, Dashboards e outras ferramentas de auxílio aos gestores na organização.

Figura 2. O processo ETL em esquema

A Consolidação e seus Processos: DW e Data Marts

A Figura 3 mostra o fluxo de construção e alimentação de um DW, em que, a princípio, são escolhidos os sistemas que vão fornecer os dados (Fontes de Dados), responsáveis por alimentar o DW em processo efetuado através de ferramentas ETL’s.

Posteriormente, a construção dos Data Marts ou bases multidimensionais são criadas, geralmente no intuito de possibilitar a extração de relatórios por departamentos na organização.

Figura 3. O DW e seus Data Marts no processo de consolidação

Algumas das características mais importantes de um DW são:

· Ter uma orientação por assunto, armazenando informações relacionadas com o negócio principal da empresa com a função de atender as necessidades dos tomadores de decisões;

· Definir uma forma única de representar os dados, convertendo os dados provenientes dos vários sistemas da empresa, estabelecendo com isso uma integração eficiente;

· O valor dos dados inseridos não é perdido durante o tempo, pois não apresentam volatilidade;

· Dono de uma granularidade eficiente, sendo esta uma característica que diz respeito ao nível de detalhe ou de resumo dos dados contidos em um DW. "