Planejamento e governança em Data Warehouses

Este artigo apresenta os conceitos de uma arquitetura em um Data Warehouse, Staging Area e ETL, com exemplos em SQL Server e SSIS.

Fique por dentro
Data warehouses permitem o armazenamento e análise de grande quantidade de informação, e têm sido um recurso muito utilizado por organizações com o objetivo de auxiliar o processo de tomada de decisão. Este artigo é destinado a quem queria adquirir uma forte base conceitual sobre Data Warehouses, desde sua modelagem dimensional aos passos necessários para a implantação de conceitos de governança da qualidade da informação. Também serão abordados os conceitos de uma arquitetura em um Data Warehouse, Staging Area e ETL, com exemplos em SQL Server e SSIS.

Nos dias atuais, que muitos autores classificam como "Era do Conhecimento", estamos em um momento em que a corrida frenética por tecnologia e informação alcança proporções grandiosas e direciona a atenção das organizações para as técnicas de BI (Business Intelligence) e em contratações de profissionais que possam executá-las. Esses profissionais provêm tanto da área de Tecnologia da Informação e Comunicação (TIC) quanto de outras áreas, como analistas de marketing, analistas comerciais, analistas financeiro, etc.

Esses profissionais, principalmente os de TIC, normalmente são encarregados tanto da extração quanto na disponibilização da informação em relatórios, painéis ou dashboards. A informação disponibilizada será considerada íntegra, parcialmente íntegra ou inválida pelos administradores, dependendo de sua expertise no negócio. Quando aceitas, as tomadas de decisão da organização serão realizadas sobre essas informações e todo seu resultado acarretará em lucros ou prejuízos à empresa. Destacado a importância desse cenário, veremos neste artigo conceitos e técnicas de como montar um Data Warehouse e uma introdução a governança e qualidade nas informações antes que virem dados analíticos, adicionando conceitos de integridade e qualidade e as principais formas de disponibilizar a informação, tanto no armazenamento quanto no compartilhamento.

Conceitos para implantação de Governança da Qualidade da Informação

A implantação de BI normalmente está acompanhada de uma grande mudança na cultura da organização e, com isso, é importantíssimo o conhecimento e uso de certas práticas para manter o BI altamente disponível e com qualidade (governança). Devemos ter em mente para que para obtermos maturidade dos processos, devemos adotar certos policiamentos sob os seguintes conjunto de fatores:

  1. Preocupação Organizacional: preocupação da organização desde a segurança à qualidade dos dados, sendo estratégico ou exigências regulatórias (leis, por exemplo);
  2. Definição de Papeis: definição dos papéis sob os recursos de dados. Exemplo: Financeiro, Gerência, Produtores, Mantenedores, etc.;
  3. Definição das Políticas: regras, diretrizes e orientações de alto nível que apontem os caminhos para a implementação da governança de dados. Esses devem ser revistos periodicamente e ser definidos pela alta direção da empresa;
  4. Definição de Métricas: os custos de manter a governança de dados normalmente tornam-se o grande empecilho para a manutenção da qualidade. Para isso, é necessário definir métricas que justifiquem tais investimentos;
  5. Gerência de Riscos: quais os riscos de manter os dados sem qualidade? É necessário ter um mapeamento sobre os riscos de possuir determinados tipos de dados fora da zona de auditoria da qualidade. Esses planos devem constar classificações, priorizações e ações de monitoramento;
  6. Segurança, Privacidade e Aderência: aspectos que controlam o uso dos dados, associadas à gerência de riscos. A segurança deve ser tanto física (arquivos e backups) quanto lógica (segurança, acesso, etc.). A privacidade deve estar alinhada às permissões por papéis. Já os aspectos de aderência são baseados as normas regulatórias (ITIL, Cobit, Sox, etc.);
  7. Arquitetura de Dados: definição da arquitetura de acordo com os ambientes coorporativos, devendo ser adequado aos processos transacionais (vendas, operações financeiras, operações de RH, etc.) e aos processos informacionais (inteligência de negócio, DW, Data Marts, etc.);
  8. Qualidade dos Dados: adoção de processos para garantir a qualidade dos dados;
  9. Classificação dos Dados e definição dos metadados: este ponto é fundamental no quesito maturidade da governança de dados, consistindo em uma catalogação de todos os dados da empresa, classificando e enriquecendo o seu conteúdo. Pode ser definido como dicionário ou repositório de dados, podendo ser aplicado conceitos de gestão de conhecimento, dando autonomia aos dashboards ou painéis da área de TI aplicando, por exemplo, novas metas de vendas aos relatórios correlacionados às vendas;" [...] continue lendo...

Artigos relacionados