Usando Csharp no Microsoft SQL Server Integration Services 2012

Com o lançamento do Microsoft SQL Server 2005, passamos a conhecer uma nova ferramenta, que veio com o prop�sito de incluir a Microsoft como um dos grandes players do Mercado, no que diz respeito ao universo de BI (Business Inteligence). Desta forma, passamos a falar do Microsoft SQL Server Integration Services (tamb�m conhecido como SSIS).

Desde 2005 para c�, particularmente eu posso falar que a Ferramenta amadureceu o suficiente para se destacar frente a outras demais ferramentas de ETL (Extract, Transform and Load � Extrair, Transformar e Carregar).

Este processo diz respeito a unificar informaç�es de Bases de Dados transacionais, que s�o informaç�es que est�o em nossas bases de dados e que s�o gravados pelos Sistemas desenvolvidos em .NET, Java, Delphi e etc., e envi�-las para uma base de dados hist�rica, sendo esta conhecida como Data Warehouse (DW). Esta base � modelada de uma forma diferente da qual conhecemos, sendo que as Bases de Dados Transacionais pregam a ideia de Normalizaç�o dos Dados e a base de Dados do Data Warehouse (DW), trabalha com a ideia de �desnormalizaç�o� destes dados.

Em siglas, esta diferença pode ser considerada ao falarmos dos ambientes OLTP (Online Transaction Processing) e OLAP (Online Analytical Processing).Mas o intuito deste artigo n�o � falar especificamente sobre a Arquitetura que envolve um processo de BI (onde a Microsoft possui uma su�te completa de ferramentas) e sim, apresentar como o Microsoft SSIS (SQL Server Integration Services) se encaixa dentro desta arquitetura.

Estou utilizando a Vers�o do Microsoft SQL Server 2012, que quando instalado cria um Shell do Microsoft Visual Studio na vers�o 2010, que possibilitar� trabalharmos com projetos do Integration Services.

Aqui no micro que estou preparando este artigo, possuo a vers�o do Microsoft Visual Studio 2010 completo.

Figura 1: Template de Projetos do Integration Services no Shell do Visual Studio 2010

Por�m, mesmo utilizando o Visual Studio e tendo o Microsoft SQL Server (vers�es 2005, 2008/2008 R2 e 2012) instalados no micro de Desenvolvimento, muitos dos colegas que trabalham com estas plataformas n�o utilizam as ferramentas instaladas. Mesmo os colegas que est�o iniciando no universo de BI com a plataforma da Microsoft, se perguntam como fazer atividades como: Utilizar IF, ELSE no Integration Services.

Figura 2: Um Projeto do Integration Services aberto no Visual Studio 2010

Bom, vamos iniciar nosso exemplo deste artigo.

Antes de mais nada, aos colegas que n�o conhecem o SSIS, prepararei logo mais um artigo espec�fico para apresentar outros detalhes da Ferramenta.

Com o Visual Studio aberto, iniciaremos nosso estudo criando um projeto do Integration Services, dando para o mesmo o nome de:Usando DOT_NET_SSIS.

No SQL Server 2012, temos o Banco de Dados AdventureWorks e a tabela Product, que ser� utilizada para nosso artigo.

Na tela principal temos Abas, onde cada uma delas possui uma Funcionalidade Espec�fica, de acordo com cada Aba selecionada. A Figura 3 apresenta com detalhe a Aba inicial Control Flow com seus respectivos Itens da ToolBox.

Figura 3: Aba Control Flow do Visual Studio com seus respectivos Itens da ToolBox

Bom, a ideia do artigo � apresentar a utilizaç�o do Item Execute SQL Task para selecionarmos alguns produtos da Tabela Product do Banco AdventureWorks, no qual trabalharemos com produtos que possuam a Lista de Preços de valores entre 50 e 100 (D�lares, Reais ou qualquer outra, como quiserem).

Por�m, para pegarmos estes registros da Tabela de Produtos, temos primeiro que nos conectar no Banco e ap�s, fazermos este Select.

O Item Execute SQL Task ao ser anexado nos fornece a opç�o de conectarmos ao Banco de dados do SQL Server, conforme apresentado na Figura 4.

Figura 4: Adicionando o Execute SQL Task para executar o Script no Banco de Dados

Para nosso exemplo, criei uma conex�o no qual posso utilizar em todo o Projeto, ou seja, uma conex�o Global. A Figura 5 abaixo demostra o lugar onde a mesma fora criada.

Figura 5: Criando uma conex�o Global para o projeto

Em sequ�ncia, criei o seguinte Script abaixo para realizar tal tarefa, onde este Script retorna todos os registros dentro da Tabela, conforme a Figura 8 apresenta.

Listagem 1: Script para listar todos os registros da tabela Product

SELECT * FROM Production.Product

Figura 6: Retorno da Execuç�o da Query apresentada no Script, dentro do SQL Server 2012

A consulta retorna 504 registros onde a ideia do artigo ser� exportarmos Produtos com os valores menores que 100 para um arquivo TXT espec�fico e os Produtos de valores maiores para um segundo arquivo TXT.

Para a consulta que retorna Produtos com valores de Lista de preço menores que 100, gravaremos no arquivo ProdutoMenor100.txt, onde os Produtos com Lista de preço maior que 100, ser�o gravados no arquivo ProdutoMaior100.txt (por conveni�ncia particular, vou gravar ambos os arquivos no Disco C:\).

Bom, vamos voltando ao nosso exemplo.

No Visual Studio, ap�s incluirmos o Item Execute SQL Task, incluiremos tamb�m mais um Item: o Script Task. Este item nos possibilita trabalharmos com c�digo .NET (seja C# ou VB .NET), para podermos incluir em nossa rotina algum fluxo desenvolvido em uma destas linguagens. Imaginem voc�s que para validarmos algum processo de nossa regra de neg�cio, necessitar�amos, por exemplo, consumir uma DLL desenvolvida em .NET ou um m�todo em Webservice ou WCF. Com este item, poderemos adicionar tal funcionalidade.

Com isso, arraste o Item Script Task, que nesta vers�o do Integration Services dentro do Shell do Visual Studio, est� localizado na seguinte posiç�o:

Figura 7: Localizando o Script Task dentro da SSIS Toolbox

Ap�s, de o nome para o mesmo de: ST_IF_Else, onde em seguida, clique com o Bot�o direto do Mouse sobre ele e selecione a Opç�o EDIT. Ser� aberta uma Tela, semelhante a da Figura 10, abaixo.

Figura 8: Editando o componente Script Task

Conforme est�o vendo na Figura 8 acima, temos a opç�o de selecionarmos qual linguagem estaremos trabalhando. Neste exemplo, estou utilizando a Linguagem C#, por�m, poder�amos configurar a Linguagem VB .Net sem problemas, alterando nas Propriedades do Item qual Linguagem utilizaremos, conforme � apresentado na Fiura 12, abaixo.

Figura 9: Configurando qual Linguagem utilizar como Script

A opç�o EntryPoint, descreve qual o m�todo de Entrada que estaremos utilizando no Script. Podemos deixar em branco, ou ent�o, descrever qual m�todo iremos utilizar. Por padr�o, eu deixei o m�todo Main.

Ap�s, temos duas opç�es que serviram tanto descrever quais as vari�veis ser�o utilizadas para somente leitura e quais as vari�veis ser�o utilizadas para somente escrita.

Bom, como estamos trabalhando com um Bloco de script que, deveremos interagir entre o SSIS e a tal linguagem de alguma forma. Para isso, poderemos utilizar vari�veis para tanto levar um conte�do para as rotinas do .NET, quanto trazer este retorno de processamento. Desta forma, poderemos interagir sem problemas com fluxos externos deste ambiente. Desta forma, clique com o bot�o direito do mouse sobre a �rea de desenvolvimento do Visual Studio e selecione a opç�o Variables.

Figura 10: Selecionando as opç�es Variables na Tela do Visual Studio

Ap�s, percebam que o Visual Studio abrir� uma tela, onde poderemos inserir a quantidade de vari�veis que desejarmos em nosso processo. No nosso exemplo, criaremos 3 (tr�s) vari�veis, onde ainda poderemos escolher qual o Data Type estaremos utilizando e seu Valor inicial (poderemos ainda aplicar express�es para estas vari�veis, mas n�o � o caso). Percebam tamb�m que a vari�vel criada trabalha sobre o escopo da Package, pois como n�o alterei o nome do meu Pacote do Integration Services, acabou sendo adotado o nome principal do arquivo da Package.dtsx, vis�vel na Aba Solution Explorer do Visual Studio. Perceba tamb�m que o Data Type da Vari�vel � do tipo Object (mais para frente o mesmo ser� convertido para DataSet e ser� utilizado no Script).

Figura 11: Criando as vari�veis que ser�o utilizadas no Script Task

Ap�s criarmos a vari�vel, teremos que selecion�-la nas Opç�es: ReadOnlyVariables. Neste caso n�o utilizaremos a opç�o ReadWriteVariables, pois realmente s� iremos ler a vari�vel que ser� encaminhada do retorno do Item o Execute T-SQL Statement. Para isso, deveremos selecion�-las na opç�o do Editor do Script Task, conforme apresentado na Figura 12.

Figura 12: Selecionando as vari�veis que ser�o utilizadas no Script Task

Bom, n�o vou detalhar o que o Script em si est� fazendo, por�m, n�o posso deixar de explicar sua funcionalidade. Para os colegas que est�o acostumados com o ambiente .NET na linguagem C# e/ou VB .NET, n�o sentir�o dificuldades, pois, utilizaremos tais linguagens para codificar algum fluxo, onde poderia ser uma regra de neg�cio, ou uma chamada a uma DLL que tenha m�todos de neg�cio encapsulados.

Perceba na Listagem 2 a descriç�o do M�todo Main, que receber� a vari�vel ResultSet (fique a vontade para mudar este nome).

Listagem 2: M�todo Main do Script C#


public void Main()
{
	var dt = new DataTable();
	var oled = new OleDbDataAdapter();

	try
	{
		oled.Fill(dt, Dts.Variables["ResultSet"].Value);

		for(int i = 0; i < dt.Rows.Count; i++)
		{
			if(decimal.Parse(dt.Rows[i]["ListPrice"].ToString()) > 50 & decimal.Parse(dt.Rows[i]["ListPrice"].ToString()) < 75)
			{
				GeraArquivo_Preco50_75(int.Parse(dt.Rows[i]["ProductID"].ToString()), decimal.Parse(dt.Rows[i]["ListPrice"].ToString()), dt.Rows[i]["Name"].ToString());
			}
			else if(decimal.Parse(dt.Rows[i]["ListPrice"].ToString()) > 75 & decimal.Parse(dt.Rows[i]["ListPrice"].ToString()) < 100)
			{
				GeraArquivo_Preco75_100(int.Parse(dt.Rows[i]["ProductID"].ToString()), decimal.Parse(dt.Rows[i]["ListPrice"].ToString()), dt.Rows[i]["Name"].ToString());			
			}
			Dts.TaskResult = (int)ScriptResults.Success;
		}
	}
	catch(Exception ex)
	{
		MessageBox.Show("Erro: " + ex.Message);
		Dts.TaskResult = (int)ScriptResults.Failure;
	}
}

Este m�todo ir� pegar a vari�vel ResultSet e a converter para um DataTable. Logo ap�s, iremos varrer este DataTable em um FOR LOOP e para cada linha, verificaremos os campos ProductID, Name e ListPrice. Se o campo ListPrice for maior que 50 e menor que 75, chamaremos o m�todo GeraArquivo_Preco50_75, que simplesmente ir� criar um arquivo chamado Arq50_75.txt no Diret�rio C:\, se utilizando do Namespace System.IO.StreamWriter, inserindo via WriteLine os campos ProductID, ListaPreco, NomeProduto (traduzi o nome dos campos), concatenados por ponto e v�rgula (�;�).

Listagem 3: M�todo que Gera o arquivo com os dados do Produto, Nome do Produto e Preço entre 50 e 75


public bool GeraArquivo_Preco50_75(int ID_Produto, decimal ListaPreco, string NomeProduto)
{
	var ret = false;
	var arq50_75 = new StreamWriter(@"C:\Arq50_75.txt", true);

	try
	{
		arq50_75.WriteLine(ID_Produto + ";" + NomeProduto + ";" + ListaPreco);
		arq50_75.Close();
	}
	catch(Exception ex)
	{
		throw new ArgumentException(ex.Message);
	}
	return ret;
}

Da mesma forma, caso o campo ListPrice for maior que 75 e menor que 100, chamaremos o M�todo GeraArquivoPreco75_100, que da mesma forma receber� os campos ProductID, Name e ListPrice e gerar� um arquivo chamado Arq75_100.txt no C:\.

Listagem 4: M�todo que Gera o arquivo com os dados do Produto, Nome do Produto e Preço entre 75 e 100


public bool GeraArquivo_Preco50_75(int ID_Produto, decimal ListaPreco, string NomeProduto)
{
	var ret = false;
	var arq50_75 = new StreamWriter(@"C:\Arq75_100.txt", true);

	try
	{
		arq50_75.WriteLine(ID_Produto + ";" + NomeProduto + ";" + ListaPreco);
		arq50_75.Close();
	}
	catch(Exception ex)
	{
		throw new ArgumentException(ex.Message);
	}
	return ret;
}

Na Figura 13 abaixo, veremos os dois arquivos (na mesma janela), com seus respectivos registros, sendo que para o arquivo com Preços entre 50 e 75 � maior do que o arquivo de Preços entre 50 e 75.

Figura 13: Mostrando os arquivos e seus respetivos conte�dos

Bom, vale lembrar que voc� poder� mudar o caminho do arquivo, ou at� mesmo o nome do pr�prio arquivo, ou at� quem sabe, programar outro C�digo em C# ou .NET, pois a intens�o do artigo foi somente indicar a possibilidade de integrar o SSIS com as linguagens C# e VB .NET, utilizando para isso o Visual Studio 2010.

Bom estudo.

Usando Csharp no Microsoft SQL Server Integration Services 2012

Veja neste artigo como utilizar as principais linguagens da plataforma .NET (C# e Visual Basic .NET) no desenvolvimento de projetos no Microsoft SQL Server Integration Services.

Artigos relacionados