Manipulação de XML Gigante

Question

Pessoal,Preciso acessar a página de uma empresa parceira, baixar um xml (de cerca de 02 GB) e manipulá-lo na minha aplicação.Hoje, copio o arquivo da empresa parceira para o meu servidor e tento de...

Robson Alves · Answer

Oi Flávia!Você está usando XMLReader?Ele é o mais performático e não guarda Cache, portanto o erro inicial de Timeout é resolvido!Depois transforma o reader na fonte de dados necessária....

Flavia Santos · Answer

Oi Robson, obrigada pelo retorno!Não estou usando o XML Reader, vou fazer alguns testes.Obrigada!...

Flavia Santos · Answer

Eu não tive uma melhora de desempenho significativa usando um XMLReader e convertendo-o para Dataset....

Robson Alves · Answer

houve erros?Pela quantidade de registro, só se você fizer leituras parciais do arquivo.Não tenho muito expiriência com Leitura de XML no C#, será possível realizar uma espécie de TOP ?Sendo sim, você faz uma lógica para lé-lo até o fim, de forma parcial....

Flavia Santos · Answer

Erros não, mais continua extremamente lento...Uma especie de TOP eu teria como fazer usando o LINQ to XML, mas o arquivo já deveria estar carregado na memória.Não sei se há outras formas, essa é a que conheço....

Robson Alves · Answer

Quanto tempo de processamento?...

Robson Alves · Answer

Veja esses dois exemplos://www.csharp-examples.net/xpath-top-xml-nodes///www.csharp-examples.net/xml-nodes-by-name/Seu XML é muito complexo?Se ele tiver uma estrutura simples de nós, você pode fazer como no exemplo!Lendo ele de forma parcial, você terá um ganho, mas ainda se trata de 2GB de informações...A apresentação dessas informações estarão na tela?Se você quer ganhar Performance o certo é partir para uma ideia mais assíncrona e responsiva.Por exemplo, as informações estão no GRID e só é apresentado 10 linhas, conforme o usuário rolar o scroll, ir no XML e trazer 10 + 10 ...Abraços....

Flavia Santos · Answer

Então Robson, a estrutura do xml é complexa sim, o arquivo me traz um DataSet com um DataTable pai e 6 DataTables filhos.Nenhuma informação é exibida em tela, o xml é usado para atualização da base dados de acordo com os produtos disponiveis no parceiro... Não tenho acesso a base de dados dele, apenas o xml que ele me envia diariamente, sem a possibilidade de alteração do tipo de arquivo/objeto enviado.Eu tenho uma rotina hoje que funciona, mas ela é pesada e demora mto para executar. As vezes ainda dá Timeout.Eu queria customizar a rotina melhorando o seu desempenho......

Robson Alves · Answer

Já utilizou integration services?Sei que vai mudar radicalmente seu ambiente...Ja importei arquivos enormes por ele... como é integração de bases, funcionava bem rápido..Não vejo onde ganhar mais performance no seu código .Net, você tem muita informação diária......

Robson Alves · Answer

Já vi usarem o BulkInsert.//msdn.microsoft.com/en-us/library/ms191184.aspxExiste uma forma de usar o BulkInsert (maquiado) dentro do C#, não sei onde há ganhamos (estou dando essa idéia, por não conhecer seu ambiente).Abraços....

José · Answer

Como a dúvida aparentemente foi sanada, estou dando o tópico por concluído. ...

Fórum Manipulação de XML Gigante #431721