segunda-feira, março 30, 2009

Dead End

Parado em um problema. Não, não é da minha pesquisa. O problema é converter um banco de dados gigante que foi exportado um formato absurdo. Um banco de dados com uma estrutura complexa que foi exportado como um único arquivo XML.
O problema é que é um arquivo que tem UMA linha e milhões de colunas. Toda a informação está em apenas uma linha. Normalmente nesse tipo de problema eu usaria Perl para extrair ou reformatar os dados. O problema é que o Perl carrega uma linha por vez na memória.
E quando tenho carregar esta linha o Perl estoura a memória. Digamos que estourar e memória em um programa Perl em um servidor 64 bits com gigas e mais gigas de memória física não é um problema trivial.
Nenhum dos parsers XML deu conta do recado. E nem o Perl direto no código. Começo a ficar preocupado.

3 Comments:

Anonymous cristiano said...

Sei que parece absurso, mas já tentou manipula-lo no Dreamweaver visando alguma conversão?

Nota: onde você foi arrumar tal arquivo? fiquei curioso porque estourar teu servidor é tarefa para poucos.

9:22 AM  
Anonymous Anônimo said...

text to columns do excel?

11:38 PM  
Anonymous Anônimo said...

Anônimo, Excel não daria conta não. Mas Márcio já resolveu o problema. Aqui, ó: problema resolvido

2:36 PM  

Postar um comentário

<< Home