Dead End
Parado em um problema. Não, não é da minha pesquisa. O problema é converter um banco de dados gigante que foi exportado um formato absurdo. Um banco de dados com uma estrutura complexa que foi exportado como um único arquivo XML.
O problema é que é um arquivo que tem UMA linha e milhões de colunas. Toda a informação está em apenas uma linha. Normalmente nesse tipo de problema eu usaria Perl para extrair ou reformatar os dados. O problema é que o Perl carrega uma linha por vez na memória.
E quando tenho carregar esta linha o Perl estoura a memória. Digamos que estourar e memória em um programa Perl em um servidor 64 bits com gigas e mais gigas de memória física não é um problema trivial.
Nenhum dos parsers XML deu conta do recado. E nem o Perl direto no código. Começo a ficar preocupado.
O problema é que é um arquivo que tem UMA linha e milhões de colunas. Toda a informação está em apenas uma linha. Normalmente nesse tipo de problema eu usaria Perl para extrair ou reformatar os dados. O problema é que o Perl carrega uma linha por vez na memória.
E quando tenho carregar esta linha o Perl estoura a memória. Digamos que estourar e memória em um programa Perl em um servidor 64 bits com gigas e mais gigas de memória física não é um problema trivial.
Nenhum dos parsers XML deu conta do recado. E nem o Perl direto no código. Começo a ficar preocupado.
3 Comments:
Sei que parece absurso, mas já tentou manipula-lo no Dreamweaver visando alguma conversão?
Nota: onde você foi arrumar tal arquivo? fiquei curioso porque estourar teu servidor é tarefa para poucos.
text to columns do excel?
Anônimo, Excel não daria conta não. Mas Márcio já resolveu o problema. Aqui, ó: problema resolvido
Postar um comentário
<< Home