Existe mais de uma maneira de fazer.

Acho que a linguagem de programação que eu mais gosto, entre todas que eu já utilizei, é Perl. Perl é uma sigla para "Practical Extraction and Report Language", foi originalmente designada para extração e tratamento de texto. A lenda fiz que foi crida por Larry Wall para analisar dados da CIA ( não é exatamente isso, mas a lenda é divertida). Mas de qualquer forma é absolutamente imbatível em tratamento de texto e em geral no tratamento de expressões regulares.
O design de perl é muito interessante, já que o Larry Wall incorporou sua formação de linguista na construção da linguage. E a documentação e os livros de Perl (como o clássico Camel Book) são permeados pela mais fina ironia. Além disso tem a grande vantagem de resolver rapidamente meus problemas ...

O sistema de gerenciamento dos dados de ultra alta frequência de finanças atualmente está com mais de 60 giga de informação, e boa parte do tratamento dos dados é baseado em perl, e mesmo quando não utilizada diretamente, perl faz a ligação entre os diversos módulos em SQL, Ox, R e Matlab, tornando o sistema unificado. Uma proposta de upgrade é utilizar perl na análise estatística dos dados, utilizando PDL - Perl Data Language (http://pdl.perl.org/), mas ainda preciso de um tempo para realizar esta etapa.