cansaço

Tem dias que vc duvida se tanto trabalho e esforço valem a pena. Hoje é um dia desses.
Bom, amanhã recomeça o doutorado, e assim me animo.

probleminha um pouquinho grande

ultimo procedimento do artigo de alta frequencia caiu num problema meio dificil ...
presentar uma matriz com 9e+12 elementos. Não dá para representar isso nos computadores que eu tenho, e tive que quebrar o procedimento e fazer as operações em partes. Assim todas as otimizações de vetorização vão embora e ficou bem lento. Pelos meus cálculo deve levar 10 dias para rodar.
O pior de tudo é que esse teste sempre vai rejeitar a nula com meus dados. Complicado, mas preciso colocar já que é uma teste fundamental nesta literatura.

Galeria de Hérois

Outro ícone da minha galeria de heróis:
Golan Trevize

sem dormir

mas com essa companhia:
John Coltrane - My Favorite Things

trabalho e mais trabalho

Artigo de microestrutura do mercado de câmbio dando muito mais trabalho do que eu esperava. Primeiro a revisão bibliográfica ficou muito maior que eu esperava, e a heterogeneidade de metodologias é enorme. Depois preciso fazer uma baita análise de especificação (testes de especificação com milhões de observações são bem sensíveis), e demora demais realizar um procedimento com todos as especificações possíveis. Depois tive que reescrever todos os programas no braço para evitar estouro de memória ....
E cada vez que procuro na bibliografia tenho que implementar um teste novo . E olhe que tudo é bastante facilitado pelo sistema de gerenciamento de dados, senão eu já teria ficado maluco.
É, fazer ciência empírica dá um bocado de trabalho.
Agora é tarde para virar jogador de futebol ou DJ.

God Bless You, Livraria Cultura

Livraria cultura hoje se superou. Encomendei hoje de madrugada (deviam ser umas 2:30 da manhã) Dr. Fantastico e The Siren of Titan, de Kurt Vonnegut. Primeiro entregaram Dr. Fantástico e agora chegou The Sirens of Titan. E depois reclaman do capitalismo.

Dr. Fantástico

Hoje completei minha coleção de filmes do Kubrick, comprando Dr. Strangelove. Por coincidência o Cristiano escreveu hoje também sobre o seu quinto favorito "2001 - A Space Odissey". Ele descreve em palavras muito melhores do que eu conseguiria escrever sobre esse filme. Só que para mim 2001 é o primeiro entre todos. E na lista do 10 primeiros entrariam facilmente A Clockwork Orange e em especial Paths of Glory.
Sujeitinho perverso esse Kubrick. Montou uma comédia de humor negro sobre aniquilação nuclear. Montada sobre uma análise de game theory absolutamente impecável. E com Peter Sellers tão fantástico (sem trocadilho) que fica difícil de comentar este filme. E desesperadamente se tornando de novo atual.

Existe mais de uma maneira de fazer.

Acho que a linguagem de programação que eu mais gosto, entre todas que eu já utilizei, é Perl. Perl é uma sigla para "Practical Extraction and Report Language", foi originalmente designada para extração e tratamento de texto. A lenda fiz que foi crida por Larry Wall para analisar dados da CIA ( não é exatamente isso, mas a lenda é divertida). Mas de qualquer forma é absolutamente imbatível em tratamento de texto e em geral no tratamento de expressões regulares.
O design de perl é muito interessante, já que o Larry Wall incorporou sua formação de linguista na construção da linguage. E a documentação e os livros de Perl (como o clássico Camel Book) são permeados pela mais fina ironia. Além disso tem a grande vantagem de resolver rapidamente meus problemas ...

O sistema de gerenciamento dos dados de ultra alta frequência de finanças atualmente está com mais de 60 giga de informação, e boa parte do tratamento dos dados é baseado em perl, e mesmo quando não utilizada diretamente, perl faz a ligação entre os diversos módulos em SQL, Ox, R e Matlab, tornando o sistema unificado. Uma proposta de upgrade é utilizar perl na análise estatística dos dados, utilizando PDL - Perl Data Language (http://pdl.perl.org/), mas ainda preciso de um tempo para realizar esta etapa.

Leitura da Semana

Leitura da Semana - Lutando Na Espanha e Recordando a Guerra Civil, Georwe Orwell.

Portfólio

Falando de programas, alguns comentários sobre os softwares fazem parte do meu portfólio de pesquisa. Minha escolha de uma linguagem para desenvolver um projeto depende de 3 aspectos básicos e um secundário
1 - resolve meu problema de forma confiável
2 - resolve meu problema de forma rápida
3 - resolve meu problema com o mínimo esforço.
4 - manutenção do código

Esses 4 aspectos diferenciam bastante a escolha do programa. Tópicos fundamentais são 1 e 2, mas o 3 é bem importante e o 4 se o programa for compartilhado também.
Outra arvore de decisão é a seguinte
programa free X programa pago
programa com código aberto X código fechado

esse aspecto é mais nebuloso, já que nem sempre a divisão é clara. Por exemplo gauss é uma linguagem paga, mas exceto pela biblioteca de algebra linear (que é de acesso livre mas vem em forma binária) vc tem acesso aos códigos. Matlab é quase a mesma coisa. Outras linguagens como Ox são livres para uso não comercial, mas não há acesso a boa parte dos códigos. Outras linguagens como R são de graça e como acesso total ao código fonte.
Eu defendo programas open source pela sua vantagem nos itens 1 e 3, já que posso checar se o programa realmente está correto, e reduz meu esforço já que evita duplicação de programação pelo fato de provavelmente existir alguém que já tenha desenvolvido algo parecido. Mas nem sempre será feito da forma mais rápida e eficiente. Mas pode ocorrer algo exatamente ao contrário - o software R foi desenvovido para contornar a grande ineficiência do S-Plus, que é pago.
Outro fator é path dependence. Se um ramo de pesquisa desenvolve nesse programa, efeito de network vai alavancar esse programa em detrimento de programas concorrentes. Esse efeito é fácilmente notado em econometria - pessoal de microeconometria em sua maioria trabalha com o stata, que é um programa pago, mas meio chato de programar, mas tem grande base de usuários de base de dados usadas em microeconometria. Matlab é bastante usado em pesquisa acadêmica em finanças (mas perde feio para c++ em implementação profissional). O R vem se tornando o padrão de fato em estatística, mas já tem uma boa base de usuários em finanças e econometria.
Tendo dito isso meu portfólio em pesquisa é dado pelos seguintes programas (em ordem de utilização)
1- R
2- Matlab
3 - S-Plus
4 - Ox
5- Gauss
6- Xplore
7- Sas
8- Stata

Em geral começo o programa em R ou Matlab - em geral pesquisa em estatística em R e finanças em Matlab, mas não é uma regra, já que são os dois mais rápidos no desenvolvimento de programas. S-Plus é fácil de trabalhar, mas não é robusto para simulações ou bases de dados grandes.
Ox quando trabalho com modelos em espaço de estado ou memória longa, e quando rapidez é fundamental. Uma das mais confiáveis no entanto. Gauss normalmente eu uso quando tenho que utilizar maximização de verossimilhança com restrições de desigualdade - a maximização é fácil de implementar no matlab, mas os intervalos de confiança não são usuais.
Xplore é uma linguagem com pedigree claro - Wolfgang Hardle e suas aplicações não paramétricas. Nisso ele é imbativel, e algumas coisas geniais em finanças.
Sas é imbátivel em gerenciamento de bancos de dados grandes, mas é caro demais como linguagem de pesquisa acadêmica e isso impossibilita o compartilhamento de código. Stata é um bom programa para microeconometria, mas tem um design de linguagem bem fraco na minha opinião.
Afora estas linguagens técnicas, duas armas secretas. Uma é usar perl no processamento de dados - rápida, veloz e confiável no tratamento de dados. Nenhuma das linguagens acima é pareo para um bom programa em perl. E é uma linguagem muito engenhosa também. Outra arma é armazenar todos meus dados em um banco de dados SQL (normalmente MySQL por ser rápido), e com isso consigo compartilhar dados entre todos meus programas, e assim qualquer pesquisa pode ficar automatizada rodando cada etapa do processo em um programa diferente se for necessário. SQL também é muito útil para gerenciamento de dados, em especial se envolve datas.
Resumo da história - com uma boa gambiarra vc encaixa todas as peças e o carro anda.

server sweet server

Amanhã de volta aos meus servidores. Tenho acesso remoto a eles, mas com acesso discado aqui longe de são paulo é exasperante trabalhar. Pelo menos a revisão bibliográfica avançou bastante, e dei uma adiantada nos programinhas.

adeus carnaval

bom, fim de carnaval. 5 dias dormindo mais que 8 horas por noite. deu pra dar uma lida nos artigos de microestrutura de mercado, mas ainda falta bastante coisa para ler.
agora é se preparar para o resto do ano.

Os novos padrões.

Em um post anterior me referi ao problema do conhecimento mínimo de matemática necessário. Muitos economistas, não somente heterodoxos, criticavam o excesso de formalização e matematização na ciência econômica. Se talvez essa crítica fosse válida em períodos passados, atualmente ela perdeu totalmente sua importância.
Um exemplo atual é o estudo de finanças. Eu sempre brinco com meus alunos que sabendo algebra e probabilidade você já sabe tudo de finanças, mas acho que mesmo isso já é pouco. Exemplo prático - modelagem de ativos de renda fixa. Dois dos melhores livros textos sobre modelagem de derivativos e taxas de juros - Interest Rate Models - Theory and Practice - Damiano Brigio e Fabio Mercurio, e Volatility and Correlation, Riccardo Rebonato, mostram o nível técnico necessário em finanças modernas.
A base destes livros é o conhecimento de equações diferencias estocásticas,
martingales, teoria da medida, métodos numéricos de resolução de sde, simulação de Monte Carlo, processos com salto, cópulas e econometria avançada. E a implementação de tudo isso requer um conhecimento bem razoável de programação.
E note que estes dois livros tratam de problemas reais de precificação de ativos
e hedge, e estão longe de serem apenas formalizações teóricas em artigos acadêmicos.
Esse deve ser o novo standard de conhecimento de mercado. A consequência disso é que a maioria das graduações em economia, e não só no brasil, estão completamente defasadas. Essa defasagem continua válida para outras áreas, como macroeconomia, teoria dos jogos ou econometria.

Iniciando mais um ano de vida

Iniciando mais um ano de vida com um album sem igual.
Ballads, John Coltrane Quartet.

Clássicos

Eu acho que um dos meus maiores pecados é não saber tanta matemática quanto deveria. Vamos tentanto o perdão aos poucos, mas o pecado é grande é grande demais.
Uma coisa que é interessante é que muitos dos clássicos ainda são as melhores referências para se aprender. Real Analysis do Kolmogorov, e Measure Theory do Halmos são bons exemplos. Esse livro é excepcional, e é a minha principal fonte em medida ainda. Outro livro muito bons do Halmos é o Naive Set Theory.

leitura de cabeceira

leitura de cabeceira. só as leituras mais urgentes. eu estava com um problema de lotação - não cabia mais nada nos meus armários. Mas o problema será resolvido brevemente e ganharei ainda mais espaço... :)

de boa

arrumando o material pro feriado, quero ver se consigo dar uma organizada nas coisas a fazer e se rolar um tempo trabalhar no texto dos artigos em andamento.
como quase todo mundo já viajou (e eu tenho que dar aula a noite) tudo tranquilo por aqui, posso até ouvir meu Coltrane bem alto por aqui no bunker.

andando

começando a andar o artigo de price discovery, saí da etapa da busca de resultados e agora é só trabalhar em compilar os resultados finais (tranquilo) e escrever uma primeira versão do artigo (chato ...)

presente

meu aniversário está chegando. Quer me dar um presente ? me ajude a completar o álbum abaixo. Tenho 7 figurinhas, mas ainda faltam 52.


http://www.springer.com/west/home/math/quantitative+finance

Fotos toscas do celular

processamento pesado

processamento aqui no micro estava tão pesado que até derrubou o disjuntor da sala. Sério. E quando voltei o no-break já estava esgotado e perdi tudo ...

Science and mathematics

Science and mathematics
Run parallel to reality, they symbolize it, they squint at it,
They never touch it...
Robinson Jeffers

aproveitando a deixa do post anterior

zangue-se com o sol

Zangue-se com o sol. Se não me engano é o título de um livro do poeta Robinson Jeffers.
Mas é uma das frases que poderia caracterizar a existência.

Elementos do meu Inferno - 1

Quando eu for mandado ao inferno essas serão minhas torturas pessoais
1 - Fazer revisão de artigos (quem em geral não me interessam mais)
2 - Ouvir discussões sobre as bandas indie do momento
3 - Acordar todos os dias as cinco da manhã (ops - esse semestre será assim ... )
4 - Encontrar seguidamente com as ex-namoradas odiadas
5 - Todos os dias serão dias de vencimento do cartão de crédito

back in black

ânimo revigorado. resolvi implementar todo o sistema de price discovery usando os dados de alta frequência em ox, incluindo a consulta aos bancos de dados e toda a modelagem .
vai dar um bom trabalho.

o nada

semana difícil. nada de muito ruim aconteceu, mas o cansaço, físico e psicológico, venceu.

tempo ...

tempo esperando os dois servidores acabarem os calculos
tempo horrível de chuva
tempo pouco inspirado
tempo triste

Apanhando

Terminei o primeiro filme com a pentax mz-m. Ainda tenho que pegar a manha do fotômetro dela, já que é bem sensível. Velha Zenit não tinha esses problemas. Imagens sairam bem fraquinhas ainda, principalmente as internas, mas pego o jeito. Senão é porrada nessa máquina.

Visitas Ilustres

Seminário do meu grande orientador de mestrado Marcelo Portugal aqui no Ibmec São Paulo, inaugurando os seminários acadêmicos de 2007. Fazia um tempo que não encontrava com o Portugal, e foi muito bom revê-lo. O seminário me lembrou o clima dos seminários da economia da UFRGS. O co-autor do artigo, Paulo Barcellos, que foi meu colega de turma no mestrado, também estava aqui na apresentação. Artigo muito bom mesmo.
O problema é que com essa crise área o pessoal mal fica aqui e já vai pro aeroporto prevendo os atrasos ...

Econometrista de Programa

Meu nobre colega Cláudio Shikida me linkou em seu blog (subsolo.org/gustibus) , um conteúdo de informação acadêmica e não acadêmica sem fim, que devo acessar umas 4 vezes por dia (e a cada vez que eu acesso tem uns 6 posts novos). O que já roubei de dicas boas do Shikida ...
A brincadeira do Econometrista de Programa é aceita integralmente, já que quem passa aqui pela minha sala sabe que faço programas (ativos somente por favor ) para qualquer um em dificuldade com matlab, R, S-Plus, Gauss, ox, etc.
Tanto que o apelido aqui da minha sala é AER "Academic Emergence Room". Tem um problema com um programa na sua tese, dissertação, monografia, trabalho, consultoria, etc ? passa aqui faço uma gambiarra e resolvo teu problema.

Destruição Criativa

Reescrevi os programas de agregação dos dados de alta freqûencia, e percebi que a nova versão do MySQL com checagem de integridade de dados pega um probleminha de datas que eu não tinha percebido. Além disso implementei o novo filtro diretamente em SQL, o que facilitou bem o controle de erros de transcrição nos dados de alta frequência.
Ficou bem melhor, e poupa um bom trabalho na análise dos dados. Com uma série como a de Euro com um processo de Bid-Ask com 64 milhões de observações fica meio chato, por assim dizer, retirar outliers manualmente.

Applied Econometrics

Nova série - Applied Econometrics. Modelos econométricos aplicados a problemas toscos.

Modelo 1 - Modelo de Duration (tempo até ele ser mandado pra casa )para a permanência do Dunga na seleção

Duration =b_0+b_1*derrotas toscas+b_2+camisas_ridiculas+b_3*xilique jogadores+e_t

distribuição de e_t - weibull (truncada, já que antes da copa ele dança)

e no final tudo dá certo

dia complicado hoje. já acordei muito desanimado porque era o fim das férias da minha namorada, e ela estava indo embora. e o trabalho durante o dia não rendeu grande coisa, nada dando certo na estimação de um modelo.
Já tinha desistido, quando alterei o procedimento de criação das variáveis e agora está ok.
O bônus é que graças a dica do meu amigo Cristiano poderei assistir um dos meus filmes preferidos, que é o If...

Novas Aquisições

Sonny Rollins - Impulse Story.
Borges - O Aleph.



Será que algo precisa ser comentado sobre essa coleção da Impulse?

De volta a programação normal

Problemas a resolver. Alguns fáceis, como atualizar os drivers perl para o DBI e o DBD::MYSQL.
O complicado vai ser como resolver o problema de alocação de memória para rodar quantile regression com dados de alta frequência. A maquina atinge o limite de 4 giga de alocação de memória, e acima disso só com um sistema e um hardware 64 bits real. Solução mais simples seria migrar um dos servidores para linux 64, mas outros pacotes precisam de win.
vida é feita de escolhas.

ajuste

Ainda não acostumei com o horário das aulas, e assim mesmo com aula 7:30 amanhã cedo não consegui dormir.
A foto ao lado mostra o quarto aonde dormi tão bem na semana passada de férias ...

problema resolvido

graças a super rápida ajuda do pessoal técnico do blogger o problema de publicação foi resolvido.

problemas técnicos

problemas técnicos no blog.