R Inferno

The R Inferno

By Patrick Burns

Abstract: If you are using R and you think you're in hell, this is a map for you.

The author thanks D. Alighieri for useful comments

O clássico e cômico roteiro de Patrick Burns para o inferno em R. Ou, alguns problemas bem estranhos que ainda acontecem com o R ...

Concrete Island

Lendo uma notícia hoje sobre uma mulher que ficou presa por 3 dias dentro de um buraco enorme ao lado de uma estrada, pensei em uma analogia rural com o clássico de J. G. Ballard "Concrete Island", em que um arquiteto de Londres fica preso dentro de uma ilha de concreto, uma estrutura dentro de um cruzamento de uma auto-estrada. Uma versão diabólica de Robinson Crusoé criada por Ballard.

Vi agora que o livro está sendo adaptado para um filme com Christian Bale, com o mesmo diretor e roteirista do brilhante The Machinist. Promete.

leitura do Dia - Bayesian methods for analysis and adaptive scheduling of exoplanet observations

Bayesian methods for analysis and adaptive scheduling of exoplanet observations

Thomas J. Loredo, James O. Berger, David F. Chernoff, Merlise A. Clyde, Bin Liu

Statistical Methodology

Volume 9, Issues 1–2, January–March 2012, Pages 101–114

Abstract

We describe work in progress by a collaboration of astronomers and statisticians developing a suite of Bayesian data analysis tools for extrasolar planet (exoplanet) detection, planetary orbit estimation, and adaptive scheduling of observations. Our work addresses analysis of stellar reflex motion data, where a planet is detected by observing the “wobble” of its host star as it responds to the gravitational tug of the orbiting planet. Newtonian mechanics specifies an analytical model for the resulting time series, but it is strongly nonlinear, yielding complex, multimodal likelihood functions; it is even more complex when multiple planets are present. The number of dimensions in the model parameter space ranges from a few to dozens, depending on the number of planets in the system, and the type of motion measured (line-of-sight velocity, or position on the sky). Since orbits are periodic, Bayesian generalizations of periodogram methods facilitate the analysis. This relies on the model being linearly separable, enabling partial analytical marginalization, reducing the dimension of the parameter space. Subsequent analysis uses adaptive Markov chain Monte Carlo methods and adaptive importance sampling to perform the integrals required for both inference (planet detection and orbit measurement), and information-maximizing sequential design (for adaptive scheduling of observations). We present an overview of our current techniques and highlight directions being explored by ongoing research.

Keywords

Bayesian statistics; Sequential design; Active learning; Monte Carlo methods; Extrasolar planets

Isso sim é uma aplicação interessante.

M&M UR SV

Aproveitando este final das férias para finalizar a primeira versão artigo des testes Bayesianos de raízes unitárias em modelos de volatilidade estocástica, em co-autoria com o Márcio Diniz.

Foi um longo processo até chegar aos resultados, mas acho que vai ser útil para entender algumas limitações existentes em modelos sv com raizes unitárias.

Processamento Paralelo

Eu dei uma leitura rápida no “Parallel R” por McCallum and Weston, e minha impressão foi bem similar a resenha do livro realizada pelo Darrel Wilkinson. De forma geral achei o livro útil, mas poderia ser mais detalhado e profundo. Por exemplo ele cobre os pacotes snow e parallel, mas não o snowfall que é uma versão mais user friendly do snow.

Outro tópico não coberto é o uso de GPUs, mas devido a complexidade do assunto exigiria um livro a parte. Falando nisso, uma introdução bem intessante esse tema está neste post do Angelo.

Zona de guerra

Nos últimos meses o Rio já parecia uma zona de guerra, com buracos e crateras de obras inacabadas espalhadas por toda a cidade. Agora esse desabamento monstruoso.

Eu frequentava no ano passado uma academia quase em frente aos prédios que desabaram, e era notável que muitas obras eram feitas nos prédios nessa região, provavelmente irregulares.

Resta agora tentam descobrir a causa.

Novas Aquisições - Generalized Estimating Equations

Generalized Estimating Equations. Andreas Ziegler

Essa série de notas do Ziegler é uma tentativa de unificar as literaturas de generalized estimating equations, generalized method of moments e pseudo-maximum likelihood, que são conectadas mas ainda sem um tratamento teórico comum.

Essa unificação é dificultada pela divergência de linguagem e notações utilizadas pelos estatísticos e econometristas, e por isso essa monografia é bastante recomendada para quem acompanha e estuda estes métodos.

Novas Aquisições - Dark Markets: Asset Pricing and Information Transmission in Over-the-Counter Markets

Dark Markets: Asset Pricing and Information Transmission in Over-the-Counter Markets. Darrell Duffie

Essa monografia do Darrel Duffie apresenta uma introdução aos métodos de precificação para ativos Over-the-Counter. Nessas situações não não é possível assumir informação completa, e assim o foco é como o processo de transmissão de informações afeta a formação de preços. O livro serve como uma introdução aos métodos usados nessa literatura (random matching, information percolation), fundamentados em métodos probabilisticos não triviais.

Novas Aquisições - Statistical Computing in C++ and R.

Statistical Computing in C++. R. Randall L. Eubank e Ana Kupresanin

Esse lançamento da Chapman e Hall é uma introdução detalhada a programação de métodos estatísticos usando R e C++. O foco é realmente em programação, e assim não existe uma cobertura muito grande de métodos estatísticos em si. Mas a parte sobre C++ é especialmente valiosa para os usuários de R.

O livro também cobre paralelização, usando os métodos disponíveis em C++, como OpenMP e mpi.

Novas Aquisições - Parallel R

Parallel R. Q. Ethan McCallum e. Stephen Weston .

Esse livro apresenta uma introdução rápida e direta (aplicada) aos principais métodos de paralelização disponíveis em R (snow, multicore, parallel) e também a interface com métodos externos como Hadoop.

Como os livros da O'Reilly, o foco é na aplicação.

Quase lá

Primeira versão do artigo de estimação de verossimilhança de modelos sv usando limite de estimadores bayesianos quase finalizada. Resolvi colocar uma seção empírica, usando a extensivamente torturada série de log-retornos de Pound/Dólar, e os resultados foram bem interessantes para esta série. Ainda falta um bom polimento no texto, mas já decidi para onde submeter.

Darren Wilkinson's research blog

Darren Wilkinson's research blog

Posts sobre o estado da arte em métodos de simulação, MCMC, Particle Filtering.

Altíssimo nível. Um dos primeiros programas de MCMC que eu usei foi um código do Darren Wilkinson para a estimação de SV.

FFFT

The faster-than-fast Fourier transform

For a large range of practically useful cases, MIT researchers find a way to increase the speed of one of the most important algorithms in the information sciences

O algoritmo de Fast Fourier Transform é um dos algoritmos fundamentais em computação e estatística, e um de seus pais foi o estatístico John Tukey, um dos pilares da estatística moderna.

II Encontro Nacional de Blogueiros de Economia.

Acho que deve ser novamente um encontro legal esse ano. Caras novas com muitas contribuições.

Imagine a World Without Free Knowledge

Leitura do Dia - Revealing the arcane: an introduction to the art of stochastic volatility models

Revealing the arcane: an introduction to the art of stochastic volatility models

Tsyplakov, Alexander (2010)

Abstract
This essay is aimed to provide a straightforward and sufficiently accessible demonstration of some known procedures for stochastic volatility model. It reviews the important related concepts, gives informal derivations of the methods and can be useful as a cookbook for a novice. The exposition is confined to classical (non-Bayesian) framework and discrete-time formulations.

Essa é a versão em inglês do artigo publicado no journal russo Quantile. É uma excelente introdução aos métodos clássicos de inferência em modelos de volatilidade estocástica.

A caminho

Depois de um bom trabalho, finalizei as contas para o artigo sobre estimação por máxima verossimilhança de modelos de volatilidade estocástica usando o limite de estimadores Bayesianos. Ainda preciso finalizar a escrita e decidir o formato, mas o core do artigo já está pronto. Eu havia abordado inicialmente esse estudo no mini-curso da escola de séries temporais, mas como coloquei várias comparações com outros estimadores de MLE acabou demorando mais que eu esperava.

Concurso para Métodos Quantitativos - UFSC

Está aberto um concurso para uma vaga em Métodos Quantitavos na UFSC, e o edital com as informações detalhadas pode ser encontrado no link:

https://php.coperve.ufsc.br/cpdo/editais/130DDPP2011.pdf

Dei um seminário na UFSC recentemente, e fiquei muito bem impressionado com este departamento da UFSC. O departamento contratou recentemente muitos pesquisadores de alto nível em econometria e finanças, e está se tornando um dos centros de referência nestes temas. Por isso essa vaga em particular é muito interessante. Isso sem contar todos os atrativos da cidade de Florianópolis .

Encontro com os editores

O Erik fez um post comentando sobre as diferenças entre os estilos editoriais aqui no Brasil, e particularmente o estilo da Elsevier.

Uma diferença fundamental é que a Elsevier é um editor comercial de periódicos, e aqui no Brasil não temos nenhuma revista de economia editada comercialmente, já que todas são editadas por sociedades (BRE, RBFin) ou pelas próprias escolas de economia (RBE, Economia Aplicada, Estudos Economicos, etc).

Minha visão é menos crítica que a do Erik - em geral as Sociedades que editam as revistas dedicam parte das assembléias anuais para discutir a situação das revistas editadas. Em particular durante as assembléias da Sociedade Brasileira de Finanças e da Sociedade Brasileira de Econometria existe um diálogo bem intenso entre os editores e os membros das sociedades, e muitos comentários e sugestões são incorporados através desses diálogos.

O melhor gerador de números aleatórios já construído

Geração de números aleatórios é um tema fundamental em análise numérica, e existem inúmeras referências e métodos disponíveis. Uma rápida introdução está na wikipedia, e uma discussão muito didática está na sagrada obra de Donald Knuth - TAOCP - The Art of Computer Programming.

Na minha opinião o melhor gerador de números aleatórios é o que é utilizado na entrada do Kiaora Pub em São Paulo. Na entrada eles sorteiam algumas pessoas que não pagam a taxa de entrada. O que acontece é que em 80% das vezes que ia lá eu era sorteado e não pagava a entrada. No entanto meus amigos não eram agraciados com este gerador, o que causava um certo incômodo para eles. Ontem fiz mais um teste, e de novo sorteado ...

1205

Vim para São Paulo hoje para me reunir com co-autores em dois projetos de pesquisa. O primeiro é um velho projeto sobre testes de desempenho de fundos de investimento usando condições de momentos, e o outro sobre estimações de panel-var.
O curioso é que o quarto do hotel que estou ficando tem o mesmo número do lendário flat que morei nos meus últimos 3 anos em São Paulo. Boas lembranças.