R Inferno

The R Inferno

By Patrick Burns

Abstract: If you are using R and you think you're in hell, this is a map for you.

The author thanks D. Alighieri for useful comments

O clássico e cômico roteiro de Patrick Burns para o inferno em R. Ou, alguns problemas bem estranhos que ainda acontecem com o R ...

Concrete Island

Lendo uma notícia hoje sobre uma mulher que ficou presa por 3 dias dentro de um buraco enorme ao lado de uma estrada, pensei em uma analogia rural com o clássico de J. G. Ballard "Concrete Island", em que um arquiteto de Londres fica preso dentro de uma ilha de concreto, uma estrutura dentro de um cruzamento de uma auto-estrada. Uma versão diabólica de Robinson Crusoé criada por Ballard.

Vi agora que o livro está sendo adaptado para um filme com Christian Bale, com o mesmo diretor e roteirista do brilhante The Machinist. Promete.

leitura do Dia - Bayesian methods for analysis and adaptive scheduling of exoplanet observations

Bayesian methods for analysis and adaptive scheduling of exoplanet observations

Thomas J. Loredo, James O. Berger, David F. Chernoff, Merlise A. Clyde, Bin Liu

Statistical Methodology

Volume 9, Issues 1–2, January–March 2012, Pages 101–114

Abstract

We describe work in progress by a collaboration of astronomers and statisticians developing a suite of Bayesian data analysis tools for extrasolar planet (exoplanet) detection, planetary orbit estimation, and adaptive scheduling of observations. Our work addresses analysis of stellar reflex motion data, where a planet is detected by observing the “wobble” of its host star as it responds to the gravitational tug of the orbiting planet. Newtonian mechanics specifies an analytical model for the resulting time series, but it is strongly nonlinear, yielding complex, multimodal likelihood functions; it is even more complex when multiple planets are present. The number of dimensions in the model parameter space ranges from a few to dozens, depending on the number of planets in the system, and the type of motion measured (line-of-sight velocity, or position on the sky). Since orbits are periodic, Bayesian generalizations of periodogram methods facilitate the analysis. This relies on the model being linearly separable, enabling partial analytical marginalization, reducing the dimension of the parameter space. Subsequent analysis uses adaptive Markov chain Monte Carlo methods and adaptive importance sampling to perform the integrals required for both inference (planet detection and orbit measurement), and information-maximizing sequential design (for adaptive scheduling of observations). We present an overview of our current techniques and highlight directions being explored by ongoing research.

Keywords

Bayesian statistics; Sequential design; Active learning; Monte Carlo methods; Extrasolar planets

Isso sim é uma aplicação interessante.

M&M UR SV

Aproveitando este final das férias para finalizar a primeira versão artigo des testes Bayesianos de raízes unitárias em modelos de volatilidade estocástica, em co-autoria com o Márcio Diniz.

Foi um longo processo até chegar aos resultados, mas acho que vai ser útil para entender algumas limitações existentes em modelos sv com raizes unitárias.

Processamento Paralelo

Eu dei uma leitura rápida no “Parallel R” por McCallum and Weston, e minha impressão foi bem similar a resenha do livro realizada pelo Darrel Wilkinson. De forma geral achei o livro útil, mas poderia ser mais detalhado e profundo. Por exemplo ele cobre os pacotes snow e parallel, mas não o snowfall que é uma versão mais user friendly do snow.

Outro tópico não coberto é o uso de GPUs, mas devido a complexidade do assunto exigiria um livro a parte. Falando nisso, uma introdução bem intessante esse tema está neste post do Angelo.

Zona de guerra

Nos últimos meses o Rio já parecia uma zona de guerra, com buracos e crateras de obras inacabadas espalhadas por toda a cidade. Agora esse desabamento monstruoso.

Eu frequentava no ano passado uma academia quase em frente aos prédios que desabaram, e era notável que muitas obras eram feitas nos prédios nessa região, provavelmente irregulares.

Resta agora tentam descobrir a causa.

Novas Aquisições - Generalized Estimating Equations

Generalized Estimating Equations. Andreas Ziegler

Essa série de notas do Ziegler é uma tentativa de unificar as literaturas de generalized estimating equations, generalized method of moments e pseudo-maximum likelihood, que são conectadas mas ainda sem um tratamento teórico comum.

Essa unificação é dificultada pela divergência de linguagem e notações utilizadas pelos estatísticos e econometristas, e por isso essa monografia é bastante recomendada para quem acompanha e estuda estes métodos.

Novas Aquisições - Dark Markets: Asset Pricing and Information Transmission in Over-the-Counter Markets

Dark Markets: Asset Pricing and Information Transmission in Over-the-Counter Markets. Darrell Duffie

Essa monografia do Darrel Duffie apresenta uma introdução aos métodos de precificação para ativos Over-the-Counter. Nessas situações não não é possível assumir informação completa, e assim o foco é como o processo de transmissão de informações afeta a formação de preços. O livro serve como uma introdução aos métodos usados nessa literatura (random matching, information percolation), fundamentados em métodos probabilisticos não triviais.

Novas Aquisições - Statistical Computing in C++ and R.

Statistical Computing in C++. R. Randall L. Eubank e Ana Kupresanin

Esse lançamento da Chapman e Hall é uma introdução detalhada a programação de métodos estatísticos usando R e C++. O foco é realmente em programação, e assim não existe uma cobertura muito grande de métodos estatísticos em si. Mas a parte sobre C++ é especialmente valiosa para os usuários de R.

O livro também cobre paralelização, usando os métodos disponíveis em C++, como OpenMP e mpi.

Novas Aquisições - Parallel R

Parallel R. Q. Ethan McCallum e. Stephen Weston .

Esse livro apresenta uma introdução rápida e direta (aplicada) aos principais métodos de paralelização disponíveis em R (snow, multicore, parallel) e também a interface com métodos externos como Hadoop.

Como os livros da O'Reilly, o foco é na aplicação.

Quase lá

Primeira versão do artigo de estimação de verossimilhança de modelos sv usando limite de estimadores bayesianos quase finalizada. Resolvi colocar uma seção empírica, usando a extensivamente torturada série de log-retornos de Pound/Dólar, e os resultados foram bem interessantes para esta série. Ainda falta um bom polimento no texto, mas já decidi para onde submeter.

Darren Wilkinson's research blog

Darren Wilkinson's research blog

Posts sobre o estado da arte em métodos de simulação, MCMC, Particle Filtering.

Altíssimo nível. Um dos primeiros programas de MCMC que eu usei foi um código do Darren Wilkinson para a estimação de SV.

FFFT

The faster-than-fast Fourier transform

For a large range of practically useful cases, MIT researchers find a way to increase the speed of one of the most important algorithms in the information sciences

O algoritmo de Fast Fourier Transform é um dos algoritmos fundamentais em computação e estatística, e um de seus pais foi o estatístico John Tukey, um dos pilares da estatística moderna.