Mas e com relação aos 2% que acertaram muito bem, como mencionado no video do nerdologia? Se o acerto deles é melhor, significa que há um método que pode ser utilizado para a previsão de eventos nos domínios "caóticos", nao?
Há uma consistência significante nesse acerto "muito bom"? Eles produziram modelos que de alguma forma são completos o suficiente a ponto de prever a caoticidade real?
Segundo Tetlock e Gardner, que usaram o índice de Brier como referência, os "superprevisores" teriam demonstrado habilidade de prever o futuro com grau de precisão 60% maior do que a média. Excertos do livros que respondem aos questionamentos dos quotes acima...
A correlação entre o desempenho individual de um ano para o seguinte é de cerca de 0,65, modestamente mais elevada do que entre as alturas de pais e filhos. De modo que ainda deveríamos esperar considerável regressão à média. E observamos exatamente isso. Todo ano, aproximadamente 30% dos superprevisores individuais deixa a faixa dos 2% melhores no ano seguinte. Mas isso também implica um bocado de consistência ao longo do tempo: 70% dos superprevisores continuam superprevisores. As chances de tal solidez surgir entre os palpites de cara e coroa (em que a correlação ano a ano é zero) é de menos de 1 em 100 milhões, mas a chance de tal consistência surgir entre previsores (em que a correlação ano a ano é 0,65) é muito mais alta, cerca de 1 em 3.
A capacidade aritmética superior ajuda os superprevisores, mas não porque lhes permite recorrer a modelos matemáticos arcanos que pressagiam o futuro. A verdade é mais simples, mais sutil e muito mais interessante.
A surpresa é que com frequência estimativas de probabilidade notavelmente boas surgem de uma série notavelmente grosseira de previsões e estimativas no escuro.
Nassim Taleb certa vez me fez uma pergunta difícil: como é possível aferir o acerto dos previsores em resultados que só ocorrem uma vez de tantas em tantas décadas? A resposta curta é: não dá. A longa, que há maneiras subreptícias de nos aproximarmos do problema que ao menos superam a tábuas de Ouija. Uma abordagem se apoia (...) Outra abordagem é (...). Nenhuma dessas abordagens resolvem o problema de Taleb, mas cada uma delas é melhor do que nada - e melhor do que abraçar uma forma extrema de principio de precaução que nos obriga a rejeitar qualquer mudança para a qual qualquer um pode gerar uma projeção superpessimista "plausível".
Sobre se existe algum método usado por superprevisores, essa pergunta tem uma tentativa de resposta em Tetlock e Gardner no apêndice de seu livro, que é chamado "Os dez mandamentos dos aspirantes a superprevisor". Ainda assim, resta saber se esse "método" dos superprevisores seria melhor descrito como tomada de decisão probabilística baseada em modelo ou simplesmente tomada de decisão baseada em heurística. Como dito pelo Átila, os superprevisores do estudo recente de Tetlock não tinham domínio dos assuntos que previram e, no seu estudo em 2005, a reputação acadêmica teve efeito nulo ou negativo na qualidade das previsões econômicas e políticas. Quando não há presença de base epistemológica de teorias científicas, seria razoável supor que os superprevisores teriam usado fenomenologia (catalogação de regularidades estatísticas empíricas usando o mínimo de teoria) e heurísticas.
Um outro assunto pode ser mencionado aqui. Como visto em artigo da Wikipédia em inglês, o índice de Brier, que foi usado para testar a competência dos superprevisores, seria inadequado para testes envolvendo eventos muito raros. Existe ainda outro problema que é mencionado pelos adeptos da Teoria dos Valores Extremos e físicos estatísticos. Pelo menos desde a década de 1960, o cientista matemático Benoit Mandelbrot, professor de Nassim Taleb, demonstrou formalmente que, para variáveis sociais (do domínio de estatísticas de "caudas gordas"), eventos extremos que acontecem muito raramente são capazes de anular completamente um bom acúmulo de acertos ordinários bem-sucedidos, de modo que um longo período de calmaria de previsões bem-sucedidas por ser altamente ilusório (ausência de evidência não é evidência de ausência). Esse fato implica, por exemplo, que o mercado financeiro é muito mais arriscado do que pressupõe a visão convencional da teoria de finanças. Para uma vertente de estatísticos, que inclui Mandelbrot e Taleb, mesmo os sofisticados modelos da física estatística não forneceriam modelos quantitativos precisos capazes de remediar o problema das "caudas gordas". No máximo, seriam capazes de produzir uma abordagem especulativa sobre o que poderia acontecer, tornando certos "cisnes negros" concebíveis.
