Autor Tópico: Argumento de apelo à autoridade: quem decide quem é o especialista?  (Lida 1403 vezes)

0 Membros e 1 Visitante estão vendo este tópico.

Offline Buckaroo Banzai

  • Nível Máximo
  • *
  • Mensagens: 36.242
  • Sexo: Masculino
Re:Argumento de apelo à autoridade: quem decide quem é o especialista?
« Resposta #50 Online: 01 de Setembro de 2018, 23:08:01 »
Há uma consistência significante nesse acerto "muito bom"? Eles produziram modelos que de alguma forma são completos o suficiente a ponto de prever a caoticidade real?

Offline -Huxley-

  • Nível Máximo
  • *
  • Mensagens: 11.897
Re:Argumento de apelo à autoridade: quem decide quem é o especialista?
« Resposta #51 Online: 04 de Setembro de 2018, 00:37:58 »

Mas e com relação aos 2% que acertaram muito bem, como mencionado no video do nerdologia? Se o acerto deles é melhor, significa que há um método que pode ser utilizado para a previsão de eventos nos domínios "caóticos", nao?


Há uma consistência significante nesse acerto "muito bom"? Eles produziram modelos que de alguma forma são completos o suficiente a ponto de prever a caoticidade real?


Segundo Tetlock e Gardner, que usaram o índice de Brier como referência, os "superprevisores" teriam demonstrado habilidade de prever o futuro com grau de precisão 60% maior do que a média. Excertos do livros que respondem aos questionamentos dos quotes acima...
Citação de: Philip Tetlock e Dan Gardner em Superprevisões, 2016, Editora Objetiva, p. 105, 106
A correlação entre o desempenho individual de um ano para o seguinte é de cerca de 0,65, modestamente mais elevada do que entre as alturas de pais e filhos. De modo que ainda deveríamos esperar considerável regressão à média. E observamos exatamente isso. Todo ano, aproximadamente 30% dos superprevisores individuais deixa a faixa dos 2% melhores no ano seguinte. Mas isso também implica um bocado de consistência ao longo do tempo: 70% dos superprevisores continuam superprevisores. As chances de tal solidez surgir entre os palpites de cara e coroa (em que a correlação ano a ano é zero) é de menos de 1 em 100 milhões, mas a chance de tal consistência surgir entre previsores (em que a correlação ano a ano é 0,65) é muito mais alta, cerca de 1 em 3.

Citação de: Philip Tetlock e Dan Gardner em Superprevisões, 2016, Editora Objetiva, p. 129, 130
A capacidade aritmética superior ajuda os superprevisores, mas não porque lhes permite recorrer a modelos matemáticos arcanos que pressagiam o futuro. A verdade é mais simples, mais sutil e muito mais interessante.

Citação de: Philip Tetlock e Dan Gardner em Superprevisões, 2016, Editora Objetiva, p. 269
A surpresa é que com frequência estimativas de probabilidade notavelmente boas surgem de uma série notavelmente grosseira de previsões e estimativas no escuro.

Citação de: Philip Tetlock e Dan Gardner em Superprevisões, 2016, Editora Objetiva, p. 304
Nassim Taleb certa vez me  fez uma pergunta difícil: como é possível aferir o acerto dos previsores em resultados que só ocorrem uma vez de tantas em tantas décadas? A resposta curta é: não dá. A longa, que há maneiras subreptícias de nos aproximarmos do problema que ao menos superam a tábuas de Ouija. Uma abordagem se apoia (...) Outra abordagem é (...). Nenhuma dessas abordagens resolvem o problema de Taleb, mas cada uma delas é melhor do que nada - e melhor do que abraçar uma forma extrema de principio de precaução que nos obriga a rejeitar qualquer mudança para a qual qualquer um pode gerar uma projeção superpessimista "plausível".

Sobre se existe algum método usado por superprevisores, essa pergunta tem uma tentativa de resposta em Tetlock e Gardner no apêndice de seu livro, que é chamado "Os dez mandamentos dos aspirantes a superprevisor". Ainda assim, resta saber se esse "método" dos superprevisores seria melhor descrito como tomada de decisão probabilística baseada em modelo ou simplesmente tomada de decisão baseada em heurística. Como dito pelo Átila, os superprevisores do estudo recente de Tetlock não tinham domínio dos assuntos que previram e, no seu estudo em 2005, a reputação acadêmica teve efeito nulo ou negativo na qualidade das previsões econômicas e políticas. Quando não há presença de base epistemológica de teorias científicas, seria razoável supor que os superprevisores teriam usado fenomenologia (catalogação de regularidades estatísticas empíricas usando o mínimo de teoria) e heurísticas.

Um outro assunto pode ser mencionado aqui. Como visto em artigo da Wikipédia em inglês, o índice de Brier, que foi usado para testar a competência dos superprevisores, seria inadequado para testes envolvendo eventos muito raros. Existe ainda outro problema que é mencionado pelos adeptos da Teoria dos Valores Extremos e físicos estatísticos. Pelo menos desde a década de 1960, o cientista matemático Benoit Mandelbrot, professor de Nassim Taleb, demonstrou formalmente que, para variáveis sociais (do domínio de estatísticas de "caudas gordas"), eventos extremos que acontecem muito raramente são capazes de anular completamente um bom acúmulo de acertos ordinários bem-sucedidos, de modo que um longo período de calmaria de previsões bem-sucedidas por ser altamente ilusório (ausência de evidência não é evidência de ausência). Esse fato implica, por exemplo, que o mercado financeiro é muito mais arriscado do que pressupõe a visão convencional da teoria de finanças. Para uma vertente de estatísticos, que inclui Mandelbrot e Taleb, mesmo os sofisticados modelos da física estatística não forneceriam modelos quantitativos precisos capazes de remediar o problema das "caudas gordas". No máximo, seriam capazes de produzir uma abordagem especulativa sobre o que poderia acontecer, tornando certos "cisnes negros" concebíveis.
« Última modificação: 05 de Setembro de 2018, 16:27:27 por -Huxley- »

Offline Buckaroo Banzai

  • Nível Máximo
  • *
  • Mensagens: 36.242
  • Sexo: Masculino
Re:Argumento de apelo à autoridade: quem decide quem é o especialista?
« Resposta #52 Online: 07 de Setembro de 2018, 18:19:12 »
<a href="https://www.youtube.com/v/MTJQPyTVtNA" target="_blank" class="new_win">https://www.youtube.com/v/MTJQPyTVtNA</a>

<a href="https://www.youtube.com/v/LdnZ1l5TxJk" target="_blank" class="new_win">https://www.youtube.com/v/LdnZ1l5TxJk</a>

<a href="https://www.youtube.com/v/LIlBsfTx3Kc" target="_blank" class="new_win">https://www.youtube.com/v/LIlBsfTx3Kc</a>

<a href="https://www.youtube.com/v/OjD0e1d6GgQ" target="_blank" class="new_win">https://www.youtube.com/v/OjD0e1d6GgQ</a>

Offline -Huxley-

  • Nível Máximo
  • *
  • Mensagens: 11.897
Re:Argumento de apelo à autoridade: quem decide quem é o especialista?
« Resposta #53 Online: 22 de Setembro de 2018, 23:49:32 »
Recentemente, a partir de 14 de setembro de 2018, a Editora Objetiva publicou a tradução da obra Skin in the Game do Nassim Taleb no Brasil sob o título de Arriscando a Própria Pele. O capítulo 8 chamado Uma especialista chamada Lindy apresenta uma resposta do autor a pergunta do título do tópico: Quem decide quem é o especialista? A resposta do autor é... A sobrevivência fará isso, pois o tempo depende de arriscar a própria pele: https://medium.com/incerto/an-expert-called-lindy-fdb30f146eaf

Citar
If you hear advice from a grandmother or elders, odds are that it works at ninety percent. On the other hand, in part because of scientism and academic prostitution, in part because the world is hard, if you read anything by psychologists and behavioral scientists, odds are it works at less than ten percent, unless it is also what has been covered by the grandmother and the classics, in which case why would you need a nerd-psychologist? This may seem aggressive, but it flows directly from the Lindy Effect, partly from my own assessment of the statistical significance of the results, which is subjected to a Fooled by Randomness effect (Note: see my Meta-distribution of p-values). Consider that a recent effort to replicate the hundred psychology papers in “prestigious” journals of 2008 found that, out of a hundred, only thirty nine replicated. Of these thirty nine, I believe than less than ten are actually robust and transfer outside the narrowness of the experiment. Similar defects have been found in medicine, neuroscience; on those later.

(...)

Karl Popper’s idea of falsification is entirely Lindy-compatible; it actually requires the operation of the Lindy Effect, although Popper didn’t have any apparent knowledge of the dynamics, nor did he look at the risk dimension of things. The reason science works, in spite of buls**t vending people who talk about “scientific method”, isn’t because there is a proper scientific method derived by some nerds in isolation, or some “standard” that passes a test similar to an eye exam; rather because scientific ideas are Lindy-prone, that is not exposed to artificial propping up and subjected to their own fragility. Ideas need to have skin in the game. You know that the idea will fail if it is not useful, and can be therefore vulnerable to the falsification of time (and not that of naive falsificationism, that is by some government printed black-and-white guideline). The more an idea has been around without being falsified, the longer its future life expectancy. For if you read Feyerabend’s account of the history of scientific discoveries, you can clearly see that anything goes in the process –but not with the test of time.

(...)

In fact, by the Lindy Effect, there is a third category: robustness to time, that is doing under risk-taking conditions that is checked by survival. Things work if those who have been doing so 1) took some type of risk, and 2) managed to cross generations.

(...)

Note that I am here modifying Popper’s idea; we can replace “true” (rather, not false) with “useful”, even “not harmful”, even “protective to its users”. So I will diverge from Popper in the following. For things to survive, they necessarily need to fare well in the risk dimension, that is be good at not dying, surviving, that type of thing.

(...)

While our knowledge of physics has not been available to the ancients, human nature was. So everything that hold in social science and psychology has to be Lindy-proof, that is, have an antecedent in the classics; otherwise it will not replicate or not generalize beyond the experiment. By classics we can define the Latin (& late Hellenistic) moral literature (moral sciences meant something else than they do today): Cicero, Seneca, M. Aurelius, Epictetus, Lucian, or the poets: Juvenal, Horace or the later French so-called “moralists” (La Rochefoucault, Vaugenargues, La Bruyere, Chamfort). Bossuet is a class on his own. One can use Montaigne and Erasmus as a portal to the ancients: Montaigne was the popularizer of his day; Erasmus was the thorough compiler.

Muito interessante saber que coisas como dissonância cognitiva, aversão à perda, conselho negativo (conhecemos melhor o que é errado do que sabemos do que sabemos o que é certo), desconto hiperbólico, paradoxo da escolha (ideia associada normalmente ao psicólogo Barry Schwartz) e mesmo o Efeito Lindy já eram ideias conhecidas pelos clássicos ou filósofos antigos.
« Última modificação: 23 de Setembro de 2018, 13:08:48 por -Huxley- »

Offline -Huxley-

  • Nível Máximo
  • *
  • Mensagens: 11.897
Re:Argumento de apelo à autoridade: quem decide quem é o especialista?
« Resposta #54 Online: 24 de Setembro de 2018, 21:36:47 »
Agora, eu me sinto até mal de já ter posto resultados das pesquisas eleitorais aqui no fórum. Eis o problema do especialista nos institutos de pesquisa que tentam prever o resultado das eleições... Se a estimativa de margem de erro do Ibope e do Datafolha fossem verdadeiras, eles errariam apenas 5% das vezes... No entanto, no primeiro turno da eleição passada para os cargos que são estão sendo disputados na atual corrida eleitoral, o Ibope errou 45% das vezes e o Datafolha errou 63% das vezes:
https://br.noticias.yahoo.com/datafolha-erra-mais-que-ibope-em-pesquisas-no-1%C2%BA-turno-234630119.html

Atila Iamarino do Nerdologia explica algumas razões dos erros:
« Última modificação: 24 de Setembro de 2018, 21:42:26 por -Huxley- »

Offline Entropia

  • Nível 20
  • *
  • Mensagens: 688
  • Sexo: Masculino
Re:Argumento de apelo à autoridade: quem decide quem é o especialista?
« Resposta #55 Online: 24 de Setembro de 2018, 21:43:23 »
Ao contrário do que normalmente se critica, o maior problema de pesquisas eleitorais é mais metodológico do que do tamanho das amostras. 2000-3000 mil pessoas é visto como "pouco" e é usado como argumento, mas esse número é estatisticamente razoável. Instabilidade da opniao pública e problemas nas perguntas e demografia consultada como diz o vídeo do Átila sao realmente problemas que as pesquisas tem. Além do mais, no caso dos Estados Unidos, onde há voto facultativo, pesquisar podem causar distorcoes na populacao ativa para votar. Como eu disse em outro tópico, é possível argumentar que as estimativas de vitória de 98% da Hillary criou uma sensacao de falsa calmaria para os eleitores dela, podendo ficar desmotivadas a votar.

Offline Buckaroo Banzai

  • Nível Máximo
  • *
  • Mensagens: 36.242
  • Sexo: Masculino
Re:Argumento de apelo à autoridade: quem decide quem é o especialista?
« Resposta #56 Online: 24 de Setembro de 2018, 22:33:09 »
A pesquisa pode ser absolutamente perfeita e ainda assim "errar", já que não é literalmente a previsão dos votos, que podem ainda mudar.

Nos EUA ainda teve a particularidade de ter sido a quarta de quatro instâncias históricas de perda de eleição apesar da maioria devotos, um número bem pequeno poderia ter alterado isso. E lá ainda há o problema de políticas de supressão de votos.

Offline -Huxley-

  • Nível Máximo
  • *
  • Mensagens: 11.897
Re:Argumento de apelo à autoridade: quem decide quem é o especialista?
« Resposta #57 Online: 24 de Setembro de 2018, 23:01:24 »
O modelo deveria ser o de que devemos tentar prever o resultado das eleições, incluindo a incerteza entre agora e a data final, em vez de construir uma previsão que assuma os números das pesquisas atuais e implicitamente não assume mudanças.

Offline Buckaroo Banzai

  • Nível Máximo
  • *
  • Mensagens: 36.242
  • Sexo: Masculino
Re:Argumento de apelo à autoridade: quem decide quem é o especialista?
« Resposta #58 Online: 24 de Setembro de 2018, 23:13:11 »
Seria interessante, mas é todo um outro empreendimento, que ainda vai ter como base as pesquisas normais.

Será que com todas as pesquisas de todas as esferas acumuladas, e os resultados, alguém consegue bolar um modelo que se alimente das "primeras" e passe a prever o resultado quando este diverge das últimas? Duvido muito, mas seria interessante ver algo assim ser tentado, com essas coisas de deep learning laser quânticos com DNA vibracional e etc.

Offline Skeptikós

  • Nível 39
  • *
  • Mensagens: 4.083
  • Sexo: Masculino
  • Séxtos Empeirikós
Re:Argumento de apelo à autoridade: quem decide quem é o especialista?
« Resposta #59 Online: 24 de Setembro de 2018, 23:56:55 »
Seria interessante, mas é todo um outro empreendimento, que ainda vai ter como base as pesquisas normais.

Será que com todas as pesquisas de todas as esferas acumuladas, e os resultados, alguém consegue bolar um modelo que se alimente das "primeras" e passe a prever o resultado quando este diverge das últimas? Duvido muito, mas seria interessante ver algo assim ser tentado, com essas coisas de deep learning laser quânticos com DNA vibracional e etc.

O estatístico Nate Silver é um famoso previsor de jogos de baseball e eleições nos Estados Unidos, escreveu um livro muito interessante chamado The Signal and the Noise ("O sinal e o Ruído" na publicação em português) onde ele ensina a forma correta de interpretar dados, mantendo atenção nas coisas que interessam (o sinal) e ignorando todo o resto (o ruído). Ele é citado como um previsor de sucesso no livro de Philip E. Tetlock e Dan Gardner "Superprevisões: A arte e a ciência de antecipar o futuro", devido ao sucesso de seu método. Um detalhe, este livro foi usado como base pelo próprio Átila no episódio que ele fez sobre previsões:

"Che non men che saper dubbiar m'aggrada."
"E, não menos que saber, duvidar me agrada."

Dante, Inferno, XI, 93; cit. p/ Montaigne, Os ensaios, Uma seleção, I, XXV, p. 93; org. de M. A. Screech, trad. de Rosa Freire D'aguiar

Offline -Huxley-

  • Nível Máximo
  • *
  • Mensagens: 11.897
Re:Argumento de apelo à autoridade: quem decide quem é o especialista?
« Resposta #60 Online: 25 de Setembro de 2018, 09:16:07 »
Seria interessante, mas é todo um outro empreendimento, que ainda vai ter como base as pesquisas normais.

Será que com todas as pesquisas de todas as esferas acumuladas, e os resultados, alguém consegue bolar um modelo que se alimente das "primeras" e passe a prever o resultado quando este diverge das últimas? Duvido muito, mas seria interessante ver algo assim ser tentado, com essas coisas de deep learning laser quânticos com DNA vibracional e etc.

O estatístico Nate Silver é um famoso previsor de jogos de baseball e eleições nos Estados Unidos, escreveu um livro muito interessante chamado The Signal and the Noise ("O sinal e o Ruído" na publicação em português) onde ele ensina a forma correta de interpretar dados, mantendo atenção nas coisas que interessam (o sinal) e ignorando todo o resto (o ruído). Ele é citado como um previsor de sucesso no livro de Philip E. Tetlock e Dan Gardner "Superprevisões: A arte e a ciência de antecipar o futuro", devido ao sucesso de seu método. Um detalhe, este livro foi usado como base pelo próprio Átila no episódio que ele fez sobre previsões:


Quanto às previsões das eleições americanas, as "probabilidades" de Silver são muito estocásticas para serem chamadas de probabilidade:

https://ideiasesquecidas.com/2016/11/19/os-falsos-profetas-cientificos/

https://www.lesswrong.com/posts/Qi9pTeQB64R7EgMwk/nassim-taleb-on-election-forecasting

No último link, há proposta de métodos estocásticos que envolvem o uso do índice de Brier, já mencionado neste tópico.

Não existe probabilidade sem ergodicidade. Mas pelo menos deveríamos tentar saber onde reside nossa ignorância.
« Última modificação: 25 de Setembro de 2018, 10:08:04 por -Huxley- »

 

Do NOT follow this link or you will be banned from the site!