Autor Tópico: Imoralidade em jogo de auto-citação e citação entre parceiros em revistas index  (Lida 835 vezes)

0 Membros e 1 Visitante estão vendo este tópico.

Offline Skeptikós

  • Nível 40
  • *
  • Mensagens: 4.125
  • Sexo: Masculino
  • Séxtos Empeirikós
EDITORIAL
ISSN 1677-5090
© 2010 Revista de Ciências Médicas e Biológicas

Ação entre amigos arranha reputação da ciência nacional


Editores de quatro revistas brasileiras da área médica organizaram uma operação entre amigos para burlar o sistema internacional que avalia revistas científicas. Foram descobertos por um programa de computador. A divulgação dessa descoberta mostra o que alguns pesquisadores são capazes de fazer para satisfazer os critérios quantitativos utilizados pelo governo para avaliar, promover e remunerar cientistas.

Praticar ciência é uma atividade arriscada. Descobrir o desconhecido é difícil e frustrante. O sucesso de um cientista pode ser avaliado com uma única pergunta: "O que você descobriu?" Se a resposta for "o próton", "a vacina contra a varíola" ou "um novo antibiótico", você esta diante de um cientista de sucesso. Mas, na maioria das vezes, a única resposta honesta é "ainda não descobri nada importante, mas estou tentando". Muitos cientistas brilhantes passam a vida sem nunca descobrir algo relevante. O sucesso não é garantido e isso não é demérito, o importante é tentar solucionar um problema relevante.

Com profissionalização da ciência foram criados mecanismos para acompanhar o progresso de cientistas do grupo "ainda não descobri nada". A solução foi a publicação e avaliação de resultados parciais, os trabalhos científicos. Neles os cientistas descrevem os progressos que obtêm ao longo da vida. É uma forma de prestar contas do trabalho em andamento. No século XIX a obra de uma vida consistia em um punhado de livros. Hoje um jovem que ainda não descobriu nada relevante possui em seu currículo dezenas de trabalhos científicos, cada um descrevendo uma micro-descoberta.

Mas como comparar o progresso de cientistas do grupo "ainda não descobri nada" (hoje são chamados de "jovens produtivos"), cada um com dezenas de trabalhos científicos publicados? A solução, por incrível que pareça, não inclui a leitura e avaliação da qualidade do que está escrito em cada um dos trabalhos. A avaliação é feita de  maneira quantitativa, com base no número de citações. Se um trabalho é citado na bibliografia de muitos trabalhos de outros cientistas, ele é considerado bom. Se o trabalho é pouco citado, ele é pior. Com base na quantidade de trabalhos publicados e as citações recebidas, é calculado um índice da qualidade do cientista (você pode verificar o índice dos seus conhecidos no Google Scholar), utilizado para decidir quem merece financiamento, quem deve ser contratado ou promovido.

Esse critério numérico provoca distorções como o fracionamento de cada pequena descoberta em um número maior de trabalhos (veja o artigo Darwin e a Prática do "Salami Science" publicado no Estado, em 27 de abril de 2013).

Com o aumento do número de trabalhos publicados e as facilidades da internet, o número de revistas científicas explodiu. Parte dos cientistas passou a enviar seus trabalhos para revistas de pouca qualidade, que são menos rigorosas, com o objetivo de aumentar seu número de publicações e consequentemente seu número de citações.

A abundância de revistas pouco rigorosas tornou necessário separar o joio do trigo. Novamente, em vez de avaliar a qualidade do que a revista publica, foi criado o chamado "fator de impacto", uma medida da quantidade média de citações que um trabalho publicado em uma dada revista recebe.

A grande maioria das revistas brasileiras tem um fator de impacto muito baixo, menor que três. Isso significa que um trabalho publicado em uma dessas revistas provavelmente vai ser citado três vezes.

É fácil imaginar que os cientistas preferem publicar em revistas de fator de impacto alto. Por sua vez, o governo incorporou o fator de impacto das revistas na fórmula utilizada para avaliar cientistas e instituições.
 
Esse mecanismo criou um incentivo para os editores tentarem aumentar o fator de impacto de suas revistas. Foi com esse propósito que os editores de quatro revistas científicas médicas brasileiras formaram sua pequena quadrilha. Os editores da Revista da Associação Médica Brasileira, da Clinics, do Jornal Brasileiro de Pneumologia e da Acta Ortopédica Brasileira, todos ligados aos melhores hospitais e universidades brasileiras, tiveram uma ideia. Cada uma das quatro revistas publicaria uma série de artigos nos quais seriam citados um grande número de artigos publicados nas outras três revistas. Os artigos foram encomendados e publicados.

Os editores imaginaram que, com o aumento de citações recebidas pelas revistas, o índice de impacto seria aumentado no sistema de classificação da Thomson Reuters, que apura e publica o índice de impacto de todas as revistas científicas. Ao cruzarem os dados, os computadores da Thomson Reuters descobriram a anomalia e desmascararam a artimanha do grupo. Um dos editores confessou a trapaça.

A punição foi branda. Não existe lei que proíbe esse tipo de fraude intelectual ou a ação entre editores de revistas com o objetivo de aumentar artificialmente o índice de impacto. As revistas foram retiradas do índice da Thomas Reuters, o governo deixou de contabilizar nas suas equações as publicações feitas nessas revistas, e um dos editores foi demitido.

É por essa e outras razões que, enquanto a quantidade de ciência feita no Brasil vem aumentando, sua qualidade vem diminuindo. Durante a punição essas revistas deveriam estampar um aviso nos moldes dos impressos em maços de
cigarro: "Cuidado: esta revista pode fazer mal à sua saúde ética e moral".

Fonte:

Fernando Reinach
Professor Titular - Universidade de São Paul
Membro da Academia Brasileira de Ciências
Colunista do Jornal “O Estado de São Paulo”
"Che non men che saper dubbiar m'aggrada."
"E, não menos que saber, duvidar me agrada."

Dante, Inferno, XI, 93; cit. p/ Montaigne, Os ensaios, Uma seleção, I, XXV, p. 93; org. de M. A. Screech, trad. de Rosa Freire D'aguiar

Offline Skeptikós

  • Nível 40
  • *
  • Mensagens: 4.125
  • Sexo: Masculino
  • Séxtos Empeirikós


Brazilian citation scheme outed

Thomson Reuters suspends journals from its rankings for ‘citation stacking’.

Richard Van Noorden

27 August 2013



Mauricio Rocha-e-Silva thought that he had spotted an easy way to raise the profiles of Brazilian journals. From 2009, he and several other editors published articles containing hundreds of references to papers in each others’ journals — in order, he says, to elevate the journals’ impact factors.

Because each article avoided citing papers published by its own journal, the agreement flew under the radar of analyses that spot extremes in self-citation — until 19 June, when the pattern was discovered. Thomson Reuters, the firm that calculates and publishes the impact factor, revealed that it had designed a program to spot concentrated bursts of citations from one journal to another, a practice that it has dubbed ‘citation stacking’. Four Brazilian journals were among 14 to have their impact factors suspended for a year for such stacking. And in July, Rocha-e-Silva was fired from his position as editor of one of them, the journal Clinics, based in São Paulo.

“We’ve been caught wrong-footed,” says Rocha-e-Silva, a retired physiologist. The editors of the other three Brazilian journals collared by Thomson Reuters remain in place. In addition to these four journals, “there are a few others which played a part in this game, and they escaped”, he says.

Editors have tried before to artificially boost impact factors, usually by encouraging the citation of a journal’s own papers. Each year, Thomson Reuters detects and cracks down on excessive self-citation. This year alone, it red-flagged 23 more journals for the wearily familiar practice. But the revelation that journals have gained excessively from citations elsewhere suggests that some editors may be searching for less detectable ways to boost their journals’ profiles. In some cases, authors may be responsible for stacking, perhaps trying to boost citations of their own papers.


The journals flagged by the new algorithm extend beyond Brazil — but only in that case has an explanation for the results emerged. Rocha-e-Silva says the agreement grew out of frustration with his country’s fixation on impact factor. In Brazil, an agency in the education ministry, called CAPES, evaluates graduate programmes in part by the impact factors of the journals in which students publish research. As emerging Brazilian journals are in the lowest ranks, few graduates want to publish in them. This vicious cycle, in his view, prevents local journals improving.

Abel Packer, who coordinates Brazil’s system of free government-sponsored journals, known as SciELO, says that the citation-stacking venture was “unfortunate and unacceptable”. But he adds that many editors have long been similarly critical of the CAPES policy because it encourages local researchers to publish in high-impact journals, increasing the temptation for editors to artificially boost their own impact factors, he says.

Brazilian editors have campaigned for years for CAPES to change its system. “But they have always adamantly refused to do this,” Rocha-e-Silva says. Bruno Caramelli, editor of Revista da Associação Médica Brasileira, which was also hauled up by Thomson Reuters, says that by 2009, editors of eight Brazilian journals decided to take measures into their own hands (see ‘Citation stacking’).

But other editors involved in the agreement dispute Rocha-e-Silva’s assertion that they aimed solely to increase impact factors; Caramelli and Carlos Roberto Ribeiro de Carvalho, editor of the Jornal Brasileiro de Pneumologia, argue that the idea was also to show off articles in Brazilian journals, attracting better contributions and raising quality all round.

The punishment for the four journals caught out has been severe: CAPES says that any articles they published in 2010–12 will not count in its October 2013 evaluation of graduate programmes. The journals have also been suspended from CAPES’ evaluation system until their impact factors are restored.

Citation stacking first came to light in 2012, after Thomson Reuters was tipped-off about a case in which (now-retracted) articles in two journals contained hundreds of references to a third, boosting its impact factor (see go.nature.com/rehuit). In response, the company pioneered its new algorithm, designed to spot the practice.

What happened in the cases of the other ten journals censured for citation stacking is unclear. One involves a close pattern of citations between three Italian journals (International Journal of Immunopathology and Pharmacology, Journal of Biological Regulators and Homeostatic Agents and European Journal of Inflammation) all with the same editor-in-chief, Pio Conti, an immunologist at the University of Chieti-Pescara. Many of the authors on the relevant papers are also at that university. Conti told Nature that he regretted that the anomalous citations had occurred, but that “we have no quick explanation of the patterns”.

In another case, review articles with hundreds of references to Science China Life Sciences were meant not to lift its impact factor, but to clarify confusions after a rebranding and to “promote the newly reformed journal to potential new readers”, says its editor-in-chief Dacheng Wang, who is based at the Chinese Academy of Sciences’ Institute of Biophysics in Beijing.

In a further case, the Journal of Instrumentation saw hundreds of cross-citations from papers authored in SPIE Proceedings by Ryszard Romaniuk, an electronic engineer who was part of the collaboration that put together the CMS experiment in the Large Hadron Collider at CERN, Europe’s high-energy physics laboratory near Geneva in Switzerland. Romaniuk, who repeatedly cited CMS engineering papers, has not replied to Nature, nor to the Journal of Instrumentation’s publishers — the Institute of Physics and the International School of Advanced Studies (SISSA).

Marie McVeigh, who leads Journal Citation Reports, Thomson Reuters’ annual report of journal citation patterns and impact factors, says that the firm does not assume intent in the patterns it sees. “We just analyse data, and see where the impact factor, due to this unusual concentration of citations, is not a reflection of the journal’s citation in the broader literature. Until we can algorithmically measure motive, we are just going to measure citations.” She says that because citation stacking is only a problem if it excessively distorts journal rank, only four Brazilian journals, and not all of those that Rocha-e-Silva says participated in the arrangement, have had their impact factors suspended.

Thomson Reuters has received some appeals against its rulings, with some editors arguing that to suspend impact factors for incoming citations of which they were unaware was unfair; or that outgoing citations did not affect their own journal. The firm will deal with these by September, McVeigh says. Rocha-e-Silva appealed against the suspension of Clinics, but his request was turned down.

He feels that journal impact-factor scores are a bad way to judge scientists’ work and that the real problem is CAPES’ policy. But he also accepts responsibility for what he did. “We’re not going to play that again wherever I become editor, if I ever do. I’ve burned my fingers once,” he says.

The journals currently suspended for either self-citation or citation stacking represent only 0.6% of the 10,853 in Thomson Reuters’ respected directory. But impact-factor anomalies will continue, McVeigh says. Aside from some journals with excessive self-citations, “we’ve already identified some journals citation stacking for next year”, she says.

Nature 500, 510–511 (29 August 2013) doi:10.1038/500510a

Fonte:
"Che non men che saper dubbiar m'aggrada."
"E, não menos que saber, duvidar me agrada."

Dante, Inferno, XI, 93; cit. p/ Montaigne, Os ensaios, Uma seleção, I, XXV, p. 93; org. de M. A. Screech, trad. de Rosa Freire D'aguiar

Offline Skeptikós

  • Nível 40
  • *
  • Mensagens: 4.125
  • Sexo: Masculino
  • Séxtos Empeirikós
terça-feira, 22 de junho de 2010

Fator de impacto "de primeiro mundo" em revista Tupiniquim. Brincando com coisa séria.


Ciência Brasil - Blog do Marcelo Hermes - direto de Pindorama!



Oi pessoal
Recebi o email abaixo no sábado de um leitor que se identifica como "Homem Tocha" (heroi do Quarteto Fantástico). Publiquei só agora pois tinha que saber se a denuncia era realmente verdadeira. E o pior que é...
.
Ontem estava circulando na internet um "corajoso" debate dos editores da revista (vejam aqui, com atenção especial no que marquei de amarelo) sobre o caso mais patético de fraude editorial no mundo da ciência. Uma frande nos índices de impacto. Vai ser motivo de muita piada e/ou indignação entre cientistas sérios.


O pior dessa estória é que a revista em questão, a RBFAR (clique na imagem ao lado), recebe verbas públicas, do CNPq, para existir. Ou seja, é o meu dinheiro, dos impostos, usado no patrocínio de uma picaretagem editorial ! Onde vamos parar ?

Vamos ao email incendiário do Homem Tocha ?

Prezado blogueiro,

Recentemente, e muito recentemente, uma revista nacional de pesquisa na área de farmácia obteve um fator de impacto (FI) recente, medido pelo JCR (Journal of Citations Reports), de 3.46 (apenas para ilustração, a conceituada revista internacional The Journal of Natural Products, tem o fator de impacto de 3.15 após décadas de existência e 16.000 citações acumuladas), sendo este o maior FI entre as publicações nacionais até o momento.

Trata-se de uma fraude colossal e manipulação de dados escabrosa, pois a editoria da revista, nos últimos anos, pautou por publicar, com a conveniência dos autores, que aceitavam a interferência da editoria, para a introdução, no rol de referencias bibliográficas dos artigos submetidos durante a referagem, de citações da própria revista, num processo conhecido como "self-citations". (**)
.
O resultado foi que a Revista Brasileira de Farmacognosia, inchou seus indicadores, e dos colaboradores da revista, que, é claro, num processo flagrante como este, terminou por deixar para trás inúmeras pérolas da versão trash tupiniquim do "publish or perrish", como este abaixo:

http://www.scielo.br/pdf/rbfar/v19n4/22.pdf

Neste artigo, os autores, que fazem parte de um programa de PG na área, o mais beneficiado com o inchaço do FI e número de citações de seus pesquisadores, anunciam drogas -grudes naturais- com atividade moluscicida contra o caramujo Biomphalaria glabrata causador da esquistossomose, testando no microcrustáceo Artemia salina os grudes das plantas. Fica assim comprovado "mutatis mutandis", que o microscrustáceo é agora o vetor da esquistossomose ! O revoltante é que tem revisão pelos pares (peer-review) mas só pares, sem ímpares, na revista...

Os artigos fenomenológicos, como este, "maravilhosos e contudentes" da revista podem e devem ser consultados, baixados (é de graça), lidos (se suportarem o inglês macarrônico!) e comentados pelos leitores do mundo todo.

Alguns estão ávidos em encontrar revistas bem conceituadas para publicar seus artigos, seguindo a lógica cientométrica do publique em revista de alto impacto e aumente seu índice H e ganhe mais recursos.
Saudações,
Homem Tocha

**: Nota do MHL
Se olharmos os papers da revista, vemos que cada um tem de 2 a 4 citações de trabalhos publicados na própria RBFar. Esse expediente garante, artificialmente, um fator de impacto de pelo menos 3. Que maravilha isso !!

Em tempo:
Não deixem de ver a denuncia (clique aqui) que a Revista Brasileira de Biologia está fazendo a mesma malandragem. É a RBFar fazendo escola !
.
E vejam aqui a resposta do Prof Cid, atual editor da RBFar, ao Barbosa. O texto do Cid foi postado ontem em uma lista de emails de produtos naturais.

Fonte: Postado por Ciência Brasil às 07:04
"Che non men che saper dubbiar m'aggrada."
"E, não menos que saber, duvidar me agrada."

Dante, Inferno, XI, 93; cit. p/ Montaigne, Os ensaios, Uma seleção, I, XXV, p. 93; org. de M. A. Screech, trad. de Rosa Freire D'aguiar

Offline Skeptikós

  • Nível 40
  • *
  • Mensagens: 4.125
  • Sexo: Masculino
  • Séxtos Empeirikós
quarta-feira, 23 de junho de 2010

Revista Brasileira de Biologia quer brincar de fraude também !


Ciencia Brasil - Blog do Marcelo Hermes - direto de Pindorama!



Oi pessoal e MHL,
.
Aqui é Wolverine, escrevendo direto das gélidas montanhas da Noroega, onde estou em auto-exílio, longe das mandragens e "bricadeirinhas" dos humanos não-mutantes.

Recebo de um amigo meu, revisor (referee) da Brazilian Journal of Biology (BJB) a seguinte mensagem que normalmente a editora do BJB envia aos revisores:

Citar
Prezado Dr. "xxxx"

A Comissão Editorial do Brazilian Journal of Biology ... vem indicar o nome de V.Sa. para dar parecer no manuscrito que se encontra em anexo “xxxxx".
.
É fundamental que ao analisar o trabalho, V.Sa. possa verificar e recomendar, se for o caso, que o trabalho apresentado utilize dentro do possível citações de trabalhos publicados no Brazilian Journal of Biology, para aumentar o índice de impacto da revista. Este é um procedimento adotado por todas as revistas internacionais e esta foi uma das formas recomendadas para aumentar o impacto do BJB. Sua colaboração é essencial.
.
Atenciosamente
.
Profa. Dra. Takako Matsumura Tundisi
Editor chefe
Brazilian Journal of Biology

Agora devo destacar também o comentário, em no post anterior (de ontem, clique aqui), do Prof. Ricardo Pinto da Rocha, pesquisador em Ecologia .

Citar
MHL, Já publiquei artigo em uma das mais conceituada revistas de conservação, Biological Conservation (Elsevier), com alto IF e o editor sugeriu que procurássemos artigos da própria revista nos dois últimos anos. Um exemplo para ilustrar que não é só aqui que as picaretagens acontecem.

E ainda lembrar que uma vez um editor de uma revista da Elsevier me sugeriu a troca (completamente sem sentido na minha opinião) de uma referencia de artigo publicado na Editora Blackwell por outro da Elsevier.

Concluindo:
1) O Fator de Impacto de uma revista é tremendamente viciado (bias);

2) Este vício é mundial, já que outras revistas chegam a sugerir o mesmo da BJB ainda na instrução para autores. Diga-se de passagem, que a BJB é bem comedida em sua mensagem “dentro do possível...”;

3) Como a pressão por publicar e de ter revistas com alto fator de impacto aumentou, o Brasil já está fazendo escola neste sentido (ver a Revista Brasileira de Farmacognosia);

4) Só porque os "gringos" fazem, isto não torna tal procedimento correto;

5) São necessárias outras medidas pra saber se um artigo (ou revista) valem ou não à pena;

6) Pergunta cienciométrica: será que artigos da Nature citam outros artigos da Nature na mesma proporção que artigos da Science citam outros artigos da Science?

Abraços,
Wolverine

Fonte: Postado por Ciência Brasil às 10:38
"Che non men che saper dubbiar m'aggrada."
"E, não menos que saber, duvidar me agrada."

Dante, Inferno, XI, 93; cit. p/ Montaigne, Os ensaios, Uma seleção, I, XXV, p. 93; org. de M. A. Screech, trad. de Rosa Freire D'aguiar

 

Do NOT follow this link or you will be banned from the site!