Overblog Suivre ce blog
Editer l'article Administration Créer mon blog
8 octobre 2013 2 08 /10 /octobre /2013 18:49

Une revue scientifique en ligne sur deux a accepté de publier une étude scientifique totalement fausse, montée de toutes pièces... pour vérifier la fiabilité de ces revues open access !

open-acces-research.jpgL'American Association for the Advancement of Science (AAAS) est est une fédération d'organisations scientifiques qui réunit en son sein quelque 260 organismes scientifiques à travers le monde. Tous les domaines scientifiques y sont regroupés, de la biologie aux mathématiques en passant par la chimie, la recherche ou la médecine mais aussi les sciences humaines comme l'anthropologie ou l'archéologie. Fondée en 1848, l'AAAS édite aussi, depuis 1880, la prestigieuse revue Science, créée à l'initiative de Thomas Edison. Véritable référence internationale, cette revue a voulu éprouver la fiabilité des nombreuses revues scientifiques online qui ont le vent en poupe depuis une dizaine d'années. En effet, depuis deux lustres, les revues scientifiques en open access se sont mulipliées sans que l'on ne sache forcément beaucoup à leur propos, notamment en matière de contributeurs, d'éditeurs ou de fondements scientifiques. Même les montages financiers qui ont permis la création de certaines de ces revues sont troubles, semble-t-il. La majorité de ces revues en ligne génèrent de l'argent par le droit que paie l'auteur d'une étude pour la mettre en ligne, l'author publication fee. Mais qui peut publier ? Qui vérifie les contenus publiés ?

Ainsi donc, John Bohannon, un biologiste de l'Université d'Harvard qui est également rédacteur régulier de Science a-t-il tenté une expérience afin de vérifier la crédibilité des revues scientifiques open access. Au début de l'année 2013, il a imaginé une étude décrivant les propriétés anticancéreuses d'un médicament extrait du lichen. Sous le nom de Ocorrafoo Cobange, un biologiste de l'Institut de Médecine Wassee, à Asmara en Erythrée, il a rédigé un article relatif à l'étude menée par ses soins sur ce fameux anticancéreux extrait du lichen. Bien entendu, cet article, tout comme l'étude qu'il décrivait, était totalement inventé : "Toute personne avec une connaissance de la chimie du niveau du lycée aurait pu voir le canular dès l'abstract. Les expériences décrites sont si désespérément fausses que les résultats n'ont pas de sens"(1) écrit John Bohannon dans Science. Scientifiquement, l'article aurait du purement et simplement être rejeté ! Pire encore, Bohannon laisse deux indices énormes de la fausseté de son papier qui aurait du être relevés par les éditeurs : le biologisite Ocarrafoo Cobange n'existe pas, l'Institut de Médecine Wassee non plus ! Et pourtant, entre janvier et août 2013, il a adressé cet article à 304 revues scientifiques en libre accès. Le constat est édifiant : 157 d'entre elles ont accepté l'article ! Soit un peu plus d'une sur deux... L'un des exemples les plus frappants est celui d'une revue pharmaceutique qui appartient à un groupe d'édition médicale néerlandais très connu (ndlr il s'agit d'un des principaux fournisseurs d'information médicale à travers le monde !) et dont les contenus sont censés être "peer-reviewded", c'est à dire relu et validé par des pairs. Cette revue ''de pointe'' a simplement renvoyé un courrier officiel d'acceptation de l'article en demandant juste à l'auteur d'adapter quelques références utilisées et de racourcir son abstract. "L'acceptation était la norme et non pas l'exception"(1) écrit encore Bohannon qui ajoute que son article, et donc son étude fantaisiste, a été accepté par des "titans" de l'édition médicale en ligne mais aussi par es revues en lignes rattachées à des institutions académiques prestigieuses comme l'université de Kobé, par exemple. "Il a même été accepté par des revues pour lesquelles le sujet de l'article était totalement inapproprié"(1) comme une revue de procréation médicalement assistée, notamment !

Moins d'une revue sur trois rejette l'article fantaisiste !

L'idée de cette enquête de fiabilité s'est imposée dès l'été 2012 explique Bohannon dans l'article qu'il publie dans Science à ce propos. Suite à l'e-mail d'un biologiste de l'Université de Pennsylvanie qui rapportait l'histoire d'une collègue de Port Harcout, au Nigeria, qui avait eu du mal à faire publier son étude sur une revue en open access car elle ne disposait pas d'une carte de crédit pour effectuer le paiement de l'Author Publication Fee. La question de départ était la suivante : la publication d'études et/ou d'articles sur ces revues en ligne est-elle, avant tout, conditionnée à une carte de crédit ? Somme toute, quelle crédibilité peut-on accorder aux articles qui sont publiés en open access et, par conséquent, à ces revues qui les publient ? Pour parvenir à une conclusion, l'enjeu était donc d'écrire un document scientifique crédible mais truffé d'erreurs grossières qui n'auraient pas pu échapper à une relecture par des pairs. Une simple relecture de ce document aurait donc du empêcher sa publication dans une revue scientifique digne de ce nom... Le document a été rédigé durant l'automne 2012 et, entre janvier et août 2013, Bohannon l'a présenté à 304 revues scientifiques en ligne. Certaines ont rejeté l'article en relevant ses manquements, d'autres l'ont refusé sans justification. Mais 157 l'ont accepté en demandant parfois quelques modifications ça et là. Le résultat de l'enquête de fiabilité des revues scientifiques open access en ligne menée par John Bohannon est édifiant :
  - 157 revues (51,64%) ont finalement accepté l'article fantaisiste;
  - 98 revues (32,23%) ont rejeté l'article;
  - 20 revues (6,57%) ont envoyé un courriel pour signaler que l'article était toujours en cours de relecture;
  - 29 revues (9,53%) semblent totalement laissées à l'abandon par leur éditeur.

Moins d'un tiers des revues qui ont reçu l'article ont donc correctement fait leur travail en refusant le document !


Parmi les revues qui ont accepté l'article, certaines ont demandé des modifications mais "les commentaires portaient surtout sur la mise en page, le format de l'article où la langue dans laquelle l'article était écrit"(1) explique encore Bohannon ce qui signifie clairement, puisque le contenu ne posait pas de problème pour l'édition, que le document n'a pas été relu par des pairs comme il aurait du l'être...

Lire l'article complet et détaillé de John Bohannon sur le site Science : "Who's afraid of Peer Review"

------

(1) Who's afraid of peer review ?, par John Bohannon, on sciencemag.org, 4 octobre 2013

Partager cet article

Repost 0
Published by Olivier Moch - dans Le monde est fou !
commenter cet article

commentaires