Est-ce Reading article Worth? Une analyse critique des pairs Review

Dr. John O'Keefe, Editor- en chef de la Journal de l'Association dentaire canadienne
est d'avis que, "Le processus d'examen par les pairs est la pierre angulaire du JADC. Il veille à ce que le matériel présenté dans la publication répond à certains critères de qualité, l'exactitude et la pertinence de la pratique. " ^{1 Dr Richard Smith, un ancien rédacteur en chef du British Medical Journal
et pendant 13 ans le chef de la direction de Medical Journal Publishing Group britannique, est catégorique examen par les pairs, "est un processus imparfait, plein de défauts facilement identifiés avec peu de preuves que cela fonctionne." 2}

ces deux diamétralement vues opposées peuvent ne pas être correcte. Le but de cet article est de déterminer ce qui est plus proche de la réalité.
Bref historique

Le développement de l'examen par les pairs est enveloppée dans l'histoire. En 1731, l'éditeur de Essais médicaux et observations
(publiées par la Royal Society of Edinburgh) a transmis soumis des articles pour examen à ceux qu'il considérait comme «le plus versé dans ces questions." ^{3 Alors que le Royal College of Edinburgh aurait pu être le premier organisme faisant autorité pour reconnaître la valeur potentielle de l'examen par les pairs, il l'a fait avec l'avertissement significatif que peer examen ne garantit pas l'exactitude ou la véracité ou même accepté papiers étaient mieux que ceux examinés non-pairs. < sup> 3}

examen par les pairs Editorial sur une manière inorganisée occasionnel est devenu plus fréquent dans le milieu du 19e siècle avec la publication d'un nombre sans cesse croissant de revues biomédicales. Ce ne fut que le monde de plus en plus spécialisée du 20ème siècle, avec ses exigences de l'autorité des experts, cet examen par les pairs est devenu plus fréquemment accepté et attendu comme un «sceau d'approbation». ^{3 Aujourd'hui, l'examen par les pairs est devenue institutionnalisée et est utilisé par la plupart des revues biomédicales. 3}

Dr. Robbie Fox, rédacteur en chef de la Lancet
1944-1964 était pas admirateur de l'examen par les pairs. Il le considérait comme un processus sans importance. ^{2 En effet, la Lancet
n'a pas commencé examen par les pairs jusqu'en 1976, longtemps après qu'il avait acquis une réputation mondiale justifiée comme une revue médicale de premier plan. 2 Cette question s'il existe une relation directe entre la réputation d'un journal et sa pratique de l'examen par les pairs. En fait, M. Fox se demandait souvent si des conséquences fâcheuses se produirait si les papiers rejetés ont remplacé celles qui avaient été acceptées. 2}

Ainsi, à partir de son premier examen par les pairs jours généré des questions quant à son utilité.
Définition

Quelle est l'examen par les pairs éditoriale? Il est un processus par lequel les éditeurs envoient des articles soumis pour évaluation à des personnes réputées compétent dans le sujet afin que seuls les meilleurs articles sont publiés. Une description plus complète est que l'examen par les pairs sélectionne des articles pour publication et rejette ceux qui sont considérés comme non pertinents, trivial, faible, trompeuse ou potentiellement dangereux tout en améliorant simultanément la clarté, la transparence, l'exactitude et l'utilité des communications. ^{4 perception commune de l'examen revue par les pairs est qu'il améliore ou augmente la qualité d'un document et aide l'éditeur à l'accepter pour publication. 5 Si l'examen par les pairs satisfait aucune de ces descriptions, il agirait comme un filtre de contrôle de la qualité en identifiant seulement les meilleurs papiers qui étaient dignes de publication. En effet, de nombreuses personnes bien informées acceptent volontiers examen par les pairs en tant que garant de la qualité, 6 comme apportant une valeur ajoutée pour un publication2 et même comme une forme de "Good Sceau d'approbation de ménage." 7}

Dr. Richard Smith rejette catégoriquement ces croyances comme il est d'avis qu'il est impossible de définir examen par les pairs en termes opérationnels. ^{2 Ses raisons sont que les mots, «experts», «pair», «examen», et «la qualité »sont embourbés dans le vague. Comme l'ancien rédacteur en chef de la British Medical Journal
, il remet en question si un pair est quelqu'un qui fait la même recherche et donc un concurrent potentiel, ou simplement quelqu'un dans la même discipline qui pourrait être moins informés que l'auteur de la article. Il craint qu'une révision pourrait impliquer seulement une lecture occasionnelle d'un papier, par opposition à une analyse approfondie qui vérifie toutes les données et les références et offre des améliorations constructives. Il craint qu'il n'y a tout simplement pas de définition de ce qui constitue une bonne ou la qualité du papier. 2}

Dr. La frustration de Smith est compréhensible car il n'y a pas d'organe directeur qui définit ce qui est bon examen par les pairs ou qui exige que certaines normes soient respectées. ^{7 Cela implique que les rédacteurs de revues ont une latitude considérable quant à ce qu'ils croient constitue examen par les pairs. Sans normes acceptées et approuvées, les lecteurs et les auteurs sont soumis à un examen par les pairs qui reflète des faiblesses très humaines, les préjugés et les préjugés des éditeurs et de leurs auteurs.
préoccupations importantes}

En 1985, Lock et Bailar avaient mené des enquêtes approfondies sur le processus d'examen par les pairs de rédaction et a constaté que la majeure partie de sa méthodologie était erronée et avait désespérément besoin d'améliorer. ^8,9

Ces trouver ont été soutenus en 1986 par le Dr Drummond Rennie, puis collaborateur principal éditeur du Journal du
American Medical Association, qui se demandait pourquoi, si examen par les pairs était un filtre de contrôle de la qualité, la plupart des journaux ne quel que soit trivial, obscure, contradictoire ou fragmenté finalement passé l'examen et le contrôle ont été publiées. ^{5 Dr Rennie compose ses préoccupations dans la série suivante de questions.}

Y at-il généralement des critères acceptés sur ce qui constitue un document? Y at-il une liste précise des critères appliqués aux documents par tous les éditeurs ou même quelque pour décider d'accepter ou de rejeter ou envoyer pour examen? Si celui-ci, comment sont examinateurs choisis et combien devraient-il y avoir? Depuis l'expertise est nécessaire, quel degré de conflit d'intérêts est prévu ou autorisé? Quelles instructions sont données critiques? Comment sont leurs avis évalués? Si les avis être double-aveugle? Comment les éditeurs concilier désaccord entre les examinateurs, et entre les examinateurs et les auteurs? Combien cela coûte que coûte en rédaction, de secrétariat, et examiner les heures, ainsi que dans les frais d'envoi? Combien le processus empêche la recherche frauduleuse? Est-il encourager le plagiat et les pauses en toute confidentialité? Serions-nous pas tous être mieux sans examen? ^{5 Dr Rennie est allé jusqu'à suggérer que le seul vrai processus d'examen était d'avoir des sections de correspondance étendues où les auteurs et leurs critiques pourraient débattre en public. 5}

Dr. Rennie a contesté les chercheurs à trouver des réponses à ses préoccupations et de présenter leurs conclusions au printemps de 1989, à un congrès international sur "Peer Review dans Biomedical Publications», parrainé par l'American Medical Association. ^{5 Il a accompagné l'invitation par le commentaire perspicace que «la recherche peut trouver que nous serions mieux à la ferraille examen par les pairs entièrement." 5 le premier congrès international en 1989 a été suivie par cinq autres avec le dernier ayant eu lieu à Vancouver en 2009.}

Les chercheurs ont accepté défi initial du Dr Rennie. Cependant, environ dix ans plus tard, quelques-uns de ses préoccupations avaient été prises en compte. Par exemple, un article de 1997 dans le British Medical Journal
a conclu que, «Le problème avec examen par les pairs est que nous avons de bonnes preuves sur ses lacunes et de données insuffisantes sur ses avantages. Nous savons qu'il est coûteux, lent, sujettes à des biais, à des abus, possible anti-novatrice, et incapable de détecter la fraude. Nous savons aussi que les articles publiés qui émergent du processus sont souvent grossièrement déficient. " ¹⁰

En 2001, lors du quatrième Congrès international, Jefferson et ses collègues ont présenté leurs conclusions d'une vaste analyse systématique de l'examen par les pairs méthodologie. Les résultats les ont convaincus que l'examen par les pairs de la rédaction était une pratique non testé dont les bénéfices étaient incertains. ^{11 Dr Rennie a quitté le quatrième Congrès avec ses préoccupations initiales intactes comme en témoigne son avis, "En effet, si l'ensemble du système d'examen par les pairs a fait ne pas exister, mais ont été maintenant être proposée comme une nouvelle invention, il serait difficile de convaincre les éditeurs qui cherchent à l'évidence passer par la peine et la dépense ". 12
Evidence}

il y a des pièces justificatives pour la préoccupations exprimées par Lock, Bailar, Rennie et Jefferson. Des articles récents par Wager, Smith et Benos fournissent de nombreux exemples d'études qui démontrent des lacunes méthodologiques dans l'examen par les pairs qui, à son tour, jeté la suspicion sur la valeur des articles approuvés par le processus. ^{13,2,3 Quelques-unes des probante Des études seront décrites.
Erreurs}

Dans une enquête 1998, 200 auteurs ont échoué à détecter 75% des erreurs qui ont été délibérément insérées dans un article de recherche. ^{14 Dans la même année, les examinateurs ont échoué à identifier 66% des erreurs majeures introduit dans un manuscrit faux. 15 un papier qui a finalement abouti à son auteur étant reçu le prix Nobel a été rejetée parce que l'examinateur croit que les particules sur la lame microscopique étaient les dépôts de poussière plutôt que des preuves du virus de l'hépatite B. < sup> 16
Cohérence et Objectivité}

Il y a une croyance que l'examen par les pairs est un processus fiable et cohérente objectif. Une étude menée par Peters et Céci questions mythe. Ils resoumis 12 articles publiés par des institutions prestigieuses aux mêmes journaux qui les avaient acceptées 18-32 mois auparavant. Les seuls changements étaient dans l'original auteurs noms et affiliations. On a été accepté (nouveau) pour publication. Huit ont été rejetées non pas parce qu'ils étaient unoriginal mais en raison de faiblesses méthodologiques, et seulement trois ont été identifiés comme étant des doublons. ^{17 Smith illustre l'incohérence entre les examinateurs par cet exemple de leurs commentaires sur le même papier.}

ReViewer A "je trouve cet article un document extrêmement confus avec un grand nombre de défauts."

B avis "Il est écrit dans un style clair et serait compris par tout lecteur." ²

Sans normes qui sont uniformément acceptée et examen par les pairs mis en œuvre est un processus subjectif et incohérent.
fraude

Examen par les pairs n'a pas réussi à identifier que le biologiste cellulaire Wook Suk Hwang avait fait de fausses déclarations au sujet de sa création de 11 lignées de cellules souches embryonnaires humaines. ^{3 examinateurs à ces revues de haut profil comme Science et Nature ne l'ont pas identifier les nombreuses anomalies flagrantes et résultats frauduleux que Jan Hendrick Schön fait dans de nombreux documents, tout en agissant en tant que chercheur chez Bell Laboratories. 3 Le Bureau américain de l'intégrité de la recherche a produit des informations sur la fabrication de données et de falsification qui est apparu dans plus de 30 examen par les pairs les documents publiés par ces journaux respectés que le sang, la nature, et les Actes de l'Académie nationale des sciences. 18 En fait, un critique pour les Actes de l'Académie nationale des sciences a été reconnu coupable d'avoir abusé de sa position en prétendant faussement travailler sur une étude qui lui a demandé d'examiner. 19}

examen par les pairs Editorial peut juger un document digne de publication selon les critères d'auto-imposées. Le processus, cependant, ne peut pas garantir que le papier est véridique et dépourvue de fraude. ^3
Qualité

Les partisans de revue par les pairs promouvoir sa qualité amélioration des pouvoirs. Définition et identification de la qualité ne sont pas des tâches simples. Jefferson et ses collègues ont analysé un certain nombre d'enquêtes qui ont tenté d'évaluer la qualité des articles examinés par des pairs. ^{4 Ils ont trouvé aucun consistances dans les critères qui ont été utilisés, et une multiplicité de systèmes de notation dont la plupart ne sont pas validés et étaient peu fiabilité. Ils ont suggéré que les critères de qualité comprennent, l'importance, la pertinence, l'utilité et la rigueur méthodologique et éthique de la communication ainsi que la clarté, la précision et l'exhaustivité du texte. 4 Ils comprenaient des indicateurs qui pourraient être utilisés pour déterminer dans quelle mesure chaque critère avait été obtenu. Les idées promues par Jefferson et al ont pas été encodé dans les normes contre lesquelles tout examen par les pairs peut être évaluée. Jusqu'à ce que cela se produit, les rédacteurs et les réviseurs ont toute liberté pour définir la qualité en fonction de leurs caprices individuels ou collectifs. Cela confirme la thèse de Smith qu'il n'y a pas d'accord sur la définition d'un bien ou la qualité du papier. 2}

En contrepartie de l'examen par les pairs ci-dessus ne sont pas la marque de qualité, sauf, peut-être, dans les croyances ses praticiens.
Précision

On peut supposer que les pairs des articles examinés étaient exempts d'erreurs et statistiquement son. En 1999, une étude réalisée par Pitkin des grandes revues médicales a révélé un taux d'incohérences entre les détails 18-68% dans les résumés par rapport à ce qui figurait dans le texte principal. ^{20 Une enquête de 64 examen par les pairs des revues a démontré une proportion médiane inexactes références de 36% (intervalle 4-67%). 21 la proportion médiane des erreurs si graves que la récupération de référence était impossible était de 8% (fourchette 0-38%). 21 la même étude a montré que la médiane pourcentage de citations inexactes était de 20%. Des essais contrôlés randomisés sont considérés comme le «gold standard» des soins fondés sur des preuves. Une étude importante de la qualité de ces essais apparaissent dans des revues spécialisées a été achevée en 1998. Les résultats ont montré que 60-89% des publications ne comprend pas de détails sur la taille de l'échantillon, les intervalles de confiance, et ne disposaient pas suffisamment de détails sur la randomisation et le traitement allocation . 22}

Il ne faut pas supposer que l'examen par les pairs garantit une précision.
réviseurs

Le rôle de l'examinateur est complexe. Ils sont censés évaluer les mérites scientifiques ou techniques d'un document, de déterminer sa nouveauté, examiner sa clarté de la présentation, de vérifier la pertinence des illustrations, tableaux et références, identifier les défauts, suggérer des améliorations et de proposer une décision concernant l'acceptation ou le rejet, généralement en temps opportun et sans aucune compensation monétaire. ^{4 Depuis examinateurs sont au cœur de la réussite du processus d'examen par les pairs, ils doivent être choisis avec soin et délibération. En 2007, une étude de 306 examinateurs expérimentés a confirmé que, "il n'y a pas facilement identifiables types de formation ou d'expérience formelle qui prédisent la performance critique. Savoir-faire dans l'examen scientifique par les pairs peut être aussi mal définie et difficile à communiquer comme il est de bon sens. " 23 Actuellement il n'y a pas une bonne méthode d'évaluation de la performance de l'examinateur et aucun système uniforme acceptable pour les choisir. 24 Il semble que de nombreux auteurs sont choisis parce qu'un éditeur les considère comme «experts» et qu'ils sont disponibles. 3}

certains examinateurs seront informés et approfondie, certains seront sollicités et ont des conflits d'intérêts, tandis que d'autres refusera de considérer les sujets non conventionnels ou controversés. Malheureusement, ces caractéristiques ne sont pas mis à la disposition des auteurs et des lecteurs.
Concours

revues commerciales en concurrence pour les mêmes lecteurs que des revues. Ils ont des ratios élevés publicité à texte, sont généralement gratuits, ne sont pas affiliés avec les associations professionnelles, ont rarement examen par les pairs des articles et sont rarement, voire jamais cité dans la littérature médicale /dentaire. ^{25 Néanmoins, une étude réalisée par Rochon et ses collègues ont montré que par rapport à examen par les pairs des revues, des articles dans des publications commerciales à but lucratif ont été examinées par les médecins pour être plus facile à lire et à comprendre, pour résoudre les problèmes les plus importants et de fournir plus d'informations pertinentes à la pratique clinique. 25
But}

Dans son article controversé, "évaluation par les pairs un processus défectueux au cœur de la science et de revues" Dr Smith pose la question critique, "Qu'est-ce examen par les pairs?" ²

les examinateurs pourrait considérer comme un booster d'ego et comme une amélioration à des carrières universitaires et professionnelles. Editors pourraient voir examen par les pairs comme une prise de décision d'aide concernant le rejet ou l'acceptation d'articles, tout en ajoutant un certain cache à leurs journaux. Les auteurs trouvent les retards dans les décisions et les éditeurs commentaires frustrant, et même ceux dont les papiers sont acceptés sont déçus par la qualité des examens. ^{26 Cependant, la question du Dr Smith est répondu en disant qu'il y a peu d'utilité dans l'examen par les pairs, à moins qu'il a une incidence directe sur les soins aux patients.}

Aujourd'hui, les examens systématiques, les méta-analyses et des avis d'experts sont à la base des soins fondés sur des preuves. Ceux-ci sont généralement soumis à examen par les pairs. Comme il a été démontré ci-dessus, l'examen par les pairs est un processus loin d'être parfait. Il n'a pas de normes concernant l'exactitude, la qualité et la cohérence, et aucun moyen objectif d'évaluer la compétence de ses auteurs. Par conséquent, en se fondant sur l'examen par les pairs pour diriger les soins aux patients peut être inférieur prudent. Sans surprise, on sait très peu sur les effets bénéfiques, le cas échéant, que l'examen par les pairs a sur l'amélioration de l'état de santé. ^{4 En effet, il est possible que ce soit moins de succès à cette tâche que sont les articles et les pointeurs cliniques publiés dans les revues commerciales. 25}

l'ambiguïté associée à examen par les pairs et ses effets sur les soins aux patients est démontrée dans les éditions récentes du Journal de l'Association dentaire canadienne. ^{27,28 le Journal a publié six "point of Care" articles dans ces éditions. Deux ont été soumis à examen par les pairs, mais quatre étaient pas. Sont des lecteurs de supposer que ces quatre sont inférieurs, même si elles trouvent le contenu d'être pertinente et d'une valeur pratique? En cas de confusion soit évitée simplement en ignorant la désignation d'examen par les pairs? Dans ce cas, pourquoi avoir?
Conclusion}

Examen par les pairs est un processus imparfait qui a suscité des critiques défavorable considérable, mais justifiable. Une revue Cochrane du sujet a trouvé peu de preuves à l'appui de l'efficacité de l'examen par les pairs éditoriale. ^{29 Par conséquent, il semble que les opinions du Dr Smith sont plus réalistes que celles de M. O'Keefe.}

Néanmoins, il peut être prématuré d'abandonner examen par les pairs comme une cause perdue. Le défi auquel sont confrontés tous les éditeurs qui soutiennent examen par les pairs est de prouver, d'une manière transparente et objective, qu'il rejette toujours les documents non pertinents, trompeuses, triviaux et faibles, améliore la précision, la clarté et l'utilité des communications acceptées, et a un effet positif sur les soins aux patients.

Si ce défi est relevé, l'examen par les pairs ont des attributs qui justifient son existence.

En attendant, les lecteurs seraient bien avisés de juger tous les articles sur leurs mérites, indépendamment de toute désignation d'examen par les pairs.

Dr. Hardie a été intimement impliqué dans le développement des lignes directrices fondées sur des données probantes ORCDO 1996. Depuis lors, il a maintenu un intérêt à ce sujet et comment elle et les maladies apparentées ont influencé dentaires recommandations de lutte contre les infections.

Santé bucco-dentaire se félicite de cet article original.
Références

1. O'Keefe J. A Salute to Nos examinateurs. J Can Dent Assoc 2010; 76 (1): 21.

2. Smith examen R. par les pairs: un processus défectueux au cœur de la science et de revues. J R Soc Med 2006; 99: 178-182.

3. Benos DJ, Bashiri E, Chaves JM et al. Les hauts et les bas de l'examen par les pairs. Adv.Physiol Educ 2007; 31: 145-152.

4. Jefferson T, Wager E, Davidoff F. Mesurer la qualité de l'examen par les pairs Editorial. JAMA 2002; 287 (21): 2786-2789.

5. Rennie D. Guarding Gardiens: Une conférence sur l'examen par les pairs Editorial. JAMA 1986; 256 (17): 2391 à 2392.

6. McCullough BD, McKintrick R. Vérifiez les numéros: The Case for Due Diligence dans la formation politique. Les études en risque et le règlement. Institut Fraser, Février 2009.

7. Kranish M. Flaws se trouvent dans la validation des études médicales. Beaucoup voient besoin de réviser les normes pour examen par les pairs. Le Boston Globe, le 15 Août 2005.

8. Bailar JC, Patterson K. Journal examen par les pairs: La nécessité d'un programme de recherche. N Engl J Med 1985; 312: 654-657.

9. Verrouiller S. Un équilibre difficile: Editorial examen par les pairs en médecine. Londres, le Nuffield Hôpitaux provinciaux Trust, 1985.

10. Smith R. examen par les pairs: Réforme ou révolution. BMJ 1997; 315: 759-760.

11. Jefferson T, Alderson P, Wager E, Davidoff F. Effets de l'examen par les pairs Editorial. Un examen systématique. JAMA 2002; 287: 2784-2786.

12. Rennie D. Quatrième Congrès international sur Peer Review dans la publication biomédicale. JAMA 2002; 287: 2759- 2760.

13. Wager E, Jefferson T. Lacunes de l'examen par les pairs dans des revues biomédicales. Learned Publishing 2001; 14: 257-263.

14. Godlee F, Gale CR, Martyn CN. Effet sur la qualité de l'examen par les pairs des aveuglante examinateurs et en leur demandant de signer leurs rapports: un essai contrôlé randomisé. JAMA 1998; 280: 237-240.

15. Callaham ML, Baxt WG, Waeckerle JF, Wears RL. Fiabilité des évaluations subjectives de la qualité des examens par les pairs des manuscrits des éditeurs. JAMA 1989; 280: 229-231.

16. Verrouiller S. Les grossières échecs de l'examen par les pairs. BMJ 1993; 307: 382.

17. Peters DP, Céci SJ. Peer-examen des pratiques de revues psychologiques: le sort des articles publiés, soumis à nouveau. Behavioral and Brain Sciences 1982; 5: 187-195.

18. Bureau de l'intégrité en recherche Rapport annuel 1999. Washington, DC: ministère de la Santé et des Services sociaux. 1999.

19. Rennie D. inconduite et examen par les pairs. En Godlee F, Jefferson T (eds), évaluation par les pairs en sciences de la santé. Londres: BMJ Books, 1999, 90-99.

20. Pitkin R, Branagan MA, Burmeister LF. Exactitude des données dans les résumés des articles de recherche publiés. JAMA 1999; 281: 1110-1111.

21. Wager E, Middleton P. Référence de précision dans des revues: une revue systématique. Accepté pour présentation au 4e Congrès international sur Peer Review dans la publication biomédicale. Barcelone, Septembre 2001.

22. Moher D. CONSORT: un outil évolutif pour aider à améliorer la qualité des rapports d'études randomisées contrôlées. JAMA 1998; 279: 1489-1491.

23. Callaham M, Trecier J. La relation de la formation et de l'expérience du Journal pairs examinateurs à la suite de la qualité d'examen. PloS Med 4 (1): e40.doi: 10.1371 /journal.pmed.0040040.

24. Polak JF. Le rôle du réviseur de manuscrits dans le processus d'examen par les pairs. AJR 1995; 165: 686-688.

25. Rochon PA, Bero LA, Bay A et al. Comparaison de l 'examen des articles publiés dans par des pairs et Throwaway Journals. JAMA 2002; 287: 2853-2856.

26. Weber EJ, Katz PP, Waeckerle JF, Callaham M. Auteur Perception de Peer Review. Impact de la révision de la qualité et l'acceptation sur la satisfaction. JAMA 2002; 287: 2790-2792.

27. J Can Dent Assoc 2010; 76 (2): 111-116.

28. J Can Dent Assoc 2010; 76 (3): 177-181.

29. Jefferson T, Rudin M, Brodney FS et al. examen par les pairs de rédaction pour améliorer la qualité des rapports d'études biomédicales. Cochrane Database of Systematic Avis 2007, Numéro 2. Art. No.:MR000016.DOI:10.1002/14651858.MR000016.pub3.