La revisión por pares (peer review) en las revistas científicas: un proceso que requiere intervención
Peer review in scientific journals: a process that requires intervention
Juan Carlos Restrepo Botero1
Para citar este artículo
Restrepo , J.C. (2020). La revisión por pares en revistas científicas: Proceso en crisis. Tempus Psicológico, 3(1), 133-155. doi: 10.30554/tempuspsi.3.1.3410.2020
Recibido el 30/01/2019 - aprobado el 30/05/2019
Artículo de revisión - ISSN - 2619-6336
Resumen
La revisión por pares o peer review es el proceso más utilizado en el mundo para evaluar la calidad, originalidad, rigurosidad científica y pertinencia, de los artículos en las revistas científicas antes de ser publicados. Pese a sus virtudes, durante varios años este proceso ha sido altamente criticado y continúa presentando problemas que requieren ser resueltos. Este artículo es el resultado de una investigación cualitativa documental en la que se revisaron publicaciones entre 1989 y 2019 sobre los problemas que se denuncian en la literatura sobre este tema. En primer lugar, se describe el proceso y sus virtudes para, luego presentar una síntesis agrupada en diferentes categorías, de las denuncias reportadas en la literatura y, finalmente, abordar las recomendaciones sugeridas. Se pretende que esta revisión sea de utilidad a editores de revistas, pares evaluadores o árbitros, investigadores y a la comunidad académica y científica con el fin de fortalecer este proceso de evaluación
Palabras clave: revisión por pares, revistas científicas, ética de la investigación, publicación científica
Abstract
Peer review is the most widely used process in the world to assess the quality, originality, scientific rigor and relevance of articles in scientific journals before they are published. Despite its virtues, for several years this process has been highly criticized and continues to present problems that need to be resolved. This article is the result of a qualitative documentary research in which publications were reviewed between 1989 and 2019 on the problems reported in the literature on this topic. First, the process and its virtues are described, and then a summary grouped into different categories of the complaints reported in the literature is presented, and finally, the suggested recommendations are addressed. This review is intended to be useful to journal editors, peer reviewers or arbitrators, researchers and the academic and scientific community in order to strengthen this evaluation process.
Keywords: peer review, scientific journals, research ethics, scientific publication
_____________
1 Psicólogo. Doctor en Psicología con orientación en Neurociencia Cognitiva aplicada. Universidad Maria Cano. Orcid: 0000-0002-0879-1148 Correos: carl.res@gmail.com
juancarlosrestrepobotero@fumc.edu.co
Introducción
Desde hace más de trescientos años la revisión por pares o peer review (en inglés) es el método más utilizado por las revistas científicas para valorar los artículos que son sometidos a evaluación para una eventual publicación (Voight y Hoogenboom, 2012).
Una vez el editor de una revista recibe un artículo y verifica los requisitos básicos declarados en sus políticas editoriales, envía el artículo a dos o más evaluadores con el fin de que éstos juzguen la calidad, originalidad, rigurosidad científica, pertinencia, entre otros aspectos y determinen si los artículos son aceptados sin correcciones, aceptados con correcciones o rechazados. Existen tres formas de implementarlo: revisión de par simple-ciego (el evaluador conoce la identidad del autor pero el autor no conoce la de quien lo evalúa), por par doble ciego (tanto el evaluador como los autores son anónimos) y revisión abierta (se conocen las identidades de ambos) (Ladrón de Guevara, Hincapié, Jackman, Herrera y Caballero, 2008).
Algunos autores señalan que no se tiene total claridad sobre cuándo se inició esta práctica dentro de las revistas científicas. Sin embargo, se sabe que en el siglo XVIII la revista “Royal Society of Edinburgh Medical Essays and Observations” la implementaba entre sus prácticas (Alfaro-Toloza y Alcayaga-Urrea, 2013). Según Martínez (2012), en 1731 el proceso lo implementó por primera vez la Sociedad Real de Edimburgo en su revista Medical Essays and Observations quienes enviaban los artículos sometidos a publicación a quienes consideraban más expertos en dichos temas. Es a partir de la segunda guerra mundial que la revisión por pares se institucionalizó tal y como se conoce hoy en día (de Kemp y Ware, 2008).
Eaton (1997) señala que al inicio, las revistas médicas incluían ponencias que eran evaluadas por el solo juicio del editor. Esto era aceptable ya que los temas eran incontrovertibles, el conocimiento de éste abarcaba todo el campo y su integridad no se ponía en duda. Sin embargo, las especialidades se ampliaron y las publicaciones aumentaron a tal punto, que era imposible que cada editor dominara cada tema sometido a evaluación. Fue así como surgió la necesidad de consultar colegas expertos que apoyaran esta labor lo cual es conocido como la revisión por pares.
Actualmente, se considera que el conocimiento que no se publica no existe y que aquel que no se valida, no es confiable. La evaluación por pares, por tanto, se constituye en una manera de validar y aceptar o no el conocimiento difundido (Grainger, 2009).
Las revistas que utilizan este procedimiento invitan a profesionales, generalmente expertos en las temáticas de los artículos científicos recibidos, a hacer una valoración académica y científica crítica de éstos con el fin de determinar si son objeto o no de publicación. El editor de las revistas recibe el concepto de éstos en términos de: “aceptado sin correcciones”, “aceptado con correcciones” o “rechazado”, además de los comentarios generales y específicos de su evaluación. En las revistas de mayor impacto, al final del proceso, más del 80% de las propuestas recibidas son rechazadas (Donovan, 2011).
Según Grainger (2009) las evaluaciones efectivas deben velar por “la habilidad técnica del revisor, la conducta profesional, la imparcialidad, la ética y la responsabilidad tanto por el proceso como por el sistema competitivo en el que éste se da a nivel internacional” (p. 66). Por su parte, Ladrón de Guevara et al. (2008) añaden que los pares deben tener un excelente conocimiento del tema, rigor académico y científico, ser innovadores (estar atentos a lo nuevo) y responsabilidad (en términos de los tiempos de evaluación, así como declarar sus impedimentos de forma honesta, entre otros).
No obstante lo anterior, numerosos autores, año tras año, han venido denunciando diferentes problemáticas que la revisión por pares presenta y que aún no han sido superados en los procesos de todas las revistas científicas (Campanario, 2002; Gérvas, 2002; Ladrón et al., 2008; Egghe y Bornmann, 2013; Etkin, 2014; Blockeel, Drakopoulos, Polyzos, Tournaye & García-Velasco, 2017; Jimenez, 2017; Sonne y Alstrup, 2019).
El presente artículo es el resultado de una investigación cualitativa documental en la que se revisaron publicaciones entre el año 1989 y 2019 (últimos 30 años) sobre las problemáticas que se denuncian en la literatura sobre este tema. En los resultados, se describirán virtudes identificadas, una síntesis, agrupada por categorías, de las denuncias reportadas en la literatura y, finalmente, las recomendaciones que sugieren diversos autores. Se pretende que esta revisión sea de utilidad a editores de revistas, pares evaluadores o árbitros, investigadores y, en general a la comunidad académica y científica en general, con el fin de fortalecer este proceso de evaluación.
Metodología
Se realizó una investigación cualitativa documental en la que se revisaron artículos científicos publicados entre el año 1989 y 2019 (últimos 30 años) en Google Académico, EbscoHost, ProQuest, ScienceDirect (Elsevier) tomando, como criterio de búsqueda, artículos en cuyo título estuvieran las palabras: “revisión por pares”, “peer review”, “par evaluador” o “evaluación de artículos científicos”. El propósito del estudio consistió en la caracterización de las problemáticas reportadas en la literatura al respecto. Del total de artículos encontrados, se seleccionaron únicamente aquellos que explicitaban problemáticas en el proceso de la revisión por pares (44 artículos). En la Tabla 1 se presenta la matriz categorial de análisis que se estableció con las categorías iniciales (1-3) y las emergentes (4-8) en el estudio.
Tabla 1. Matriz categorial de análisis utilizada en el estudio
|
Categoría primaria |
Categorías secundarias |
Definición |
|
|
Problemas reportados en la literatura científica al proceso de revisión por pares |
1 |
De los editores |
Críticas que se le hacen a los editores en la selección de los pares evaluadores, la influencia que éstos tienen en ellos, las decisiones que éstos toman a partir de sus evaluaciones y aspectos de ética profesional en general |
|
2 |
De los pares evaluadores |
Problemáticas que se reportan sobre el perfil que tienen, las prácticas que realizan y las valoraciones que hacen los evaluadores de los artículos |
|
|
3 |
De los autores |
Denuncias que se reportan sobre la calidad de los artículos y sus prácticas |
|
|
4 |
De las revistas |
Dificultades que se identifican en varias revistas científicas lo cual cuestiona el proceso y calidad de la revisión por pares que éstas realizan |
|
|
5 |
Del sistema de evaluación por pares en sí mismo |
Críticas que se le hacen al proceso en general en donde es más importante la problemática estructural que el actor responsable de la misma |
|
|
6 |
De la aplicación del sistema en ciencias o disciplinas específicas |
Problemas específicos identificados en áreas de conocimiento específicos |
|
|
7 |
De la forma como se aplica en Latinoamérica |
Críticas específicas al proceso de revisión de pares en revistas latinoamericanas |
|
|
8 |
De las investigaciones que se hacen sobre evaluación por pares |
Problemas con los estudios que se hacen o aún no se han realizado sobre el proceso de revisión por pares |
|
Resultados
Virtudes identificadas en el sistema de evaluación por pares
Antes de proceder a reportar las principales problemáticas que han sido identificadas en la literatura revisada, es importante, en aras de un sano ejercicio de diagnóstico, dar a conocer las virtudes que también la literatura analizada señala (Tabla 2).
Tabla 2. Aspectos positivos de la revisión por pares reportadas por la literatura
|
Categoría primaria |
Categorías secundarias |
Definición |
|
|
Problemas reportados en la literatura científica al proceso de revisión por pares |
1 |
De los editores |
Críticas que se le hacen a los editores en la selección de los pares evaluadores, la influencia que éstos tienen en ellos, las decisiones que éstos toman a partir de sus evaluaciones y aspectos de ética profesional en general |
|
2 |
De los pares evaluadores |
Problemáticas que se reportan sobre el perfil que tienen, las prácticas que realizan y las valoraciones que hacen los evaluadores de los artículos |
|
|
3 |
De los autores |
Denuncias que se reportan sobre la calidad de los artículos y sus prácticas |
|
|
4 |
De las revistas |
Dificultades que se identifican en varias revistas científicas lo cual cuestiona el proceso y calidad de la revisión por pares que éstas realizan |
|
|
5 |
Del sistema de evaluación por pares en sí mismo |
Críticas que se le hacen al proceso en general en donde es más importante la problemática estructural que el actor responsable de la misma |
|
|
6 |
De la aplicación del sistema en ciencias o disciplinas específicas |
Problemas específicos identificados en áreas de conocimiento específicos |
|
|
7 |
De la forma como se aplica en Latinoamérica |
Críticas específicas al proceso de revisión de pares en revistas latinoamericanas |
|
|
8 |
De las investigaciones que se hacen sobre evaluación por pares |
Problemas con los estudios que se hacen o aún no se han realizado sobre el proceso de revisión por pares |
|
Problemáticas generales de la evaluación por pares
No obstante lo anterior, la revisión por pares se ha convertido en los últimos años en un tema de investigación académica y debate ético (Lipworth y Kerridge, 2011) ya que, entre otras razones que serán expuestas posteriormente, un porcentaje alto de autores encuentran que el proceso de evaluación de sus artículos enviados son arbitrarios y misteriosos (Wade y Tennant, 2004; Enquselassie, 2013). Además, según Clark et al. (2000), existen muchas publicaciones sobre la ineficacia general del proceso de revisión por pares en revistas arbitradas. Quizás la crítica más fuerte es que hay una falta de evidencia de que la revisión por pares funciona realmente (de Kemp y Ware, 2008)
Al respecto, Lipworth (2009) plantea que la revisión de artículos, así como la medicina clínica, no es y no puede ser un proceso “científico” ya que se ponen en juego dimensiones subjetivas, sociales e intersubjetivas que son válidas en la generación de nuevo conocimiento científico. Los juicios están permeados por creencias, interpretaciones, teorías, intuiciones y respuestas estéticas. Bornmann y Egghe (2012) plantean que, en últimas, al ser un proceso basado en la evaluación humana, es un proceso imperfecto y que si se quiere publicar un buen número de trabajos de calidad, varios trabajos de baja calidad serán aceptados.
Problemáticas específicas de la evaluación por pares denunciadas
A continuación, se clasificarán las problemáticas identificadas en la literatura científica revisada y cuyas publicaciones se hicieron entre los años 1989 y 2019 agrupadas en las siguientes categorías: problemáticas de las revistas, de los editores, del sistema de evaluación por pares en sí mismo, de los evaluadores, de los autores que someten sus artículos a evaluación, de la aplicación del sistema en ciencias o disciplinas específicas, de la forma como se aplica en Latinoamérica y, finalmente, en relación con las investigaciones que se le hace a la evaluación por pares (Tablas 3-10).
Tabla 3. Problemáticas de la revisión por pares reportadas por la literatura en relación con las revistas
|
Descripción de la problemática |
Autores que lo señalan |
|
|
1 |
No en todos los casos las revistas aclaran los criterios que deben tener en cuenta los pares en sus revisiones |
Benchimol-Barbosa, 2012 |
|
2 |
No siempre se aceptan los mejores trabajos |
Bornmann y Egghe, 2012 |
|
3 |
Varias revistas publican artículos falsos |
Sonne y Alstrup, (2019) |
|
4 |
La evaluación de un artículo puede ser diferente del impacto que puede tener después de su publicación (medido por el número de citaciones) en ésta u otra revista |
Bornmann y Egghe, 2012 |
|
5 |
Existen continuas quejas que limitan la eficiencia y la puntualidad del envío, revisión, aceptación y publicación. Por ejemplo, Los artículos pueden demorarse fácilmente un año o más entre su envío y su publicación |
Clark et al., 2000 |
|
6 |
El arbitraje o revisión por pares varía mucho entre revistas con poco reconocimiento |
Romanos de Tiratel, 2006 |
|
7 |
Existen revistas que recomiendan a sus pares el rechazo de plano de los artículos aunque la evaluación sea positiva |
Hargens, 1990; Young, 2008 |
|
8 |
En las revistas consideradas “pequeñas”, el rechazo no es la opción preferida ya que todos los artículos que se recibe son queridos y tienen una alta probabilidad de ser publicados sin importar lo mal escrito o débiles que estén. El revisor responde a la demanda de sugerir maneras en que un manuscrito se pueda mejorar para su publicación |
Pierie, Walvoort y Overbeke, 1996; Donovan, 2011 |
|
9 |
Un alto porcentaje de revistas tienen pares mal entrenados y mal motivados |
Galipeau et al., 2013 |
|
10 |
Tendencia creciente de las revistas a eliminar el reconocimiento económico a los revisores por sus evaluaciones |
Ladrón et al., 2008 |
|
11 |
Revistas de bajo impacto y calidad que invitan a los autores a enviar cualquier tipo de manuscrito que se publicará en un corto período de tiempo debido a un “rápido” proceso de revisión, se han convertido en un fenómeno cotidiano |
Blockeel et al., 2017 |
|
12 |
Fenómeno de revistas depredadoras (predatory journals), revistas secuestradas (hijacked journals), falsos factores de impacto, falsos evaluadores, secuestro de artículos (hijacked papers) y artículos falsos o generados por computador |
Díaz, 2016 |
Tabla 4. Problemáticas de la revisión por pares reportadas por la literatura en relación con los editores
|
Descripción de la problemática |
Autores que lo señalan |
|
|
1 |
Un gran número de editores tiene un conocimiento limitado sobre la ética de la publicación |
Galipeau et al., 2013 |
|
2 |
Se ha encontrado que gran parte de éstos exhiben una preferencia por el statu quo |
Clark et al., 2000 |
|
3 |
Ingenuamente o deliberadamente pueden seleccionar árbitros parciales ante lo cual los autores no tienen forma de apelar |
Eaton, 1997 |
|
4 |
Aunque la mayoría de editores están de acuerdo con la necesidad sistemática y periódica de las prácticas de las revistas, no están de acuerdo con los cambios significativos que se proponen para evitar el colapso del sistema o para restaurar investigadores por malas prácticas |
Clark et al., 2000 |
|
5 |
Algunos ejercen influencia sobre los pares de tal forma que la revisión por pares se hace sólo de nombre |
Fang, Xu y Lian, 2008 |
|
6 |
La responsabilidad por la calidad de las revistas técnicas se le ha delegado a los editores pues ellos son quienes, en últimas, deciden sobre la aceptación o rechazo de los artículos. El peligro de esto es que se ignora que ellos no son expertos en todas las temáticas y que los sesgos inherente a cualquier sistema depende de un número limitado de expertos |
Grainger, 2009 |
Tabla 5. Problemáticas del proceso de la revisión por pares en sí mismo reportado por la literatura
|
Descripción de la problemática |
Autores que lo señalan |
|
|
1 |
Fraude cada vez más común de autores de artículos |
Teixeira da Silva, 2015; Díaz, 2016; Jimenez, 2017 |
|
2 |
Se identifica que se ha convertido en un medio por el cual los miembros poderosos de la comunidad científica mantienen su poder y logran aspiraciones personales y sociales a expensas de otros |
Lipworth y Kerridge, 2011 |
|
3 |
Algunas veces el poder se canaliza en el control restrictivo e ilegítimo de estos pares |
Lipworth y Kerridge, 2011 |
|
4 |
Denuncias de varios casos en los cuales la relación entre el autor y el editor era obvia |
Campanario, 2002 |
|
5 |
Se ha identificado “amiguismo” y sesgos de ideología como fenómenos de corrupción en este sistema de evaluación |
Weissberg, 2013 |
|
6 |
Quejas del trato preferente a investigadores reconocidos por su estatus académico. Por ejemplo, se cita el caso de un investigador que cuando era joven investigador le rechazaron varios artículos y, posteriormente, cuando adquirió prestigio, la mayoría de estos artículos fueron publicados por las mismas revistas que las habían rechazado |
Campanario, 2002 |
|
7 |
Diversos estudios encuentran que hay una alta frecuencia de no acuerdo entre los evaluadores |
Young, 2008; Martínez, 2012 |
|
8 |
Asegurar el completo anonimato es difícil debido al fenómeno de autocitación, el contexto, tema de investigación y estilo al escribir que hace, en la mayoría de los casos, que los revisores sepan quién es el autor del texto |
Grainger, 2009; Martínez, 2012 |
|
9 |
Un artículo que es rechazado en una revista que hace evaluación por pares generalmente es publicado en otra revista que utiliza este mismo proceso lo cual demuestra que estas revisiones tienen limitaciones |
Young, 2008; Bornmann, 2010 |
|
10 |
El anonimato promovido es criticado en la medida en que facilita que los pares envíen evaluaciones subjetivas, con errores y comentarios no científicos que no benefician la calidad del manuscrito y demuestran una lectura superficial del mismo |
Martínez, 2012 |
|
11 |
Ante el alto incremento de artículos que son sometidos a evaluación, se ha identificado una tasa de rechazo promedio del 50%. Solamente los artículos más interesantes podrían ser publicados, incluso si todos fueran científicamente válidos. De esta manera, la calidad definida arbitrariamente prevalece sobre la cantidad |
Grainger, 2009 |
|
12 |
El sistema fracasa muchas veces en identificar el fraude científico o informes deliberadamente sesgados |
Eaton, 1997; Angulo-Bazán, 2009 |
|
13 |
Puede ser perjudicial puesto que al ser basado en el conocimiento existente, las ideas innovadoras no son fácilmente apreciadas y aceptadas por la mayoría de expertos pares |
Romanos de Tiratel, 2006; Fang et al., 2008 |
|
14 |
Los países en vía de desarrollo contribuyen al sistema de evaluación con un número significativo de artículos pero no cuentan con entrenamiento a pares para que sean efectivos y reconocidos por revistas internacionales, editores y organizaciones financiadoras |
Grainger, 2009 |
|
15 |
Se considera una falacia aceptar que la revisión por pares es beneficiosa para la ciencia aunque nadie pueda demostrarlo ya que es un razonamiento acientífico, de autoridad, basado en que “hay acuerdo unánime en”, “existe la impresión de que”, “los expertos están de acuerdo en”, entre otros |
Gérvas, 2002 |
|
16 |
Falta de transparencia en la comunicación de la revisión a los autores la cual se presenta como un producto en lugar de un proceso |
Grant, 2011 |
|
17 |
Existen reportes de experiencias de ataques personales entre pares y autores |
Ho et al., 2013 |
|
18 |
Se han identificado transgresiones éticas, violación de la confidencialidad, robo de ideas, entre otras conductas censurables |
Resnik, Gutierrez-Ford y Peddada, 2008 |
|
19 |
Puede favorecer negocios que se basan en un dato publicado aunque sea falso |
Ladrón et al., 2008 |
|
20 |
Se denuncian sesgos en contra de los estudios de replicación |
Campanario, 2002 |
|
21 |
Sesgos nacionales en las publicaciones |
Ladrón et al., 2008 |
Tabla 6. Problemáticas de la revisión por pares en relación con los evaluadores
|
Descripción de la problemática |
Autor(es) que lo señala(n) |
|
|
1 |
Nunca ha habido un número suficiente de pares evaluadores por lo cual los editores de revistas científicas sufren para asignar los escritos a evaluadores competentes |
Grainger, 2009 |
|
2 |
Los revisores más productivos están sobrecargados |
de Kemp y Ware, 2008 |
|
3 |
Cuando se invita a una persona a ser par de una revista, una tendencia frecuente es que éste seleccione numerosas áreas de especialización (de las cuales no es experto) con el fin de impresionar por su vasto conocimiento o convencer al editor que debe ser un par de su revista |
Lipworth y Kerridge, 2011 |
|
4 |
A algunos se les encarga la evaluación de artículos de temáticas que no son de su experticia y pueden no tomar en serio el proceso de revisión |
Fang et al., 2008 |
|
5 |
Es común encontrar pares que aceptan la invitación de las revistas para revisar artículos y nunca llegan a presentar su valoraciones |
Young, 2008 |
|
6 |
Se sabe muy poco acerca de las experiencias previas y el entrenamiento que recibe un par para identificar revisores de alta calidad. Por lo anterior, la selección de evaluadores en muchas revistas es mal realizada. Las habilidades requeridas para ser pares evaluadores no han sido bien definidas aún y son difícilmente identificadas desde el sentido común |
Callaham y Tercier, 2007 |
|
7 |
Se critica que muchas evaluaciones son poco fiables, injustas, que no puede validar o autenticar, que no son estandarizadas e idiosincráticas, que su secreto conduce a la irresponsabilidad por parte de los examinadores, que frenan la innovación, entre otras |
de Kemp y Ware, 2008 |
|
8 |
La incompetencia y falta de imparcialidad de éstos en la evaluación sigue siendo las críticas más citadas |
Grainger, 2009 |
|
9 |
Reconocen que en varias ocasiones sus juicios están motivados por los celos, resentimiento e intolerancia |
Grant, 2011 |
|
10 |
Algunos pares pertenecen a grupos que compiten con los autores de los artículos que evalúan y, por tanto, sesgan sus comentarios |
Martínez, 2012 |
|
11 |
Existe evidencia sobre la falta de respeto al sistema de evaluación por pares en la generación más joven de autores científicos |
Grainger, 2009 |
|
12 |
Se ha encontrado que hay árbitros que evalúan los trabajos según sus resultados (según apoyan o contradicen sus teorías) |
Ladrón et al., 2008 |
|
13 |
Existen pocos procesos formales de formación de pares evaluadores y, por el contrario, generalmente los pares aprenden sobre la marcha actuando instintivamente |
Grainger, 2009; Lovejoy et al., 2011 |
Tabla 7. Problemáticas de la revisión por pares en relación con los autores que someten sus artículos a evaluación
|
Descripción de la problemática |
Autores que lo señalan |
|
|
1 |
No se sabe a ciencia cierta si a quienes les rechazan sus escritos y reciben comentarios de los revisores los toman en cuenta y hacen ajustes de fondo antes de presentarlos a otras revistas |
Donovan, 2011 |
|
2 |
Considerar que los autores “excesivamente productivos” están eximidos de evaluar otros trabajos se considera arrogancia infundada |
Grainger, 2009 |
|
3 |
Muchos autores creen que la revisión de los artículos garantiza la validez del artículo, que los artículos válidos son aceptados y que todos los artículos aceptados son válidos |
Wade y Tennant, 2004 |
Tabla 8. Problemáticas de la revisión por pares en relación con la aplicación del sistema en ciencias o disciplinas específicas
|
Descripción de la problemática |
Autores que lo señalan |
|
|
1 |
Los investigadores de áreas biomédicas han mostrado su preocupación por la comunicación científica por problemas de sesgo positivo, entre otros |
Campanario, 2002 |
|
2 |
Se carece de evidencia que apoye la calidad de la revisión por pares en revistas biomédicas ya que las publicaciones dependen, en gran medida, de las credenciales de los colaboradores |
Gasparyan y Kitas, 2012 |
|
3 |
Hay pocas fuentes sobre las normas para publicar en asesoría educativa |
Barrio, Fernando y Ray, 2008 |
|
4 |
Se han identificado opresiones en revistas de educación |
Kumashiro et al., 2005 |
|
5 |
En medios de difusión, como la Revista de Enfermería Psiquiátrica y Salud Mental, son escasas las publicaciones en ciencias sociales y humanas en cuya metodología utilizan la fenomenología, la teoría fundamentada y la etnografía lo cual, entre otras razones, se encuentra asociado a las posturas conservadoras de varios pares evaluadores y a la tendencia arraigada en la tradición positivista |
Grant, 2011 |
|
6 |
El arbitraje o revisión por pares varía mucho entre trabajos experimentales y disciplinas de las ciencias sociales y humanas |
Romanos de Tiratel, 2006 |
|
7 |
En ciencias sociales la generación de conocimiento es poco clara y puede colapsar |
Weissberg, 2013 |
|
8 |
Existen evidencias de que, especialmente en psicología y en biomedicina, las revistas tienden a publicar artículos de resultados estadísticamente significativos lo cual es un sesgo ya que se publica lo que funciona |
Campanario, 2002 |
Tabla 9. Problemáticas de la revisión por pares en relación con la forma como se aplica en Latinoamérica
|
Descripción de la problemática |
Autores que lo señalan |
|
En Marruecos se discutió acerca de los procedimientos para la revisión por pares en países subdesarrollados y se reportó la injusticia evidente del proceso en países latinoamericanos en los cuales se debían plantear revisiones más objetivas, basadas en calidad y no en la edad, afiliación, origen, género o prestigio de los autores |
Ladrón et al., 2008 |
Tabla 10. Problemáticas de la revisión por pares en relación con las investigaciones que se hacen a la evaluación por pares
|
Descripción de la problemática |
Autores que lo señalan |
|
|
1 |
Existe una escasez de investigaciones sobre la revisión por pares en relación con la fiabilidad y validez especialmente en revistas médicas |
Baethge, Franklin y Mertens, 2013 |
|
2 |
Poco se sabe sobre las características de las oportunidades de capacitación a pares disponibles y su eficacia |
Galipeau et al., 2013 |
|
3 |
No se conocen mediciones sobre el balance entre el número de artículos publicados por investigadores y el número de artículos que ellos mismos deciden retirar de las revistas |
Petchey, Fox y Haddon, 2014 |
Discusión
A la luz de la caracterización presentada anteriormente en los resultados, de acuerdo con el análisis categorial reportado en la Tabla 1, sobre las problemáticas que la literatura científica identifica en el proceso de revisión por pares, es evidente que este proceso requiere ser intervenido para ser fortalecido. Como bien lo señalan Teixeira (2015), Díaz (2016), Sonne y Alstrup (2019), entre otros, el afán de muchas revistas por obtener beneficios económicos o aumentar sus indicadores a cualquier precio ha llevado a fenómenos como la presencia de revistas depredadoras (predatory journals), revistas secuestradas (hijacked journals), los falsos factores de impacto, los falsos evaluadores, el secuestro de artículos (hijacked papers) y los artículos falsos o generados por computador que bien podrían resumir todas las problemáticas presentadas en la sección de resultados.
Al analizar los resultados presentados en las Tablas 3-10, llama la atención que el 49,3%, de las 67 críticas identificadas en los artículos, no se concentran en los pares evaluadores o del proceso en sí mismo de revisión por pares, sino de las otras categorías analizadas: revistas, editores, autores, aplicación del proceso de evaluación por pares a disciplinas y ciencias específicas, aplicación del proceso en revistas latinoamericanas e investigaciones al proceso de evaluación por pares. Lo anterior es importante resaltarlo ya que la intervención del proceso de revisión por pares, por tanto, no debe concentrarse solamente en los evaluadores, su perfil, formación y prácticas, sino también en los todos estos otros actores y asuntos.
Preocupa el hecho de que gran parte de las denuncias sobre los editores, autores y evaluadores (Tablas 4, 6 y 7) no están referidas a la ignorancia o falta de experiencia de éstos en los procesos de selección de pares y revisión de artículos, sino en faltas de ética profesional que se esperarían que no ocurriesen en el medio académico y científico. Las denuncias tienen que ver con conductas reprochables mal intencionadas y planificadas.
En relación con las críticas que se le hacen a varias revistas (Tabla 3). Pareciera que la calidad del proceso de evaluación por pares sirve para hacer un tipo de selección de las revistas que serán reconocidas, consultadas y recomendadas por la comunidad académica quien, en últimas, es la que las validará o no. De esta manera, se han posicionado revistas que son reconocidas a nivel internacional por la calidad de sus artículos y de los procesos de evaluación de los mismos.
Llama la atención, además, las denuncias que se le hacen a editores y sus prácticas (Tabla 4) desde el momento en que reciben los artículos, seleccionan a los pares evaluadores y que termina con la decisión de publicar o no un artículo de acuerdo con los resultados del concepto de los pares. Todas las quejas reportadas en la literatura revisada tienen que ver con conductas con falta de ética (malintencionadas y a conveniencia). Al parecer la intervención al proceso de revisión por pares debe empezar con ellos.
A pesar de que la evaluación por pares sigue siendo el mejor proceso de evaluación disponible en el mundo científico, se identifican problemas que aún no se han solucionado (Tabla 5). Por ejemplo, aún en revistas de alto prestigio se han filtrado estudios falsos, los editores en las revistas pueden sesgar la elección de los pares para favorecer la aprobación o rechazo de los artículos, dos evaluadores pueden emitir conceptos totalmente diferente sobre un mismo manuscrito, artículos que la evaluación en una revista los rechazó pueden ser aceptados sin modificaciones por evaluaciones de otras revistas, entre otros.
A partir del análisis realizado a las críticas que se le hacen a los pares evaluadores (Tabla 5), es posible afirmar que algunas de ellas tienen su origen en la inexperiencia, ignorancia y selecciones inadecuadas de los pares por parte de los editores. Éstos problemas pueden intervenirse por medio de procesos de formación y entrenamiento como proponen Grainger (2009), Lovejoy et al. (2011), entre otros. Los problemas más graves son aquellos relacionados con la extralimitación de sus funciones y conceptos así como con el inadecuado manejo del poder.
Los autores de los artículos que son enviados a evaluación tampoco escaparon las críticas (Tabla 7). Éstas van desde asuntos relacionados con la ignorancia hasta fenómenos actitudinales como, por ejemplo, el cuestionamiento de si ellos realizan un análisis crítico de sus propios escritos a partir de las devoluciones de las evaluaciones de los pares antes de enviarlos a otras revistas o creer que cuando se es demasiado productivo, no les corresponde apoyar actuando como pares cuando son invitados por las revistas.
Al analizar las problemáticas reportadas de este proceso de evaluación al ser aplicado en ciencias o disciplinas específicas (Tabla 8), se identifica que las ciencias de la salud y las ciencias humanas y sociales, entre las cuales se menciona la Psicología, son las más señaladas.
Los procesos de evaluación por pares en Latinoamérica requieren atención e intervención (Tabla 9). Quizás la crítica realizada por Ladrón et al. (2008) esté relacionada, en gran parte, con el retraso del desarrollo científico de los países latinoamericanos en comparación con países de desarrollo de primer nivel como Estados Unidos, China, Inglaterra, Alemania, Japón, Francia, Canada, Italia, India, España, entre otros países que aparecen actualmente en los primeros lugares según el reporte de Scimago de los países con mejores ranking de producción científica (Scimago, 2019). En este reporte, por ejemplo, Colombia ocupa el puesto 50. Lo anterior, por tanto, está relacionado con la cantidad, calidad y productividad de los investigadores latinoamericanos lo cual se puede ver reflejado en los problemas específicos que se presentan en esta región en los procesos de revisión por pares.
A lo anterior, se suman los problemas identificados al estudio del proceso de revisión por pares (Tabla 10). Pareciera que la intervención requerida en este proceso debe comenzar con investigaciones que estudien este tema a fondo tomando en cuenta los actores analizados en el presente estudio, las categorías contenidas en la Matriz categorial de análisis (Tabla 1) y demás factores y/o variables que se consideren que hacen parte de este proceso.
Afortunadamente, un buen número de los artículos revisados en el presente estudio, no se quedan en la crítica paralizante sino que hacen propuestas sobre cómo se podría mejorar el proceso de revisión por pares (Tabla 11) (Clark, Singleton-Jackson y Newsom, 2000; Campanario, 2002; Young, 2008; Grainger, 2009; Martínez, 2012; Teixeira da Silva, 2015; Blockeel et al., 2017; Sonne y Alstrup, 2019).
Seguramente otras tantas denuncias seguirán apareciendo publicadas en la literatura en los próximos años. La situación es tan seria que, afortunadamente, en las editoriales de un buen número de revistas se han publicado reflexiones interesantes al respecto lo cual evidencia que, en general, en éstas se es consciente de estas problemáticas (Wade y Tennant, 2004; Romanos de Tiratel, 2006; Young, 2008; Angulo-Bazán, 2009; Linder et al., 2010; AlfaroToloza y Alcayaga-Urrea, 2013; Hagger, 2013; Restrepo, 2015). Algunos autores e investigaciones se han publicado con el fin de ayudar a evitar algunos de estos problemas. Algunos artículos pueden orientar a quienes tienen la intención de publicar (Eaton, 1997; Yap, 2009; Kumar , Rafiqy Imam, 2011; Voight y Hoogenboom, 2012; Vora y Boellstorff, 2012; Egghey Bornmann, 2013; Hagger, 2013) y otros, pueden apoyar a las revistas en el mejoramiento de sus procesos (Clark et al., 2000; Wade y Tennant, 2004; Young, 2008; de Kemp y Ware, 2008; Grainger, 2009; Lee, Green, Johnson y Nyquist, 2010; Cobo, 2011;Lipworth y Kerridge, 2011; Egghe y Bornmann, 2013; Galipeau et al., 2013; Etkin, 2014).
De otra parte, se han organizado eventos académicos orientados a abordar estas problemáticas. Por ejemplo, Callaham y Tercier (2007) hacen mención de cinco Conferencias Internacionales de Peer Review en las que se han presentado más de 20 años de investigación sobre este asunto y en las que se han reconocido el poco estudio que se ha hecho sobre las cualidades necesarias para ser revisor científico competente. Por su parte, Grainger (2009) menciona el Congreso Internacional sobre la Evaluación por Pares y Publicaciones Científicas en el área Biomédica en el que se ha discutido sobre las virtudes y problemas del sistema de evaluación por pares y cuyos resultados se han publicado por décadas en diferentes fuentes entre las que se destaca la Revista de la Sociedad Americana de Medicina.
Tabla 11. Estrategias propuestas en la literatura científica para contrarrestar algunas de las problemáticas de la revisión por pares
|
Descripción de la problemática |
Autores que lo señalan |
|
|
1 |
Evaluar el sistema de revisión por pares constantemente |
Hargens, 1990 |
|
2 |
Establecer selecciones objetivas de los pares con el fin de mejorar los procesos de revisión y la calidad de la ciencia publicada |
Callaham y Tercier, 2007 |
|
3 |
Estimular la práctica de que sean los editores los que elijan a los árbitros y no que los autores sean quienes lo hagan. Aunque podría reducir las posibilidades de publicación, se considera que la crítica constructiva puede mejorar el artículo final y ayudar a los editores a emitir su concepto final |
Earnshaw et al., 2000 |
|
4 |
Involucrar más revisores jóvenes (menores de 40 años) ya que, según estudios, realizan revisiones de mejor calidad e incluso hacen valoraciones más estrictas que revisores mayores o con un grado académico mayor |
Alfaro-Toloza y Alcayaga-Urrea, 2013 |
|
5 |
Tener en cuenta, además de las citaciones de los artículos publicados como un criterio para evaluar las decisiones editoriales de aceptación o rechazo de los textos sometidos a evaluación, la evaluación de la relación entre las veces que los artículos son sometidos a evaluación y el número de éstas que son publicadas |
Bornmann, 2010; Bornmann y Daniel, 2010 |
|
6 |
Para optimizar el proceso, sugieren el uso de informes anteriores de revisión por pares como potencial para facilitarle a autores, revisores y editores la optimización de la revisión por pares. Se considera que un documento que fue rechazado por una revista específica después de haber pasado por la revisión por pares todavía puede ser adecuado para su publicación en una revista diferente |
Cals, Mallen, Glynn y Kotz, 2013 |
|
7 |
Hacer un ejercicio de reingeniería para ahorrar costos y mejorar la calidad del proceso de evaluación. Para ello, se sugieren los siguientes principios: 1) organizarse en torno a los procesos y resultados (no en torno a la tarea) y la responsabilidad debe ser asignada a un individuo cuando sea posible, 2) centralizar y dispersar los datos, 3) capturar los datos en un solo momento y sus fuentes de origen, 4) Identificar productores de información y procesos de información, 5) delegar a los usuarios los procesos de salida, 6) empoderar a los trabajadores e 7) integrar las actividades paralelas. Se ha encontrado que cuando estos principios se aplican correctamente, los tiempos de respuesta de la evaluación disminuye significativamente |
Clark et al., 2000 |
|
8 |
Continuar el debate sobre si la evaluación debe o no ser remunerada ya que no hay consenso al respecto |
de Kemp y Ware, 2008 |
|
9 |
Promover la revisión remunerada y los fondos para tal fin surgirían de los mismos autores interesados en publicar |
Campanario, 2002 |
|
10 |
Aprovechar la expansión del uso de la tecnología electrónica para comunicarse con los autores y revisores |
Enquselassie, 2013 |
|
11 |
Incorporar nuevos sistemas de medición antes de la publicación de artículos. Por ejemplo el que propone incluir, entre otras variables, la ponderación de los roles dentro del proceso de revisión y el índice h (que mide la productividad y el impacto de un científico |
Etkin, 2014 |
|
12 |
Ofrecer educación formal y cursos sobre la revisión por pares. En estos, deben participar las sociedades profesionales nacionales, las organizaciones científicas, las instituciones gubernamentales y las universidades. Entre sus prácticas, se recomienda comparar artículos de buena y mala calidad y analizar cada uno de sus componentes |
Gasparyan y Kitas, 2012; Graniger, 2009 |
|
13 |
Aprovechar guías que se han publicado y establecer códigos de ética para los revisores y editores |
Resnik et al., 2008; Grainger, 2009 |
|
14 |
A modo de un quid pro quo, por cada artículo sometido a una revista, el autor debería revisar otros tres artículos. Se considera que afirmar que autores “excesivamente productivos” están eximidos de evaluar otros trabajos, es arrogancia infundada |
Grainger, 2009 |
|
15 |
Estimular a científicos, profesionales e investigadores tanto del sector privado como público a servir como pares |
Grainger, 2009 |
|
16 |
Adoptar el sistema de evaluación por doble ciego para contrarrestar gran parte de las problemáticas reportadas |
Grainger, 2009 |
|
17 |
Se recomienda a los pares, en sus análisis, tener en cuenta varios puntos de vista (no sólo el propio) y hacer evaluaciones contextualizadas. En sus devoluciones, hacer comentarios constructivos |
Kumashiro et al., 2005 |
|
18 |
Fomentar procesos de revisiones transparentes como lo hace la revista EMBO desde 2009 y otras que lo han empezado a implementar, es decir, la publicación adicional de un archivo del proceso de revisión que acompañe a las publicaciones periódicas. Ésta contiene la línea de tiempo y todas las comunicaciones pertinentes del proceso de revisión, los comentarios de los árbitros anónimos, las cartas de decisiones y las respuestas de los autores . Lo anterior, manteniendo el anonimato de los evaluadores |
Linder, Schliwa, Werner y Gebauer, 2010 |
|
19 |
Cuando se invite a pares evaluadores, pedirle que indiquen máximo tres áreas de especialización |
Lovejoy et al., 2011 |
|
20 |
Crear consorcios de revistas para la Evaluación de Artículos que se acojan a la misma serie de reglas y que compartan revisores, aunque mantengan la independencia para aceptar o rechazar los manuscritos. Los autores someterían sus artículos al consorcio y anexarían una lista de las revistas en las que preferirían que su texto fuera publicado en órden de preferencia |
Martínez, 2012 |
|
21 |
Pautas para los evaluadores sobre cómo revisar un artículo son necesarios y pueden ayudar a los revisores a lidiar con este difícil proceso |
Blockeel et al., 2017 |
|
22 |
Una forma de abordar el problema es a través de la revisión por pares posterior a la publicación (PPPR), un complemento eficiente de la revisión por pares tradicional que permite la mejora continua y el fortalecimiento de la calidad de las publicaciones científicas |
Teixeira da Silva, 2015 |
|
23 |
Aumentar incentivos como el acceso gratuito a las revistas de un editor, podría ser una opción interesante, especialmente para los científicos más jóvenes |
Blockeel et al., 2017 |
Conclusiones
El proceso de revisión por pares, a pesar de las múltiples críticas y problemáticas que se le han identificado durante varios años, sigue reconociéndose como el mejor sistema de evaluación disponible. Aún en medio de las críticas que se le hacen, diferentes autores han generado propuestas que podrían ayudar a solventar varias de estas dificultades denunciadas. Por ejemplo, a propuestas tales como que se establezcan procesos de formación en revisión de pares (Gasparyan y Kitas, 2012; Graniger, 2009) y la revisión por pares posterior a la publicación (PPPR) (Teixeira da Silva, 2015), cada vez se le está prestando mayor atención. Las recomendaciones que diversos autores han sugerido, y que se encuentran descritas en la Tabla 11, bien podrían ser un punto de partida para corregir muchas de las críticas identificadas en el presente artículo o servir de inspiración para nuevas ideas que permitan intervenir asuntos de forma pero, sobre todo, de fondo.
Los resultados de la presente investigación no pretenden generalizar, es decir, plantear que estos problemas se presentan en todas las revistas o en la mayoría. Sin embargo, permiten evidenciar que estos problemas se han mantenido en el tiempo, que en la literatura científica en los últimos 30 años constantemente se publica sobre este tema y que es un fenómeno denunciado por investigadores en todo el mundo. Por tanto, la intervención y el fortalecimiento de los procesos de revisión por pares son necesarios y prioritarios.
Para finalizar, se espera que este artículo sea de utilidad a editores de revistas, pares evaluadores o árbitros, investigadores y, en general a la comunidad académica y científica en general, con el fin de fortalecer este proceso de evaluación.
Referencias
Alfaro-Toloza, P., & Alcayaga-Urrea, N. (2013). La revisión por pares: importancia, limitaciones y cómo se realiza en una revista de estudiantes. Revista ANACEM, 7(1), 2-3.
Angulo-Bazán, Y. (2009). El proceso de revisión por pares (“Peer Review”) y su importancia en publicaciones científicas estudiantiles. CIMEL, 14(2), 78-79.
Baethge, C., Franklin, J., &Mertens, S. (2013). Substantial Agreement of Referee Recommendations at a General Medical Journal – A Peer Review Evaluation at Deutsches Ärzteblatt International. Plos ONE, 8(5), 1-7. doi:10.1371/journal.pone.0061401
Barrio, C. A., Fernando, D. M., & Ray, D. C. (2008). Ten Years of Peer-Reviewed Articles in Counselor Education: Where, What, Who? Counselor Education & Supervision, 48(2), 133-143.
Benchimol-Barbosa, P. (2012). Comments on the article by Araújo: are the criteria for peer review and publication clear? Arquivos Brasileiros De Cardiologia, 99(1), 676; authorreply 677.
Blockeel, C., Drakopoulos, P., Polyzos, N.P., Tournaye, H. & García-Velasco, J.A. (2017). Review the “peer review”. Reproductive Biomedicine Online, 35, 747-749.
Bornmann, L. (2010). Does the Journal Peer Review Select the “Best” from the Work Submitted? The State of Empirical Research. IETE Technical Review, 27(2), 93-96. doi:10.4103/0256-4602.60162
Bornmann, L., y Daniel, H. (2010). The usefulness of peer review for selecting manuscripts for publication: a utility analysis taking as an example a high-impact journal. PlosOne, 5(6), e11344. doi:10.1371/journal.pone.0011344
Bornmann, L., & Egghe, L. (2012). Journal peer review as an information retrieval process. Journal of Documentation, 68(4), 527-535. doi:10.1108/00220411211239093
Callaham, M., & Tercier, J. (2007). The relationship of previous training and experience of journal peer reviewers to subsequent review quality. Plos Medicine, 4(1), e40.
Cals, J., Mallen, C., Glynn, L., & Kotz, D. (2013). Should authors submit previous peer-review reports when submitting research papers? Views of general medical journal editors. Annals of Family Medicine, 11(2), 179-181. doi:10.1370/afm.1448
Campanario, J.M. (2002). El sistema de revisión por expertos (peer review): muchos problemas y pocas soluciones. Rev Esp. Doc. Cient., 25(3), 267-285.
Clark, A., Singleton-Jackson, J., & Newsom, R. (2000). Journal Editing: Managing the Peer Review Process for Timely Publication of Articles. Publishing Research Quarterly, 16(3), 62.
Cobo, E., Cortés, J., Ribera, J., Cardellach, F., Selva-O’Callaghan, A., Kostov, B., & ... Vilardell, M. (2011). Effect of using reporting guidelines during peer review on quality of final manuscripts submitted to a biomedical journal: masked randomised trial, BMJ, 343d6783. doi:10.1136/bmj.d6783
De Kemp, A., &Ware, M. (2008). Peer review in scholarly journals: Perspective of the scholarly community – Results from an international study. Information Services & Use, 28(2), 109-112.
Díaz, G.M. (2016). El fraude en las publicaciones científicas: más allá de fabricar, falsificar y plagiar. Tecno Lógicas, 19(36), 9-12.
Donovan, S. K. (2011). Big Journals, Small Journals, and the Two Peer Reviews. Journal of Scholarly Publishing, 42(4), 534-538.
Earnshaw, J., Farndon, J., Guillou, P., Johnson, C., Murie, J., & Murray, G. (2000). A comparison of reports from referees chosen by authors or journal editors in the peer review process. Annals of the Royal College of Surgeons of England, 82(4 Suppl), 133-135.
Eaton, K. K. (1997, September). When is a peer review journal not a peer review journal? Journal of Nutritional & Environmental Medicine. pp. 139-144. doi:10.1080/13590849762547.
Egghe, L. L., &Bornmann, L. (2013). Fall out and miss in journal peer review. Journal of Documentation, 69(3), 411-416. doi:10.1108/JD-12-2011-0053
Enquselassie, F. (2013). Peer-review and editorial process of the Ethiopian Medical Journal: ten years assessment of the status of submitted manuscripts. Ethiopian Medical Journal, 51(2), 95-103.
Etkin, A. (2014). A new method and metric to evaluate the peer review process of scholarly journals. Publishing Research Quarterly, 30(1), 23-38. doi:10.1007/s12109-013-9339-y
Fang, Q., Xu, L., & Lian, X. (2008). Peer-Review Practice and Research for Academic Journals in China. Journal of Scholarly Publishing, 39(4), 417-427. doi:10.3138/jsp.39.4.417
Jimenez, J. (2017). Fraude y revision por pares. Revista de Economía Institucional, 19(36), 367-369.
Galipeau, J., Moher, D., Skidmore, B., Campbell, C., Hendry, P., Cameron, D., & ... Palepu, A. (2013). Systematic review of the effectiveness of training programs in writing for scholarly publication, journal editing, and manuscript peer review (protocol). Systematic Reviews, 241. doi:10.1186/2046-4053-2-41
Gasparyan, A., &Kitas, G. D. (2012). Best peer reviewers and the quality of peer review in biomedical journals. Croatian Medical Journal, 53(4), 386-389. doi:10.3325/cmj.2012.53.386
Gérvas, J. (2002). La dudosa relación entre revisión por pares y calidad. GacSanit, 16(3), 280-2
Grainger, D. W. (2009). El participar como par evaluador de calidad es una responsabilidad profesional internacional; aquellos que publican con confianza deben también evaluar con competencia. Revista de Ingeniería Biomédica, 3(5), 66-74.
Grant, A. (2011). Getting to know you: performance articles and the peer review process. Journal of Psychiatric And Mental Health Nursing, 18(9), 833-836. doi:10.1111/j.1365-2850.2011.01745.x
Hagger, M. S. (2013). What reviewers want: how to make your article more appealing to peer reviewers. Health Psychology Review. pp. S1-S7. doi:10.1080/17437199.2013.782963.
Hargens, L. (1990). Variation in journal peer review systems. Possible causes and consequences. JAMA: The Journal of The American Medical Association, 263(10), 1348-1352.
Ho, R., Mak, K., Ren, T., Yanxia, L., Day, J. R., & Fang, P. (2013). Views on the peer review system of biomedicaljournals: an online survey of academics from high-ranking universities. BMC Medical Research Methodology, 13(1), 1-15. doi:10.1186/1471-2288-13-74
Kumar, P., Rafiq, I., & Imam, B. (2011). Negotiation on the assessment of research articles with academic reviewers: application of peer-review approach of teaching. Higher Education, 62(3), 315-332. doi:10.1007/s10734-010-9390-y
Kumashiro, K. K., Pinar, W., Graue, E., Grant, C. A., Benham, M. P., Heck, R. H., y Luke, C. (2005). Thinking Collaboratively about the Peer-Review Process for Journal- Article Publication. Harvard Educational Review, 75(3), 257-285.
Ladrón de Guevara, M., Hincapié, J., Jackman, J., Herrera, O. & Caballero, C.V. (2008). Revisión por pares: ¿Qué es y para qué sirve? Salud Uninorte, 24(2), 258-272
Lee, A., Green, B., Johnson, C., & Nyquist, J. (2010). How to write a scholarly book review for publication in a peer-reviewed journal: a review of the literature. The Journal of Chiropractic Education, 24(1), 57-69.
Linder, S., Schliwa, M., Werner, S., & Gebauer, D. (2010). Transparent peer review—an appreciation of the reviewers’ contribution to a published article. European Journal of Cell Biology, 89(11), 779. doi:10.1016/j.ejcb.2010.07.008
Lipworth, W. (2009). Beyond the consulting room: intuition and intersubjectivity in journal peer review. Australasian Psychiatry: Bulletin of Royal Australian And New Zealand College of Psychiatrists, 17(4), 331-334. doi:10.1080/10398560902721614
Lipworth, W., & Kerridge, I. (2011). Shifting Power Relations and the Ethics of Journal Peer Review. Social Epistemology, 25(1), 97-121. doi:10.1080/02691728.2010.534567
Lovejoy, T. I., Revenson, T. A., & France, C. R. (2011). Reviewing Manuscripts for Peer-Review Journals: A Primer for Novice and Seasoned Reviewers. Annals of Behavioral Medicine, 42(1), 1-13. doi:10.1007/s12160-011-9269-x
Martínez, G. S. (2012). La Revisión por Pares y la Selección de Artículos para Publicación. Revista Colombiana De Psicología, 21(1), 27-35.
Marusić, M., Sambunjak, D., &Marusić, A. (2005). Guide for peer reviewers of scientific articles in the Croatian Medical Journal. Croatian Medical Journal, 46(2), 326-332.
Petchey, O. L., Fox, J. W., &Haddon, L. (2014). Imbalance in Individual Researcher’s Peer Review Activities Quantified for Four British Ecological Society Journals, 2003-2010. Plos ONE, 9(3), 1-4. doi:10.1371/journal.pone.0092896
Pierie, J., Walvoort, H., & Overbeke, A. (1996). Readers’ evaluation of effect of peer review and editing on quality of articles in the Nederlands Tijdschriftvoor Geneeskunde. Lancet, 348(9040), 1480-1483.
Resnik, D., Gutierrez-Ford, C., & Peddada, S. (2008). Perceptions of ethical problems with scientific journal peer review: an exploratory study. Science and Engineering Ethics, 14(3), 305-310. doi:10.1007/s11948-008-9059-4
Restrepo, J. C. (2015). La revisión por pares (“peer review”) en las revistas científicas latinoamericanas. Revista Colombiana de Ciencias Sociales, 6(2), 231-233.
Rochon, P. A., Bero, L. A., Bay, A. M., Gold, J. L., Dergal, J. M., Binns, M. A., & ... Gurwitz, J. H. (2002). Comparison of Review Articles Published in Peer-Reviewed and Throwaway Journals. JAMA, 287(21), 2853.
Romanos de Tiratel, S. (2006). Los procesos de evaluación de los artículos científicos. Información, Cultura y Sociedad, (14), 5-10.
Scimago (2019). Scimago Journal & Country Rank. Consultado en: https://www.scimagojr.com/countryrank.php el 3 de marzo de 2019.
Sonne, C. & Alstrup, A. K. O. (2019). Discussion: Peer-review under siege. Sciencie of the Total Environment, 651, 1180-1181.
Teixeira da Silva, J.A (2015). Problems with Traditional Science Publishing and Finding a Wider Niche for Post-Publication Peer Review. Accountability in Research, 22(1), 22-40, doi: 10.1080/08989621.2014.899909.
Voight, M., & Hoogenboom, B. (2012). Publishing your work in a journal: understanding the peer review process. International Journal of Sports Physical Therapy, 7(5), 452-460.
Vora, N., &Boellstorff, T. (2012). Anatomy of an Article: The Peer-Review Process as Method. American Anthropologist, 114(4), 578-583. doi:10.1111/j.1548-1433.2012.01490.x
Yap, C. K. (2009). Acceptance and Rejection of Peer-reviewed Articles in Environmental Sciences: My Personal Publication Experience. Pertanika Journal of Tropical Agricultural Science, 32(1), 25-27.
Young, S. (2008). Journal of Psychiatry and Neuroscience peer review process, with advice for authors. Journal of Psychiatry & Neuroscience: JPN, 33(1), 7-9.
Wade, D., &Tennant, A. (2004). An audit of the editorial process and peer review in the journal Clinical rehabilitation. Clinical Rehabilitation, 18(2), 117-124.
Weissberg, R. (2013). The hidden costs of journal peer review. Academic Questions, 26(2), 157-165. doi:10.1007/s12129-013-9353-8